LINUX.ORG.RU

Алготрейдинговый гигант открыл исходный код TernFS для Linux

 ternfs


2

5

Одна из крупнейших алгоритмических торговых компаний мира XTX Markets, ежедневно обрабатывающая сделки на сумму около 250 миллиардов долларов и оперирующая более чем 650 петабайтами данных для прогнозов цен и торговых алгоритмов, открыла исходный код собственной файловой системы для Linux.

Система получила название TernFS и была создана, когда компания переросла возможности традиционного NFS и других решений для хранения. TernFS предназначена для распределённого хранения крупных неизменяемых файлов — как правило, они не редактируются после создания и имеют размер от нескольких мегабайт. Система рассчитана на масштаб до 10 эксабайт логического пространства, примерно триллион файлов и 100 миллиардов каталогов при подключении до миллиона клиентов. Всё это работает на стандартном оборудовании и обычных сетях Ethernet.

Код выложен на GitHub и распространяется под лицензиями GPLv2+ и Apache 2.0.

>>> Исходники на GitHub

>>> Подробности в блоге компании



Проверено: CrX ()
Последнее исправление: CrX (всего исправлений: 1)

Звучит как неплохая фс для сетевых хранилищ медиа - данные большие, меняются редко.

Bfgeshka ★★★★★
()
Ответ на: комментарий от Bfgeshka

Звучит как неплохая фс для сетевых хранилищ медиа - данные большие, меняются редко.

Если бы была хотя бы одна подробность, чем данная ФС отличается от существующих. Ссылка на блог не открывается, кстати.

Chiffchaff
()
Ответ на: комментарий от Chiffchaff

Ссылка на блог не открывается, кстати.

Там походу ЛОР-эффект. У меня тоже тупила минуты 3 и не открывалась даже через VPN. Потом через VPN таки открылась. А потом проверил — и без VPN открывается, причём практически моментально.

CrX ★★★★★
()
Ответ на: комментарий от CrX

Да, сейчас открылась без VPN, хотя и не моментально.

Но вообще, преимущества данной ФС и на GitHub описаны. Странно только, что они не перечислены в посте.

Chiffchaff
()
Ответ на: комментарий от CrX

Там походу ЛОР-эффект.

Я это называю билайн эффект у ВАС случайно не он? Так со многими, редко посещаемыми сайтами у меня. (тема про это уже была).

mx__ ★★★★★
()
Ответ на: комментарий от mx__

Я это называю билайн эффект у ВАС случайно не он?

Нет, у меня не билайн.

Так со многими, редко посещаемыми сайтами у меня.

У меня если не впервые, то крайне редкое явление. Может пару-тройку раз за последние 5-10 лет такое наблюдал.

CrX ★★★★★
()
Ответ на: комментарий от CrX

ежедневно обрабатывающая сделки на сумму около 250 миллиардов долларов и оперирующая более чем 650 петабайтами данных для прогнозов цен и торговых алгоритмов

Ссылка на блог не открывается, кстати.

Там походу ЛОР-эффект.

Я что-то посмеялся прям от души. )

Тоже не открывался, проверил через бога грома, всё открывается.

unixnik ★★★★★
()
Последнее исправление: unixnik (всего исправлений: 1)
Ответ на: комментарий от Bfgeshka

Звучит как неплохая фс

Нет, звучит оно как "Алкотрейдинговый гигант"... и наводит на мысли и подозрения о реальной сущности программирования... ;P ;)

Somebody ★★★
()

Код выложен на GitHub и распространяется под лицензиями GPLv2+

М-м-м, я уж думал опять mit)

UriZzz ★★
()
Ответ на: комментарий от R_He_Po6oT

The protocol definitions (go/msgs/), protocol generator (go/bincodegen/) and client library (go/client/, go/core/) are licensed under Apache-2.0 with the LLVM-exception.

Всё остальное под GPLv2+.

Aceler ★★★★★
()
Ответ на: комментарий от anc

Оооо... Это был бы ипический трэд на лоре «я копировал файлы и не отмоньировав вытащил флэшкку, теперь ничего не читается, как мне восстановить файлы?» :)))

R_He_Po6oT ★★★★★
()

Всё это работает на стандартном оборудовании и обычных сетях Ethernet.

We want to drive the filesystem with commodity hardware and Ethernet networking.

Нет ли здесь некоторой разницы, м?

thesis ★★★★★
()
Ответ на: комментарий от Somebody

звучит оно как «Алкотрейдинговый гигант»

Да, я точно так же прочитал.

и наводит на мысли и подозрения о реальной сущности программирования

Не-а. Я когда-то считал, что писать код под пиво это круто и романтично. А когда попробовал (не по работе, естественно) – понял, что либо то, либо другое.

hobbit ★★★★★
()
Ответ на: комментарий от hobbit

«Один совет, дружище — либо пей, либо играй, но не то и другое сразу. Иначе из твоих карманов исчезнет всё, до последнего септима»©️

UriZzz ★★
()
Ответ на: комментарий от hobbit

А когда попробовал (не по работе, естественно) – понял, что либо то, либо другое.

+100500!!!..

Somebody ★★★
()
Ответ на: комментарий от hobbit

А когда попробовал (не по работе, естественно) – понял, что либо то, либо другое.

А ты попробуй не на плюсах, а на перле :)

pihter ★★★★★
()

Ну интересно... А GFS столько не умеет?

gns ★★★★★
()

Кто ещё прочитал «алкотрейдинговый»?

+1. а что, кто-то с первого раза прочитал как-то по-другому?
я еще и задумался, про какую контору идет речь - уж не К&Б же, раз цельный "гигант"! а тут фигня какая-то, какие-то продавцы воздуха.

PerdunJamesBond
()
Ответ на: комментарий от zabbal

Анон утверждает, что смех - смехом, а шкурка к верху мехом. И порносайты по-сути своей вполне себе хайлоады и инфра у них не малая. И в целом оно является во многом двигателем прогресса.

kma21 ★★★★
()

Плюсы, го, сишка и много udp. И надёжность. Но кажется, что где о потеряли раст :)

stave ★★★★★
()

основатель компании: Александр Александрович Герко, 3 декабря 1979[3], Москва) — британский предприниматель, миллиардер, основатель компании «XTX Markets[англ.]». В январе 2023 года был назван крупнейшим налогоплательщиком Великобритании

zapruder
()

Система рассчитана на масштаб до 10 эксабайт логического пространства

Но это же мало, ZFS может 18 эксабайт.

Frohike
()
Ответ на: комментарий от kma21

порносайты по-сути своей вполне себе хайлоады

Они настолько хайлоады что им данный проект вообще никак не интересен - там рулят распределённые по миру CDN, многоуровневый кэш, graceful degradation и прочий лютый высоконагруженный энтерпрайз.

zabbal ★★★★★
()
Ответ на: комментарий от zabbal

им данный проект вообще никак не интересен

Нет. Несмотря на все CDN и кэши, где-то должны храниться оригиналы всех видео, транскодированные заранее в различные качества. Которые по сложным алгоритмам попадают в кэши и CDN (уверен, что всего лишь 10-20% от всего, что есть).

В любой медиа-компании будет использоваться аналог подобной ФС.

Chiffchaff
()

Одна из крупнейших алгоритмических торговых компаний мира XTX Markets открыла исходный код собственной файловой системы для Linux.

Ребята решили уволить собственных тестировщиков ПО и использовать труд людей бесплатно?

Enthusiast ★★★
()
Мальчик: Алготрейдинг
Мужчина: Алкотрейдинг
doomer
()
Ответ на: комментарий от R_He_Po6oT

Оооо... Это был бы ипический трэд на лоре «я копировал файлы и не отмоньировав вытащил флэшкку, теперь ничего не читается, как мне восстановить файлы?» :)))

Вот вы смеетесь, а я не далее чем вчера как раз подобную историю от коллеги и услышал, пользак в пятницу закинул файлиги на флэшку да и выдернул неотмонтировав, а с компа он эти файлиги удалил.

anc ★★★★★
()
Ответ на: комментарий от Chiffchaff

транскодированные заранее в различные качества

Это и близко не данные для алготрейдинга - всем насрать на их потерю, если что - не проблема транскодировать ещё раз.

В любой медиа-компании будет использоваться аналог подобной ФС.

Ты ссылку-то почитай - они гордятся что ни байта не потеряли за время эксплуатации. Порносайт может терять результаты транскодинга гигабайтами без каких-либо проблем - там рулят дешевизна и простота эксплуатации.

Более того, там ещё и оригиналы регулярно «теряются» из-за всяких нарушений копирайта, политик, законов и прочей трахомудии - то есть пользователь a priori привык к тому что дрочьматериал сегодня есть, а завтра - нет. Не беда, передёрнет на что-нибудь другое - заодно и подольше на сайте зависнет, выбирая, и ему можно будет больше рекламного скама открутить.

zabbal ★★★★★
()
Ответ на: комментарий от Aceler

Кто ещё прочитал «алкотрейдинговый»?

Что значит кто? Все нормальные люди :=)

vtVitus ★★★★★
()
Ответ на: комментарий от hobbit

А тут ещё и GPLv2+… Ну вот как мимо такого пройти?

А ты считаешь спекулянтов порядочными людьми? Покупают и продают себе - ничего же плохого, правда? Подвох спекуляций в том, что кроме гонки за непревзойденной скоростью купли и продажи товаров спекулянты открыто пакостят остальным покупателям и продавцам ради собственной наживы. Например, завышая цену продаваемого товара спекулянт заваливает торговую площадку ложными заявками, мешая остальным купцам выставлять свои заявки на продажу товара по более низкой цене. То есть спекулянты открыто вредят другим людям.

Ожидать от спекулянтов добрых дел это тоже самое что ожидать от зека-рецидивиста, чтобы он мыл своими руками дряблые, вонючие задницы пенсионеров в доме престарелых.

Enthusiast ★★★
()
Ответ на: комментарий от anc

О а я 12 лет назад записывал на лазерный диск проекты в дебиане и они не записались, а я их стёр с компа а потом заметил что лазерный диск пустой

doomer
()
Ответ на: комментарий от doomer

О а я 12 лет назад записывал на лазерный диск проекты в дебиане и они не записались

1. А вы без проверки что ли записывали?
2. И сами потом не проверили, что усе на месте и читается?

а я их стёр с компа а потом заметил что лазерный диск пустой

тут ССЗБ^3 Правило 3-2-1 не? не слышали?

anc ★★★★★
()
Ответ на: комментарий от Chiffchaff

у меня ссылка открывается, но про отличия хотелось бы попродробнее. в чём принципиальное отличие от прочих реализаций. чем оно лучше.

Iron_Bug ★★★★★
()

Не совсем понятно зачем нужна эта ФС от алкотрейдеров.

понятно что компания переросла из обычного ларька в алкобутик, но непонятно зачем линуксоиду это всё, если его предел запасов пива ограничен холодильником?

где он будет свой экзабайт хранить, под кроватью?

ckotctvo
()
Ответ на: комментарий от Somebody

Нет, звучит оно как "Алкотрейдинговый гигант"...

У этих своя fs есть...

atrus ★★★★★
()
Ответ на: комментарий от R_He_Po6oT

Сочувствия бедолаге. А testdisk их тоже не видит?

Да, там прогнали разные софтины восстановления, нэнашлось. Но тут уж сочувствовать только его голове надо, ссзб в эталонном виде.

anc ★★★★★
()
Ответ на: комментарий от Aceler

Да, если КиБ откроет исходники разработанной внутри компании распределенной файловой системы, это будет номер

cobold ★★★★★
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.