LINUX.ORG.RU

Создатель bcachefs: текущая ситуация с ФС в Linux и привлечение денег на развитие проекта

 , ,


7

8

Kent Overstreet, создатель и главный разработчик файловой системы (ФС) bcachefs, запустил кампанию по привлечению средств на дальнейшее развитие проекта. Мотивацию к созданию ещё одной файловой системы Кент извлекает из текущей плачевной ситуации с файловыми системами в Linux:

  • ext4: Да, она работает, но годы долгой эволюции берут своё. Серьёзные проблемы с качеством исходного кода, проблемы с производительностью, периодически выявляемые ошибки, приводящие к повреждению или потере хранимых данных. По мнению разработчиков ФС, надёжная работа этой ФС — это мираж, т.к. лучший компонент этой ФС — это fsck.
  • XFS: Работает надёжно, качество и строгость исходного кода ФС является примером для подражания для всех остальных. XFS имеет классическую архитектуру: update-in-place, а не copy-on-write. Поэтому множество продвинутых функций в рамках этой ФС реализовать проблематично или просто невозможно.
  • btrfs: ФС разрабатывалась под Linux как ФС следующего поколения, «наш ответ ZFS». Но она разрабатывалась на скорость, без проработки архитектуры. Например, допущено множество ошибок в формате хранимых данных, ужасное качество исходного кода и его огромный объем. Много людей уже погорело на btrfs.
  • ZFS: Эта ФС показывает людям то, что они могут получать от copy-on-write ФС, но ФС живёт и развивается вне Linux, и на Linux она не ориентирована. Из технических особенностей: в отличие от остальных современных ФС, ZFS имеет block-based архитектуру вместо extent-based (сделано для упрощения реализации снимков на уровне ФС).


Как видно, ситуация с файловыми системами в Linux оставляет желать лучшего, что же предлагает Kent? bcachefs уже сегодня — это:

  • copy-on-write POSIX-совместимая ФС.
  • Нижний слой ФС реализован на базе стабильного и оттестированного годами проекта bcache. Файловая система (при текущем наборе функций) уже стабильна и протестирована на хранении 50 ТБ+ данных. С момента первого анонса было выявлено лишь несколько мелких ошибок. Создатель ФС использует bcachefs на своём ноутбуке в качестве корневой.
  • Высокая скорость работы. Со времени апрельских тестов производительности были сделаны оптимизации. В bcachefs хорошо отработан tail latency, практически отсутствуют блокировки потоков на вводе-выводе.
  • Простой и понятный исходный код. Текущий исходный код меньше по объёму, чем ext4, но уже содержит большинство функций btrfs.



Таким образом, проект bcachefs готов к ограниченному использованию уже сейчас, но реализация части функций требует спонсирования. Текущий статус основных функций:

  • Хеш-суммы: реализовано на 100%, по умолчанию — crc32c.
  • Сжатие: реализовано (LZ4, gzip). Но не доделан подсчёт свободного места, поэтому сжатие пока не приводит к увеличению свободного места.
  • Работа поверх нескольких устройств, включая кэширующие устройства (tiering): уже работает, но требуется тестирование и отладка.
  • Репликация: сделано на 80%.
  • Коды избыточности (Reed-Solomon, наподобие RAID 5/6): не начато.
  • Шифрование: не начато.
  • Снимки (snapshots): уже в процессе. Они будут иметь ряд приемуществ над традиционными снимками: значительно меньшие потери производительности и свободного места.
  • И другие.

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц. Сейчас все расходы на развитие ложатся на кошелёк Кента.

>>> Подробности

★★★★★

Проверено: JB ()
Последнее исправление: Klymedy (всего исправлений: 17)

Ответ на: комментарий от dmxrand

Какие-то вендопроблемы. Попробуй ещё.

anonymous
()
Ответ на: комментарий от KRoN73

Но некоторые реактивные летают на 3M, а другие — только на дозвуке :)

btrfs - кукурузник с реактивным двигателем ))

King_Carlo ★★★★★
()
Ответ на: комментарий от King_Carlo

Просто не пашет шкаф и все. горит лампочка и говорит вы не пропалтили поддержку. Более того есть еще поддержка CISCO. В MSK есть контора они платят сиське, а потом перепродают её дешевле. Это Энтерпрайз. У нас бордер падал. Дошли до индусов.... те долго несли чушь, а потом спустя месяц в новой прошивке бордер перестал падать.

dmxrand
()
Ответ на: комментарий от sudopacman

Во про раз в неделю это снапшоты... Я их хочу... ох как хочу.

dmxrand
()
Ответ на: комментарий от dmxrand

Я хз, как у вас там в России, но варианты всегда есть, правда, тут уж кому что больше нравится. Мне вот нравится большое железо и соляра и меня ни в какие хипстерские стартапы не заманишь, не говоря уже о всяких рогах и копытах. А все эти service desk и ko побоку, при должной организации команды.
Кста, вендорские проблемы, скорее региональны, потому что в европах усё ок, разве что hp совсем скурвился.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от King_Carlo

И судя по отзывам при достижении половины от предельной скорости у него отлетают запчасти.

dmxrand
()

К успеху идёт, гражданин.

paran0id ★★★★★
()
Ответ на: комментарий от EvgGad_303

Тут со всем согласен. Учти, что тут совсем другие правила игры. Я не думаю, что в Германии например играет роль кто приведет лучшех баб и поведет в лучший ресторан.

dmxrand
()
Ответ на: комментарий от tailgunner

Она точно рабочая?

Как я понимаю стабильная она. Я сам на боевых машинах не гонял, но говорят работает и в некоторых кейсах очень полезна.

King_Carlo ★★★★★
()
Ответ на: комментарий от King_Carlo

Чего ржешь? Бордер от сиськи. Стоил до кризиса почти 3 ляма. Обслуживать мог 8500 юнитов одноременно. Падал от tftp трафика. Хотя подробности могу врать.

dmxrand
()
Ответ на: комментарий от dmxrand

Просто не пашет шкаф и все. горит лампочка и говорит вы не пропалтили поддержку.

Это что за фантазии? У некоторых производителей массивов в договоре прямо прописано, что ты не имеешь права использовать без активного суппорта, но всё продолжает работать.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от dmxrand

Ну, тут тоже без банкетов никуда, но это не является ключевым фактором. Без банкета тебя могут даже на ковёр не пустить.
И да, хинт: я не из Германии.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

Германия как страна немного с мозгами. У нас тот, же ланит мог закпить все хранилища на себя. А потом перепродавать старые или менять лицензии. Там тоже не дураки. Мелкие приколы с поддержкой (как в CISCO) терпят и то потому, что в МСК перекп решает 90% проблем не напрягая индуса (который и так напряжен как электричество)

dmxrand
()
Ответ на: комментарий от King_Carlo

Ну меня биплан падает иногда раз в 10 минут. SSH тоннель падает. А почему? Конечно всякие протоколы с восстановлением от отказа плевать на это хотели, а факт есть факт.

dmxrand
()
Ответ на: комментарий от sudopacman

Ну, то, чего я тогда хотел было ro на ssd и rw на hdd, но раз в неделю информация с hdd записывалась бы на ssd.

Шёл 2016 год. Взрослые люди продолжали писаться в кроватки от ночных кошмаров на тему деградации ssd.

atrus ★★★★★
()
Ответ на: комментарий от dmxrand

которые глядя на тебя всем видом показывают какое ты дерьмо.

Это сколько ж тебе башляют что ты эту срань терпишь? Или ты мазохист?

zabbal ★★★★★
()
Ответ на: комментарий от dmxrand

А, почитал я другие твои каменты, если ты про сетевое оборудование, то я хз как оно там, но массивы и сервера таким точно не страдают.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от atrus

Так ведь всякое бывает. Тут знакомый поставил remix os и у него 99% загрузка проца. Откуда мы знаем что и как произойдет - наитие? Завтра Сигейт выпустит кривой SSD. Дятлов забыли да? А к тому моменту технологии HDD были уже сколько лет?

dmxrand
()
Ответ на: комментарий от EvgGad_303

На хабре был прикольный пост не про массив, а про NAS кажется когда инженеры EMC приехали в тмутаракань менять диск когда сами владельцы об этом не знали. Некоторые клетки без соединения с разрабами не стартуют. Я кстати когда это увидел почувствовал где и как шевелятся волосы.

dmxrand
()
Ответ на: комментарий от EvgGad_303

А про сервера. В бытность мою у нас у рассказали как купили Alpha. у Дека. И там было 2 проца. Но заплачено было за 1. А потом попросили и руководство оплатило второй. И они в биосе ввели код лицензии...... Вот так он стал двухпроцессорным. А чипы не меняли.

dmxrand
()
Ответ на: комментарий от dmxrand

Не путай call home и прямую связь с миром. Call home можно отключить или сделать через свой центральный сервер, а второе не нужно для работы.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

Кстати я даже могу объяснить почему это может быть обьяснено изготовителем. Предположим 0 day уязвимость. А у вендора SLA и тот он отрубит, а иначе оплатит новый IBM (весь, всю фирму, так уж вышло)

dmxrand
()
Ответ на: комментарий от dmxrand

Ну так и в чём проблема? Снифаешь трафик и узнаёшь, что передаётся только технически необходимая телеметрия массива.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от dmxrand

Capacity on Demand - обычная практика в high-end. На нормальном железе это обычно на лету делается, без всяких бивисов.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от sudopacman

В том треде я, ЕМНИП, упоминал о том, что этот SSD уже один раз оставил меня без данных.

ОК, пойду вспоминать сколько раз у меня внезапно HDD умирали. :) Один раз... О, ё...

atrus ★★★★★
()
Ответ на: комментарий от atrus

ecryptfs хорош, но шифрует всё устройство

А ты точно его ни с кем не спутал? Ecryptfs как раз на уровне отдельных файлов шифрует.

zabbal ★★★★★
()
Ответ на: комментарий от EvgGad_303

С зарплатой в 32000р ты хочешь сообщить начальству, что ты перехватил шифрованный трафик и готов обеспечить работу города Краснодара?

dmxrand
()
Ответ на: комментарий от EvgGad_303

Производитель при таких бабках чего, то обещает. и хочет черный ящик.

dmxrand
()
Ответ на: комментарий от EvgGad_303

Снифаешь трафик и узнаёшь

Даже в энтерпрайзе встречаются не только индусы - некоторым хватило ума применить шифрование.

zabbal ★★★★★
()
Ответ на: комментарий от EvgGad_303

Фффф Ладно. Уже поздно. Но я могу сказать, что не все оборудование работает так. Я сам был в «удивлении».

dmxrand
()
Ответ на: комментарий от anonymous

Не вижу смысла менять рабочее решение (хоть и неидеальное) на поделие какого-то очередного Д'Артаньяна.

Ну, этому парню вот не нравится жрать говно. Если у него получится, я буду только рад.

kirk_johnson ★☆
()
Ответ на: комментарий от zabbal

А ты точно его ни с кем не спутал?

Наверное. Тогда я не понимаю к чему он вообще приведён.

atrus ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.