LINUX.ORG.RU

Создатель bcachefs: текущая ситуация с ФС в Linux и привлечение денег на развитие проекта

 , ,


7

8

Kent Overstreet, создатель и главный разработчик файловой системы (ФС) bcachefs, запустил кампанию по привлечению средств на дальнейшее развитие проекта. Мотивацию к созданию ещё одной файловой системы Кент извлекает из текущей плачевной ситуации с файловыми системами в Linux:

  • ext4: Да, она работает, но годы долгой эволюции берут своё. Серьёзные проблемы с качеством исходного кода, проблемы с производительностью, периодически выявляемые ошибки, приводящие к повреждению или потере хранимых данных. По мнению разработчиков ФС, надёжная работа этой ФС — это мираж, т.к. лучший компонент этой ФС — это fsck.
  • XFS: Работает надёжно, качество и строгость исходного кода ФС является примером для подражания для всех остальных. XFS имеет классическую архитектуру: update-in-place, а не copy-on-write. Поэтому множество продвинутых функций в рамках этой ФС реализовать проблематично или просто невозможно.
  • btrfs: ФС разрабатывалась под Linux как ФС следующего поколения, «наш ответ ZFS». Но она разрабатывалась на скорость, без проработки архитектуры. Например, допущено множество ошибок в формате хранимых данных, ужасное качество исходного кода и его огромный объем. Много людей уже погорело на btrfs.
  • ZFS: Эта ФС показывает людям то, что они могут получать от copy-on-write ФС, но ФС живёт и развивается вне Linux, и на Linux она не ориентирована. Из технических особенностей: в отличие от остальных современных ФС, ZFS имеет block-based архитектуру вместо extent-based (сделано для упрощения реализации снимков на уровне ФС).


Как видно, ситуация с файловыми системами в Linux оставляет желать лучшего, что же предлагает Kent? bcachefs уже сегодня — это:

  • copy-on-write POSIX-совместимая ФС.
  • Нижний слой ФС реализован на базе стабильного и оттестированного годами проекта bcache. Файловая система (при текущем наборе функций) уже стабильна и протестирована на хранении 50 ТБ+ данных. С момента первого анонса было выявлено лишь несколько мелких ошибок. Создатель ФС использует bcachefs на своём ноутбуке в качестве корневой.
  • Высокая скорость работы. Со времени апрельских тестов производительности были сделаны оптимизации. В bcachefs хорошо отработан tail latency, практически отсутствуют блокировки потоков на вводе-выводе.
  • Простой и понятный исходный код. Текущий исходный код меньше по объёму, чем ext4, но уже содержит большинство функций btrfs.



Таким образом, проект bcachefs готов к ограниченному использованию уже сейчас, но реализация части функций требует спонсирования. Текущий статус основных функций:

  • Хеш-суммы: реализовано на 100%, по умолчанию — crc32c.
  • Сжатие: реализовано (LZ4, gzip). Но не доделан подсчёт свободного места, поэтому сжатие пока не приводит к увеличению свободного места.
  • Работа поверх нескольких устройств, включая кэширующие устройства (tiering): уже работает, но требуется тестирование и отладка.
  • Репликация: сделано на 80%.
  • Коды избыточности (Reed-Solomon, наподобие RAID 5/6): не начато.
  • Шифрование: не начато.
  • Снимки (snapshots): уже в процессе. Они будут иметь ряд приемуществ над традиционными снимками: значительно меньшие потери производительности и свободного места.
  • И другие.

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц. Сейчас все расходы на развитие ложатся на кошелёк Кента.

>>> Подробности

★★★★★

Проверено: JB ()

очередной btrfs?

anonymous ()

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц

Ого. Кто-то правда будет это спонсировать?

DeadEye ★★★★★ ()

Про xfs как лестно написано.)) Пока всё это пилится мы на xfs посидим.

With ★★★ ()
Ответ на: комментарий от DeadEye

Ну пока ты меняешь большие и маленькие буквы местами, никто не может улучшить перевод.

shahid ★★★★★ ()

Создатель ФС использует bcachefs на своём ноутбуке в качестве корневой

Теодор Цо уже удавливается галстуком.

redgremlin ★★★★★ ()

Можно было проще поступить.

Щас Apple выкатывает APFS, она открытая. Запилить в эти ваши линуксы и норм.

А так еще один велосипед будут делать.

fornlr ★★★★★ ()
Последнее исправление: fornlr (всего исправлений: 1)
Ответ на: комментарий от shahid

Посмотри на последний список и на первый, а потом подумай, почему ты не привел это дело к единому виду.

DeadEye ★★★★★ ()

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц.

Пусть в редхат идет, если действительно имеется такая проблема с фс.

aplay ★★★★ ()
Ответ на: комментарий от fornlr

Ну дык. 15 конкурирующих стандартов хотят набрать товарищи, удачи им.

DeadEye ★★★★★ ()
Ответ на: комментарий от DeadEye

Давай-ка ты не будешь тут меня учить писать новости, ага?

shahid ★★★★★ ()

Вот только ext4 работает сейчас, а ваш убийца всего — лет через 10. Может быть.

anonymous ()
Ответ на: комментарий от shahid

Ну ладно, ладно, но спеллчекер таки включи, не помешало бы.

DeadEye ★★★★★ ()
Ответ на: комментарий от shahid

Не хами ему, он хоть и пятизвездочный, но адекватный...

umka ()

А зачем лишние функции в ФС пихать? Ведь те же снапшоты можно и с использованием сторонних утилит сделать или с помощью LVM. А шифровать можно и с использованием ecryptfs. Но нет, принципы KISS забыты и возникает из-за этого куча ошибок...

cetjs2 ★★★★★ ()

> Годы долгой эволюции

Ждём ext5! Был IrisGL, потом многое стало Deprecated, но убрать было нельзя: приложения отвалятся. Сделали OpenGL, без Deprecated! Был OpenGL, потом многое стало Deprecated, но убрать было нельзя: приложения отвалятся. Сделали Vulkan!

Я только сегодня услышал, что в ext4 что-то не так. А Google об этом знает?

ZenitharChampion ★★★★★ ()
Ответ на: комментарий от DeadEye

Подгоняешь мою новость под свой спеллчекер? Не надо так делать, иначе получаются всякие уродливые «GZip» и маленькие буквы в начале предложений.

shahid ★★★★★ ()

Patreon для разработки чего то серьезного? Это шутка?

fornlr ★★★★★ ()
Ответ на: комментарий от ZenitharChampion

А Google об этом знает?

Им абсолютно пофиг на надёжность, они даже fsck'ов не делают, сразу mkfs.

Ivan_qrt ★★★★★ ()

Пощупать её можно примерно нигде?

Radjah ★★★★★ ()
Ответ на: комментарий от cetjs2

Про производительность любители кисса не слышали? Сколько снапшотов ты сможешь сделать на lvm и сколько на zfs, на одинаковых дисках и данных? И во сколько раз lvm будет тормозить сильнее?

Ivan_qrt ★★★★★ ()
Ответ на: комментарий от ZenitharChampion

Данные дублируются многократно. Эдакий геораспределённый рэйд.

Ivan_qrt ★★★★★ ()
Ответ на: комментарий от cetjs2

А зачем лишние функции в ФС пихать? Ведь те же снапшоты можно и с использованием сторонних утилит сделать или с помощью LVM. А шифровать можно и с использованием ecryptfs. Но нет, принципы KISS забыты и возникает из-за этого куча ошибок...

Лапушка моя, а ты использовал эти снепшоты в LVM? Там потеря производительности в лучшем случае в два раза.

kirk_johnson ★☆ ()

Дефрагментации по прежнему не хватает, файлы кое как научились, а вот метадату так никто и не дефрагит онлайн.

anonymous ()
Ответ на: комментарий от Ivan_qrt

что важнее: надежность или производительность? и да, ZFS официально в ядре не поддерживается...

cetjs2 ★★★★★ ()
Ответ на: комментарий от Ivan_qrt

Про производительность любители кисса не слышали? Сколько снапшотов ты сможешь сделать на lvm и сколько на zfs, на одинаковых дисках и данных? И во сколько раз lvm будет тормозить сильнее?

Справедливости ради, это не проблема KISS, а проблема быдлокодеров из redhat, не осиливших нормальные спепшоты. Я правда всё равно не понимаю, почему ФС не может делать свои. Это не нарушает KISS вообще ни разу.

kirk_johnson ★☆ ()

Работает надёжно

What?? Я тоже недавно купился на это гонево: редхат же плохого не посоветует. Рузультат развал при выключении света до состояния когда xfs_repair не помогает.

zloelamo ★★★★ ()
Ответ на: комментарий от cetjs2

что важнее: надежность или производительность? и да, ZFS официально в ядре не поддерживается...

Снепшоты LVM организованы таким образом, что теряют данные, если ты немного ошибся с местом под них. Заметь, не говорят ENOSPC, а теряют данные.

kirk_johnson ★☆ ()

XFS: Работает надёжно, качество и строгость исходного кода ФС является примером для подражания

Всё правильно написал, лучшая из классических ФС, не вижу ни одного повода использовать ext4.

btrfs:допущено множество ошибок в формате хранимых данных, ужасное качество исходного кода и его огромный объем

Шишкин об этом говорил ещё много лет назад, с тех пор ничего не изменилось. Но местным линуксоидам хоть кол на голове теши, тащат в рот всякую гадость.

ZFS:ФС живёт и развивается вне Linux, и на Linux она не ориентирована

Парни из zfsonlinux ориентируют её на линукс не покладая рук, у них хорошо получается.

King_Carlo ★★★★★ ()
Ответ на: комментарий от fornlr

Щас Apple выкатывает APFS, она открытая. Запилить в эти ваши линуксы и норм.

APFS ориентирована на макбуки и часы с ssd. Система может и хорошая, но для линукса не очень годится.

Legioner ★★★★★ ()
Ответ на: комментарий от kirk_johnson

для чего ФС нужна? для хранения данных. А снапшоты ведь совсем другое дело...

cetjs2 ★★★★★ ()

Акция сбора бабла, как мне кажется.

gnomosek ()

так-с, на линупсе не осталось нормального ДЕ, теперь не будет ни одной юзабельной ФС

kott ★★★★★ ()
Ответ на: комментарий от King_Carlo

Парни из zfsonlinux ориентируют её на линукс не покладая рук, у них хорошо получается.

Там же несовместимость лицензий. Они рук могут не покладать сколько угодно, но для многих серьёзных компаний подобные лицензионные проблемы неприемлемы.

Legioner ★★★★★ ()
Ответ на: комментарий от DeadEye

Резедента же спонсировали, почему бы и Кента Сверхулицу не спонсировать?

torvn77 ★★★★★ ()

bcachefs

Оно как-то связано с bcache или просто так название прилепили?

ext4
btrfs
XFS
ZFS

А про reiserfs у него есть, что сказать?

sudopacman ★★★★★ ()

«Вот она, рыба моей мечты!» ©

- один разработчик
- драматическое поливание говном конкурентов
- нет финансирования

Не взлетит.

aidaho ★★★★★ ()

из текущей плачевной ситуации с файловыми системами в Linux

это как понять?

gray ★★★★★ ()
Ответ на: комментарий от cetjs2

что важнее: надежность или производительность?

Надёжность должна быть достаточной. По достижении определённого уровня надёжности фс в дело вступает производительность.

Ivan_qrt ★★★★★ ()
Ответ на: комментарий от King_Carlo

Шишкин об этом говорил ещё много лет назад

Ты хоть тред на LKML прочти, кукаретик.

anonymous ()
Ответ на: комментарий от Legioner

Там же несовместимость лицензий. Они рук могут не покладать сколько угодно, но для многих серьёзных компаний подобные лицензионные проблемы неприемлемы.

Они не нарушают лицензий, нашли изящный выход. В убунту 16.04 zfs уже поставляется «из коробки», так что zfsonlinux уверенно завоёвывает своё место.

King_Carlo ★★★★★ ()
Ответ на: комментарий от sudopacman

А про reiserfs у него есть, что сказать?

О мёртвых либо хорошо, либо ничего.

anonymous ()
Ответ на: комментарий от Legioner

Какие ещё линцензионные проблемы? Что модуль ведра будет под другой лицензией? По-моему, там никаких проблем нет, просто нельзя непосредственно в ядро включить поддержку ZFS.

sudopacman ★★★★★ ()
Ответ на: комментарий от kirk_johnson

Справедливости ради, это не проблема KISS, а проблема быдлокодеров из redhat, не осиливших нормальные спепшоты.

У lvm просто нет всей той информации, что есть у фс. lvm может оперировать только данными на уровне блоков на винте, и не знает какое место освободилось, а какое нет. Файлы-то нулями никто не забивает при удалении или изменении. А пилить это всё в виде отдельного интерфейса к блочному устройству вряд ли разумно.

Ivan_qrt ★★★★★ ()

собираю денег на винчестер

А зачем файловой системе снапшоты, шифрование, RAID... Я думаю, что это более высокие абстракции, с которыми хорошо справится DM (lvm, cryptsetup). Единственная фича, которая тут интересна это copy-on-write. Но это в ФС тоже не нужно, потому что уже есть overlayfs, который будет работать с любой файловой системой, и даже с разными.

trupanka ()
Ответ на: комментарий от sudopacman

reiserfs

Она не COW, дальше см.XFS.
Ганс пилил Reiser4 с COW, но не успел.

shahid ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.