LINUX.ORG.RU

Файловая система bcachefs принята в состав Linux 6.7

 ,


0

3

После трех лет переговоров Линус Торвальдс принял файловую систему bcachefs в состав Linux 6.7.

Разработка велась Кентом Оверстритом в течении последних десяти лет. Функционально bcachefs похожа на ZFS и btrfs, однако автор утверждает, что дизайн файловой системы позволяет достигнуть более высокого уровня производительности. Например, в отличии от btrfs, снапшоты не используют технологию COW, что позволяет избавиться от накладных расходов на копирование во время записи в уже выделенные экстенты.

Документация доступна по ссылке.

Заявленная функциональность:

  • возможность создания ФС на нескольких блочных устройствах;
  • кеширование часто используемых данных на быстрых накопителях;
  • шифрование всего дерева каталогов;
  • контрольные суммы данных и метаданных;
  • помехоустойчивое кодирование;
  • снапшоты;
  • сжатие на уровне экстентов.

>>> Подробности



Проверено: hobbit ()
Последнее исправление: hobbit (всего исправлений: 13)

Ответ на: комментарий от lefsha

Это зависит от данных которые вы храните на диске и как они Вам дороги. Если Вы храните порно, то наверно плевать что с ним будет.

не, ну так перегибать тоже не нужно

monkdt
()
Ответ на: комментарий от lefsha

Еще пару установок на ZFS, и тебя разорвет на двести маленьких котяток от счастья и самоупоения.

У меня везде стоит ZFS.

Здесь напрашивается вопрос. Задавать его я, конечно, не стану ггг.

thesis ★★★★★
()
Ответ на: комментарий от cumvillain

«Только бездоказательные утверждения что ext4 опасно ставить на серверы.»

Я снова предлагаю Вам пойти в школу учиться!

У Вас сломана логика. Вы физически не можете доказать утверждение про качество или надежность чего-либо кол-вом инсталляций.

Я Вам привел пример с Coca-Cola. Ее пьют миллионы людей. Это никак не доказывает её полезность для организма.

То что делает много людей не означает вообще ничего, кроме факта, что ЭТО делает много людей.

Я понимаю, что это сложная мысль. Может с возрастом до Вас это дойдет. Если нет, то Вы просто станете старше.

lefsha
()
Ответ на: комментарий от lefsha

А если Вы храните БИЗНЕС данные. Если у Вас там чертежи, расчёты, патенты, документы, бухгалтерия и Бог знает что еще, то Вам важно, чтобы эти данные не убились.

Поэтому ты делаешь бекапы, ибо zfs не спасет тебя от смерти дисков. Извини, не засчитывается.

Мы говорим о серверах и компьютерах, которые имеют значение.

То же самое, бекапы и worm. ZFS не спасет тебя от rm -rf /. А вот тормозить по сравнению с ext4 будет.

cumvillain
() автор топика
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от lefsha

Я Вам привел пример с Coca-Cola.

Привел. Аналогии у тебя не очень.

cumvillain
() автор топика
Ответ на: комментарий от cumvillain

«Поэтому ты делаешь бекапы, ибо zfs не спасет тебя от смерти дичков. Извини, не засчитывается.»

Вы! Я повторяю - Вы.

Если у меня полетит диск, то ZFS спасет меня. Именно для этого она и ставится. Но Вам откуда знать, если образования нет и знаний про ZFS тоже нет?

lefsha
()
Ответ на: комментарий от cumvillain

«То же самое, бекапы и worm. ZFS не спасет тебя от rm -rf /. А вот тормозить по сравнению с ext4 будет.»

Вы будете смеяться, но именно ZFS в отличие от EXT4 спасёт меня даже от «rm -rf /»

Вы представляете, СКОЛЬКО всего Вы не знаете? - И ничего…

lefsha
()
Ответ на: комментарий от lefsha

Если у меня полетит диск, то ZFS спасет меня.

Hint: для зеркала zfs не нужен. А делать raid5 под базу данных это очень тупая затея.

cumvillain
() автор топика
Ответ на: комментарий от lefsha

Вы будете смеяться, но именно ZFS в отличие от EXT4 спасёт меня даже от «rm -rf /»

Не, не спасет. Ты сейчас начнешь рассказывать про снепшоты и еще больше убьешь перфоманс.

cumvillain
() автор топика
Ответ на: комментарий от lefsha

Конечно есть. Потому что она в разы быстрее и у меня есть сервер для надежных бекапов.

cumvillain
() автор топика
Ответ на: комментарий от gns

Ну вот тут как раз момент, когда юникс уже окостенел, но окостенел в целом в устраивающем всех состоянии. Лучше бы VMS чуть более доступной сделали (надо будет попробовать вписаться в хоббиста, но там вроде бы требуют доказать, что ты не из РФ).

spqr ★★★
()
Ответ на: комментарий от lefsha

Вы представляете, СКОЛЬКО всего Вы не знаете? - И ничего…

Постарайтесь к своим обширным знаниям добавить еще и знание разметки LORCODE или Markdown, которые позволяют на форуме цитировать в сообщениях собеседников удобно и наглядно, а не как вы делаете сейчас.

Virtuos86 ★★★★★
()
Ответ на: комментарий от n0mad

Утверждаете что отдёргивание руки от горячего это не инстинкт а разумная реакция?

Это рефлекс.

alex1101
()
Ответ на: комментарий от spqr

Ну, в этом сиысле VMS окостенел еще раньше. Туда сейчас напихали много чего из мира Opensource, но что с этим делать по прежнему непонятно. На сервере хорошо, но не больше. Открывать не будут, все легаси от Digital так и не открыли.

gns ★★★★★
()
Ответ на: комментарий от lefsha

А если Вы храните БИЗНЕС данные. Если у Вас там чертежи, расчёты, патенты, документы, бухгалтерия и Бог знает что еще, то

…то Вы просто должны делать регулярные бэкапы вне зависимости, какая там у Вас ФС стоит, разве нет?

hobbit ★★★★★
()
Ответ на: комментарий от hobbit

…то Вы просто должны делать регулярные бэкапы вне зависимости, какая там у Вас ФС стоит, разве нет?

ВЫ! Вы представляете СКОЛЬКО всего вы не знаете?!

cumvillain
() автор топика
Ответ на: комментарий от lefsha

То что делает много людей не означает вообще ничего, кроме факта, что ЭТО делает много людей.

Кек, на этом построена вся эволюция нашего (и не только нашего) вида. Если большинство делает что-то, значит это что-то работает достаточно хорошо.

cumvillain
() автор топика
Ответ на: комментарий от cumvillain

Если большинство делает что-то, значит это что-то работает достаточно хорошо.

Это значит только, что от этого мало кто теряет способность размножаться. Или теряет в эффективности этого процесса.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

Это значит только, что от этого мало кто теряет способность размножаться. Или теряет в эффективности этого процесса.

Значит с голоду не передохли.

cumvillain
() автор топика
Ответ на: комментарий от cumvillain

Но это не значит, что они делают что-то правильно. Вон половой отбор так вообще до цугундера может довести.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

Но это не значит, что они делают что-то правильно.

Если столько людей использует ФС и их бизнес не рухнул, значит эта ФС свою функцию выполняет в достаточном объеме.

cumvillain
() автор топика
Ответ на: комментарий от cumvillain

Или нет, но для их бизнеса потери данных не критичны. Говоря точнее, стоимость последствий факапов вполне компенсируется прибылью.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

Или нет, но для их бизнеса потери данных не критичны. Говоря точнее, стоимость последствий факапов вполне компенсируется прибылью.

Это оно и есть. Если проблем от ФС меньше, чем профита, значит все хорошо.

cumvillain
() автор топика
Ответ на: комментарий от cumvillain

Люди не ставят zfs потому что она нахрен не нужна в 99% инсталляций.

Люди не ставят zfs - потому что им пофигу... Они всё ставят по дефолту... Те кому не пофигу - выбирают по себе.
Я лет 5 использую zfs и пока только самые положительные впечатления, начиная с того что не надо настраивать fstab всю иерархию оно монтирует само.

Мне вечно не хватает места. zfs начал использовать с компрессией, 5 лет назад оно «взлетело» с наименьшим геморроем.

T3T creation Вс мая 27 23:16 2018 -
T3T used 1.78T -
T3T available 4.11G -
T3T referenced 1.78T -
T3T compressratio 1.09x -
T3T refcompressratio 1.09x -
T3T written 1.78T -
T3T logicalused 1.94T -

Оно мне сжкономило160Gb.

Какие ещё fs на данный момент поддерживают компрессию нативно?

У zfs ещё прикол в том что в разделе делаешь подразделы и каждый можешь смонтировать в нужное место и указать для него наличие/отсутствие компрессии. т.е. Можно в дереве каталогов получить места без компрессии и с максимальной производительностью, и места с компрессией (то что хорошо пакуется и не критично время доступа).

Конечно на банальной NTFS можно включать компрессию на определенных каталогах, жаль что в нативном линуксе - это не реализовано, есть лишь в новых системах и то кроме zfs не использовал этого нигде.

Что касается вкашефс, то лично мне интересно применительно к тем же 1.8Т на HDD кэширующиеся 128Gb ssd. Есть мануал по реализации подобной схемы? И как я понимаю этот том можно и зашифровать и упаковать? Управляемо ли это на уровне каталога и всего в него вложенного? Вот такие вопросы мне интересны...

Что касается других ФС, то меня «прёт» NTFS. Есть USB HDD на котором давно в оффтопике сделал шифрованный NTFS том обслуживающийся FreeOTFE. Если я этот том включаю в Debian - оно говорит: Упс! Введите пароль, я ввожу и получаю шифрованный NTFS раздел (да к тому же ещё и с упаковкой). Примерно то же самое я могу и под оффтопиком использовать, но давно не пробовали не знаю как себя чувствует FreeOTFE в современных оффтопиках...

n0mad ★★★
()
Ответ на: комментарий от n0mad

У zfs ещё прикол в том что в разделе делаешь подразделы и каждый можешь смонтировать в нужное место и указать для него наличие/отсутствие компрессии. т.е. Можно в дереве каталогов получить места без компрессии и с максимальной производительностью, и места с компрессией (то что хорошо пакуется и не критично время доступа).

Они lvm переизобрели? Лул.

cumvillain
() автор топика
Ответ на: комментарий от cumvillain

Нет. LVM thin pool это срань господня, которая в случае переполнения сломает ФС, потому что врёт о количестве свободного пространства.

ox55ff ★★★★★
()
Ответ на: комментарий от ox55ff

Нет. LVM thin pool это срань господня, которая в случае переполнения сломает ФС, потому что врёт о количестве свободного пространства.

Покажи где я про thin pool говорил.

cumvillain
() автор топика
Ответ на: комментарий от cumvillain

Ничто другое не похоже на поведение zfs. Каждый подраздел zfs видет весь свободный объём диска и расходует его по мере заполнения. Это не статичная разбивка. Тебе не нужно консольными командами перекидывать свободное пространство с одного виртуального диска в другой.

ox55ff ★★★★★
()
Ответ на: комментарий от ox55ff

Ничто другое не похоже на поведение zfs. Каждый подраздел zfs видет весь свободный объём диска и расходует его по мере заполнения. Это не статичная разбивка. Тебе не нужно консольными командами перекидывать свободное пространство с одного виртуального диска в другой.

Это мелочи. Приятный бонус, но фанатичное поклонение особо ZFS не оправдывает.

cumvillain
() автор топика
Ответ на: комментарий от hobbit

" Вы просто должны делать регулярные бэкапы вне зависимости, какая там у Вас ФС стоит, разве нет?"

Разумеется НЕТ. В этом нет никакого смысла. backup не существует один сам по себе. У него есть версия, дата создания и так далее. Нормальная файловая система автоматически позволяет это делать. Это называется интегрированное решение.

Делать для каждого чиха свое независимое решение более чем глупо.

Одно для RAID, другое для backup, 3-тие еще для чего-то… Оно может быть несовместимо друг с другом. Это надо как-то настраивать и заставлять работать вместе. Зачем? Когда есть одно решение, которое справляется со всеми этими задачами?

Какой смысл плодить миллион разных сущностей?

Вы возьмите и подумайте - включите голову! Зачем нужно делать backup? Какой от него прок? И что такое вообще этот backup? Что там хранится?

Копия всего на свете? Или копия отдельных данных? Тогда каких? File A мы сохраним, а File B нет? А почему? А завтра все наоборот? И через 5 лет мы к чему придем? К 1001 копии непонятно чего и без понимания зачем это нужно и можно ли это удалить или нужно хранить дальше и сколько нужно ещё хранить? 5 лет? - 10 лет? 100 лет?

И если в backup лежат разные данные с разными версиями. Что с этим делать? Какая версия лучше? Все или какая-то одна? Тогда какая?

Так что нет и еще раз нет. Делать backup может себе позволить только владелец localhost. Просто потому, что ему сказали, что это круто. Но зачем, почему он не знает.

Если у Вас много данных и Вы даже никогда не открывали эти файлы Вы никогда не сможете определить их ценность и необходимость их хранить вечно или можно удалить. Есть только один человек, который знает что можно или нужно делать с этим файлом. Это его владелец. Человек, который создал этот документ или скопировал откуда-то или получил по почте. Он решает что с ним делать. Он знает удалять или нет. Но он не имеет доступа к системе резервации данных на диске. Он с точки зрения администратора простой пользователь.

В итоге администратор/root/admin может сохранить любые данные, но не знает какие и зачем. А владелец знает какие и зачем, но не может сохранить. И вот тут нужна адекватная FS, которая решает эти проблемы. И ровно это ZFS и делает весьма успешно.

lefsha
()
Ответ на: комментарий от lefsha

Делать backup может себе позволить только владелец localhost.

Какая-то клоунада. В цитате только приглянувшиеся часть.

ox55ff ★★★★★
()
Ответ на: комментарий от lefsha

Разумеется НЕТ. В этом нет никакого смысла. backup не существует один сам по себе. У него есть версия, дата создания и так далее. Нормальная файловая система автоматически позволяет это делать. Это называется интегрированное решение.

[…]

В итоге администратор/root/admin может сохранить любые данные, но не знает какие и зачем. А владелец знает какие и зачем, но не может сохранить. И вот тут нужна адекватная FS, которая решает эти проблемы. И ровно это ZFS и делает весьма успешно.

Понятно, ты не знаешь зачем нужен WORM. Сейчас покажу:

fio --name nuke-data --rw randwrite --bs 16k [...] --filename /dev/sda:/dev/sdb:/dev/sdc

Можешь попрощаться с файловой системой секунд где-то через тридцать.

cumvillain
() автор топика
Последнее исправление: cumvillain (всего исправлений: 2)
Ответ на: комментарий от lefsha

Делать backup может себе позволить только владелец localhost

Тысячи админов по всему миру звонко рассмеялись. Пойду, нашему расскажу.

hobbit ★★★★★
()
Ответ на: комментарий от hobbit

Тысячи админов по всему миру звонко рассмеялись. Пойду, нашему расскажу.

Цитировать нужно весь текст. Цитирование вырванное из контекста говорит лишь о том, что Вы не умеете читать.

Я так понимаю, что и backups вы делаете тоже по такому же принципу… главное это спасти /usr и уже дело сделано…

Ваш админ будет смеяться над вами… Если конечно у него с головой в порядке.

lefsha
()
Ответ на: комментарий от lefsha

Ваш админ будет смеяться над вами… Если конечно у него с головой в порядке.

Фоннаты ZFS опять отрицают реальность. Впрочем, ничего нового.

cumvillain
() автор топика
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от cumvillain

Это называется - ежики плакали и кололись, но упрямо лезли на кактус.

Никто не способен привести ни одного разумного объяснения почему не надо пользоваться ZFS. Но мнит себя стратегом видя бой со стороны.

Реальность отрицают именно противники ZFS.

Люди написали профессиональную файловую систему, а Линуксята оказались на это не способны. И по этому её не хотят пускать в ядро. Чтобы те кто дальше носа не видит не смогли её поставить.

Но несмотря на всё она работает лучше всех. Никаких проблем не вызывает и позволяет дуплицировать данные в режиме реального времени без какого-то специального механизма backup.

Сам «backup» естественным образом вырастает из ZFS и позволяет хранить любые данные бесконечное кол-во времени постепенно мигрируя на новое оборудование БЕЗ каких-то специальных действий.

Те кто изучал математику понимает, что backup увеличивает потребности в ресурсах жесткого диска до бесконечности. При этом не решает вопрос удаления не нужных данных. Не решает вопрос фильтрации нужных и не нужных данных.

Но откуда у людей образование? Массовая деградация нового поколения очевидна. Идиократия на марше.

lefsha
()
Ответ на: комментарий от lefsha

Сам «backup» естественным образом вырастает из ZFS и позволяет хранить любые данные бесконечное кол-во времени постепенно мигрируя на новое оборудование БЕЗ каких-то специальных действий.

Еще раз: так никто не делает. Бекапы пихают в хранилища не потому что это весело, а потому что никто не гарантирует что твой сервер завтра уборщица водой не зальет, убив все твои диски. Особые параноики еще и на ленты дублируют и на полочку кладут.

cumvillain
() автор топика
Ответ на: комментарий от n0mad

Технология древняя.

Heinz Mauelshagen wrote the original LVM code in 1998, when he was working at Sistina Software, taking its primary design guidelines from the HP-UX’s volume manager.

первая (LVM1), стабильная и испытанная, использовалась для ядер Linux версий 2.4 и OS/2;

вторая (LVM2) - для ядер Linux версии 2.6 (существует патч, добавляющий поддержку LVM2 для Linux 2.4).

В настоящее время LVM2 нативно поддерживают ОС Linux и NetBSD.

wandrien ★★
()
Ответ на: комментарий от cumvillain

Это мелочи. Приятный бонус, но фанатичное поклонение особо ZFS не оправдывает.

Как раз это и привлекает. Каждый подтом это раздел, но пространство берут из общего пула... Не надо геморроиться о том сколько места дать какому разделу. И тем более не будет геморроя с исчерпанием раздела. Опять же есть подозрение (сам не пробовал, но когда то читал) что если пул будет исчерпываться - к нему можно добавить ещё один диск. Логически всё останется так же...
Не знаю на счет фанатичности, меня один перец пугал самоликвидацией zfs при OOM, но меня Бог миловал крайние 5 лет...
И эти 5 лет только положительные впечатления от zfs. Рейзер - сыпался (вставал в ридонли, и я не нашел ни чего проще чем синкнуть его на другой диск и переформатировать...)
Хотя сейчас у меня вообще система в дровах...
Рейд из 1T и 3T винтов, 100Gb ext2/RAID, 800Gb reiserfs/RAID? оставшиеся без рейда 2T под zfs,на 100Gb старый (Debian Stretch) На 800Gb в рейде - данные, на 2T zfs - остальное барахло...
А вот новый Debian Bullseye поставил на Seagate 160Gb и сегодня он повис, постучав головками.... Систему надо опять перекраивать на рейд, а забэкапить и некуда...
Пишу уже с соседнего свежего Debian Bullseye поставленного на китайский SSD за 600р.

n0mad ★★★
()
Ответ на: комментарий от lefsha

Вы возьмите и подумайте - включите голову! Зачем нужно делать backup? Какой от него прок? И что такое вообще этот backup? Что там хранится?

Чудак человек.... Учудакачеловека ни разу ни чего не крали и небыло массированного издыхания винтов? Ставишь новый, синкаешь и во время синка дохнет другой...
Я тоже чудак... Одно время две конторы у меня бэкапились друг на друга по местному интернету... Как положено, с открытыми ключами...
Но случилось страшное... Меня убило... Пока валялся убитый в больнице - потребовался бэкап, и никто не вспомнил процедуру воскрешения без меня, хотя за пару лет до этого я давал инструкции заинтересованным людям...
А в одной конторе - был прецедент изъятия техники... Приехали органы, опечатали и увезли сервера... Как тебя от этого спасет zfs?

n0mad ★★★
()
Ответ на: комментарий от n0mad

Пока валялся убитый в больнице - потребовался бэкап, и никто не вспомнил процедуру воскрешения без меня, хотя за пару лет до этого я давал инструкции заинтересованным людям…

Потому что нужно подробно записывать, а не ДАВАТЬ ИНСТРУКЦИИ и надеяться, что кто-то будет их помнить несколько лет.

MoldAndLimeHoney
()
Ответ на: комментарий от n0mad

Так а чо в этом хорошего, если они сами берут место из общего пула? Я чо то не понял идею. Вот у меня будет zfs на 3 физических диска. Один подох, финита ля комедия?

В lvm я явным образом вижу, что где лежит физически.

wandrien ★★
()
Ответ на: комментарий от n0mad

Каждый подтом это раздел, но пространство берут из общего пула…

Отлично, а теперь я хочу выдать блочный раздел под виртуалки и ой пук среньк 4k запись тормозит потому что cow.

cumvillain
() автор топика
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от cumvillain

Отлично, а теперь я хочу выдать блочный раздел под виртуалки и ой пук среньк 4k запись тормозит потому что cow.

По хорошему под виртуалки надо выделять разделы, а не файлы... Те же LVM тома... Я вообще не представляю быстроты работы файловой системы под которой ещё одна файловая система... Это только для экспериментов, а не продакшена...

n0mad ★★★
()
Ответ на: комментарий от n0mad

По хорошему под виртуалки надо выделять разделы, а не файлы… Те же LVM тома… Я вообще не представляю быстроты работы файловой системы под которой ещё одна файловая система… Это только для экспериментов, а не продакшена…

Ну так а я о чем.

cumvillain
() автор топика
Ответ на: комментарий от wandrien

Так а чо в этом хорошего, если они сами берут место из общего пула? Я чо то не понял идею. Вот у меня будет zfs на 3 физических диска. Один подох, финита ля комедия?

Так всё зависит от настройки. Насколько я понимаю (но сам не делал) там возможны и зеркала страйпов и страйпы зеркал и RAID5 и RAID6 и даже рейд переживающий отказ 3 дисков, средствами FS.

В lvm я явным образом вижу, что где лежит физически.

Когда ЭТОГО у тебя тьма - задолбаешься смотреть... Вон 4 диска торчит, а что где лежит? Кто из них кто? А логически в статусе рейда - сразу увидишь что где лежит, а где упало...
За идею спасибо... Как нибудь куплю 4 чистых флехи и поиграюсь на них с zfs, bcachefs. Вроде и та и та умеют нативный РЕЙД и кэширующие девайсы. На будущее собрать бутерброд из HDD+SSD,HDD в рейд, а на кэширующем SSD рейде - обещают хранить то к чему часто обращается система... (Видел статьи расхваливающие подобную организацию, якобы система сама держит на SSD те файлы к которым часто обращаются, если долго не обращаются - файл сам уезжает на HDD)

n0mad ★★★
()
Ответ на: комментарий от n0mad

Когда ЭТОГО у тебя тьма - задолбаешься смотреть… Вон 4 диска торчит, а что где лежит? Кто из них кто? А логически в статусе рейда - сразу увидишь что где лежит, а где упало…

В LVM много вариантов, можно делать разные варианты софтварного рейда, можно просто использовать как удобно расширяемые по необходимости тома а ля логическая прослойка между файловой системой и физическими дисками.

wandrien ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.