LINUX.ORG.RU

Релиз ZFSonLinux 0.8.0

 , ,


4

2

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0.

Новые возможности:

  • «Нативное» шифрование как для файловых систем, так и для разделов. По умолчанию используется алгоритм aes-256-ccm. Ключи для датасета управляются с помощью команды «zfs load-key» и связанных подкоманд.
  • Шифрование при zfs send/receive. Позволяет хранить бэкапы на недоверенных сервисах без возможности компрометации.
  • Удаление устройства из pool через команду «zpool remove». Все данные копируются в фоновом режиме на оставшиеся устройства верхнего уровня, и ёмкость пула соответственно уменьшается.
  • Подкоманда «zpool checkpoint» позволяет сохранить всё состояние пула и при желании вернуться обратно в это точное состояние. Это можно рассматривать как расширенный snapshot пула. Это полезно при выполнении сложных административных действий, которые в противном случае необратимы (например, включение новой функции, уничтожение набора данных и так далее)
  • TRIM для устройств пула. Позволяет более эффективно использовать твёрдотельные накопители и предотвращать снижение их производительности и/или времени их жизни. Можно производить trim как отдельной командой «zpool trim», так и включить аналог опции discard - новое свойство пула «autotrim»
  • Инициализация пула. Подкоманда «zpool initialize» записывает свой патерн во всё нераспределённое пространство. Это устраняет первое снижение производительности доступа, которое может существовать в некоторых виртуализированных хранилищах (например, VMware VMDK).
  • Поддержка аккаунтинга проектов и квот. Эта функция добавляет учёт использования проекта и квоты к существующим функциям учёта пространства и квот. Квоты проекта добавляют дополнительное измерение к традиционным квотам пользователей/групп. Подкоманды «zfs project» и «zfs projectspace» были добавлены для управления проектами, установки лимитов квот и отчётов об использовании.
  • Программы каналов. Подкоманда «zpool program» позволяет использовать скрипты на LUA для выполнения административных действий. Скрипты запускаются в «песочнице» с лимитами времени и памяти.
  • Pyzfs. Новая python-библиотека для обеспечения стабильного интерфейса для программного администрирования ZFS. Эта обёртка обеспечивает взаимно-однозначное (one-to-one) сопоставление для функций API libzfs_core, но сигнатуры и типы более естественны для Python-диалекта.
  • Совместимость с Python3. Утилиты «arcstat», «arcsummary» и «dbufstat» обновлены для совместимости с Python3
  • Direct IO. Добавлена поддержка использования прямого вывода (O_DIRECT).

Также ускорены подкоманды scrub/resilver/list/get, добавлена возможность вывести метаданные на отдельное устройство (например, высокопроизводительный SSD малого объёма), увеличена производительность ZIL за счёт кэширования и оптимизации, добавлена поддержка аппаратного ускорения SHA256-чексумм и AES-шифрования используя Intel QAT (Quick Assist Technology).

Поддерживаемые ядра Linux: 2.6.32 - 5.1 (на ядрах 5.0 и выше пока не поддерживается SIMD-ускорение)

Полный список изменений

Значения параметров модулей по-умолчанию выбраны, чтобы обеспечить оптимальную нагрузку для большинства рабочих нагрузок и конфигураций. Для полного списка опций - man 5 zfs-module-parameters

>>> Подробности

★★★★★

Проверено: shell-script ()

Ответ на: комментарий от post-factum

Спасибо. Правда там ничего принципиально нового, всё так же пекутся лишь о метаданных.

Не от хорошей жизни Stratis сделали.

anonymous ()
Ответ на: комментарий от anonymous

Чисто для протокола: ext4 поддерживает точно такое же шифрование (fscrypt), оно стандартизировано в ядре, но пока реализовано только в этих двух ФС

anonymous ()
Ответ на: комментарий от CryNet

Как я понимаю, профит будет на большом сервере, где много памяти, процессоров и дисков. На одном процессоре и 16 гигах все будет адово тормозить.

Miha ()

В новой центоси оно будет, хотя бы в epel?

Lordwind ★★★★★ ()
Ответ на: комментарий от anonymous

Чисто для протокола: ext4 поддерживает точно такое же шифрование (fscrypt)

только она не Flash-Friendly

Хотелось на SSD попробовать

anonymous ()
Ответ на: комментарий от anonymous

Например, на ней работает весь Facebook

А Facebook хоть об этом знает?

anonymous ()
Ответ на: комментарий от Xwo

Почему, если это такая клевая ФС, ее до сих пор нет в ядре?

Разработчики ZOL не имеют желания что-то слать Торвальдсу. Нахождение в ядре давно потеряло свою актуальность.

anonymous ()
Ответ на: комментарий от crypt

вот мол во фрибзд оно не провисает под нагрузкой...

Это все в прошлом. Сейчас там такое же говно, как и в линупсе. Что в общем не удивительно, если посмотреть откуда они тащат код.

anonymous ()
Ответ на: комментарий от anonymous

ext4 не использую нигде

Я тут недавно столкнулся в ext4 с ограничением на максимальный размер файла в 16Тб.

turtle_bazon ★★★ ()
Ответ на: комментарий от anonymous

по каким критериям можно выбрать Btrfs

Приключения - двигатель жизни.

turtle_bazon ★★★ ()
Ответ на: комментарий от intelfx

Но по словам местных, это ведь ничего не означает :)

Оно на самом деле ничего не означает. Точнее означает, но только для тебя.

turtle_bazon ★★★ ()
Ответ на: комментарий от anonymous

Промежуточное решение может быть нужно только как дополнение к бекапам, а не как замена.

turtle_bazon ★★★ ()

Хорошая ФС, всё хочу вот попробовать, но пока задач под неё нет, а существующее ломать и переделывать не хочется.

turtle_bazon ★★★ ()
Ответ на: комментарий от anonymous

А почему у них есть желание работать на этом самом ядре?

Xwo ()
Ответ на: комментарий от turtle_bazon

по каким критериям можно выбрать Btrfs

Приключения - двигатель жизни.

Отлично, лол)

anonymous ()
Ответ на: комментарий от anonymous

Разработчики ZOL не имеют желания что-то слать Торвальдсу.

Просто не могут.

Нахождение в ядре давно потеряло свою актуальность.

Ну да, это же так здорово — тратить кучу времени и сил на поддержание совместимости с новыми версиями!

anonymous ()
Ответ на: комментарий от anonymous

Знает, он в основном и оплачивает разработку btrfs.

anonymous ()
Ответ на: комментарий от Alve

Никакого.

ZFS сильно мешает жуликам за счет своей возможности делать снэпшоты

проблематичнее модифицировать данные трояном, а потом петь песни типа хабба нагила

anonymous ()

а когда будет persistent L2ARC?

anonymous ()
Ответ на: комментарий от Alve

ZFS до сих пор стадии «админ из Windows 10 через putty залез в FreeBSD поиграцца с томами».

В чем это проявляется? или так пустой писте* ?

Использую ZOL с 2012 года, ни одного потерянного файла по вине ZFS (тьфу тьфу конечно но всякей).

До этого видел разрушение пула Nexenta, недавно видел как OpenIndiana не может импортировать пул ZOL, хотя линупс может.

anonymous ()
Ответ на: комментарий от anonymous

Система про файловый кэш как-раз в курсе, в отличии от внутренней логики движка базы, сходи почитай штоле чего-нибудь.

Например, про то, что система (ядро оси) не в курсе про стратегию кэширования данных, оптимальную для внутренней логики движка СУБД, однако.

«Придурки» из IBM наверно согласны с этим утверждением в своей СУБД с лучшим оптимизатором запросов.

anonymous ()
Ответ на: комментарий от init_6

Dimez под то что я, да и все остальные, понимают под словом Linux это самое „ZFS on Linux“ быть не может ибо оно нарушает лицензию этого самого Linux.

Под словом Linux часто понимают операционную систему в целом, т.е. сборку вместе с user space. Так вот пользователям сборки без разницы совместимость лицензий, до тех пор, пока она не ведет к их личным убыткам.

Коллизия условий лицензий GPL и CDDL не ведет к полному запрету использования ZFS установленной системе Linux, а лишь препятствует распространению драйверов ZFS внутри mainline ядра Linups.

Ну подумаешь, какое великое неудобство. Есть DKMS, а раньше и своими build скриптами прекрасно обходился.

anonymous ()
Ответ на: комментарий от init_6

С каких это пор?

С момента появления на свет текста лицензионных договоров GPL и CDDL, бугагашеньки.

anonymous ()
Ответ на: комментарий от Miha

Видел человека с надписью на лбу: «Сохранность данных обеспечивает backup, а не файловая система». Подозреваю он как-то связан с администрированием.

Ога, еще вопросы:

1) насколько бэкап будет содержать корректные данные

вот представь, что новая версия СУБД заглючила и сформировала кривой бэкап.

2) насколько он сможет восстановиться даже с корректными данными

представь, что ты залил бэкап на другой сервер, на котором оказалась немножечко кривая дисковая подсистема (диски, контроллер, дрова и т.п.) и сразу ты этого не заметил (а ZFS бы заметил).

anonymous ()
Ответ на: комментарий от Miha

А что толку от тождественности бэкапа исходным данным, искореженным, например, подглючивающим контроллером на пару с СУБД без чексумм как у DB2?

anonymous ()
Ответ на: комментарий от Xwo

Почему, если это такая клевая ФС, ее до сих пор нет в ядре?

Потому что это запрещено законом из-за того, что запрещено в лицензиях.

anonymous ()
Ответ на: комментарий от anonymous

Ты траллишь или правда не понимаешь? Bit rot в исходных данных, о котором ты узнаешь, когда файл будет испорчен во всех резервных копиях за последние пять лет, например.

А какую недорогую или даже дешевую материнку с ECC рекомендуют под ZFS? Желательно с Libreboot или хотябы Coreboot,

Talos не придлагать, у миня на ниго денех нету.

anonymous ()
Ответ на: комментарий от Xwo

md5 делаешь на каждый файл и тестируешь файлы в бекапе, перед тем, как назвать его бекап

еще можно крупу покупать на 13 рублей дешевле нормальной, а потом перебирать ее вручную каждый раз по крупиночке, окуенный профит (по большому секрету сказал если чо)! ждем появления нового олегарха, кто воспользуется советом.

anonymous ()
Ответ на: комментарий от xvoid

Потому что лицензия «неправильная».

Это она для тебя неправильная, а для правообладателя (Sun microsystems) правильная, потому что только они вправе решать, какая правильная, а какая неправильная.

anonymous ()
Ответ на: комментарий от Miha

А что будет при:

1) CRC ошибке в кобеле? увеличения показателя SMART не предлагать :) мне свои данные нужны в целости и сохранности, а не отчеты смарта.

2) При глюке контроллера?

3) При глюке чего-нибудь еще?

anonymous ()
Ответ на: комментарий от anonymous

Ахаха, нет, почти никогда не будет. Даже нее****ски энтерпрайзный сторадж с покерфейсом выдаст мусор, а вендор скажет «ой, ну бывает, поправим».

И это пидарасы: https://nosql.ru/forum/topic.php?fid=3&tid=24712&tpage=4&msg=9739... (не путать с геями), которые втюхивают свои глючные контроллеры по $5K за платку.

Такие контроллеры должны работать в паре (2*$5K=$10K только лишь за чудо дисковые контроллеры) и дублировать друг друга, но увы и ах, они в паре глючат сильнее, чем по отдельности и их приходится передергивать из шасси каждые 3 месяца, после того как ой опять отвалились все пулы (не ZFS кстати а вендоровские). А сервер Kraftway на 10 лет старше, работая под бесплатным ZFS почему то ничего не отваливается, как так ? совпадение?

anonymous ()
Ответ на: комментарий от anonymous

Ну да, это же так здорово — тратить кучу времени и сил на поддержание совместимости с новыми версиями!

А кто это вместо них будет поддерживать, когда они окажутся в ядре? Всё то же самое, плюс куча дополнительной головной боли в виде merging windows.

anonymous ()
Ответ на: комментарий от Miha

Названы Btrfs, HAMMER, ReFS, ZFS. А как люди тогда используют ext4 в работе, где всех этих фич нет? Данные можно терять, или все таки вероятность ошибки очень маленькая? Получается линукс не готов для энтерпрайза?

Линукс не готов для энтерпрайза даже меньше венды, потому что все они появились во времена, когда энтерпрайз оперировал не одним гигабайтом данных, а целыми несколькими, например двумя! :) до сих пор есть живой винт 1997 года выпуска.

anonymous ()
Ответ на: комментарий от deadplace

Ох это засилие линуксятины!))) Надеюсь хоть чем-то фря от линукса в итоге будет отличаться)

Уже отличается, у FreeBSD есть свой бесплатный GRSecurity совместимый с ZFS.

Увы в линупсе он платный, да еще и хер скомпилишь grsec+zfs одновременно.

anonymous ()
Ответ на: комментарий от crypt

Навряд ли для продакшина подходят версии с минорной частью около нуля.

Если кто помнит, то ZOL ZFS когда-то порадовал нас багом репликации.

anonymous ()
Ответ на: комментарий от crypt

в плане архитектуры абсолютно одно и то же судя по всему. ZFS портировали просто взяв большуший кусок кода из солярис (posix совместимый). дальше пошли в дело прокладки и стабы. «вот как-то так это все и работает» (с)

Прослойку уже объединили с основным кодом, наверно, как бы намекая, что OpenZFS больше не интересен.

anonymous ()
Ответ на: комментарий от anonymous

Миха, понимаешь, есть теоретики, а есть люди живущие в реальном мире. Вторые понимают, что бэкапы это хорошо, но иногда нужно промежуточное решение.

Не промежуточное, а дополнительное.

ZFS не заменяет бэкапов, а делает их более надежными.

Думаю, со временем сегодняшний бэкап даже и бэкапом перестанут считать, если он не размещен на FS с чексуммами.

Добавь сюда возможно бэкапить или переносить на другой сервер параллельно с работой пользователей после быстрого офлайн снэпшота.

Причем не только базы данных, которые и без того умеют онлайн репликацию, а любой самый древний и тупой комплекс, который раньше бэкапили только офлайн.

anonymous ()
Ответ на: комментарий от anonymous

А что будет при:

1) CRC ошибке в кобеле?

произойдет повтор передачи данных и прозрачное замедление интерфейса

2) При глюке контроллера?

система зависнет ?

3) При глюке чего-нибудь еще?

что-то еще, в любом случае ZFS не спачёт

anonymous ()
Ответ на: комментарий от anonymous

доаа, даже на виртуалке с 1 гигом оперативы всего (не только ARC) + swap юзабельно под mail, proxy, docker и т.п., а с 16 уже не юзабельно.

anonymous ()
Ответ на: комментарий от CryNet

У меня одна ОС на BTRFS, а другая на EXT4.

Обе отметились в свое время массовыми случаями потери данных, включая всю файловую систему, в отличии от ZFS, которая начинает своей отсчет с 2001 года. Можно вначале и были какие глюки, но к моменту портирования ядро ZFS было уже супер стабильным на солярке.

anonymous ()
Ответ на: комментарий от anonymous

экие фантазёры тут собрались.

Это люди, которые думают, что возможности в области FS зависят только от их бюджета, а не уровня знаний. Дайте мне последний пентиум хуентиум и я напейшу самую лучшую программазму в мире.

anonymous ()
Ответ на: комментарий от CryNet

Хотелось на SSD попробовать что-то другое (EXT4 и BTRFS пробовал). Ибо как понять, что хуже или лучше для меня?

Очень просто:

Предоставить ганстолкерам возможность незаметно поменять содержимае важного для тебя файла (например, юридической жалобы) и потом сравнить с недавним снэпшотом, которого у тебя нету ибо extX. Или предоставить им возможность йопнуть твоим диском по столу (от большого ума конечно же).

anonymous ()
Ответ на: комментарий от anonymous

если нужно шифрование персональнвх данных - f2fs

Да, действительно, зачем нам LUKS+Nitrokey+PGP

anonymous ()
Ответ на: комментарий от anonymous

В очень популярной утилите netbackup есть чекбоксы «Write checksum to media» и «Verify after backup completes». Думаю у других есть нечто подобное.

Miha ()
Ответ на: комментарий от anonymous

произойдет повтор передачи данных и прозрачное замедление интерфейса

А как тогда эти ошибки видит ZFS?

Если подключить кривой кабель можно наблюдать взрывной рост CRC ошибок в SMART и одновременно несколько новых ошибок в zfs scrub

anonymous ()
Ответ на: комментарий от anonymous

Щазз, у меня в столе на работе лежит LSI контроллер (а не какая нить говняшка)

от которого ZFS периодически отпинывал диски после превышения ошибок выше нормы.

Переключил теже самые диски на другой контроллер и о чудо, диски перестали отваливаться и ZFS перестало рапортовать об ошибках с zpool status.

Какой мерзкий ZFS, видит все глюки брэндой непогрешимой железки, айяяяй, разве так можно?!?!? надо было молча похерить данные, на что и был рассчет производителя.

anonymous ()
Ответ на: комментарий от anonymous

А что будет при ошибке в ОЗУ?

Отвечаю: есть память которые такие ошибки обнаруживает и исправляет. Называется ecc.

Везде написано, что использование ZFS на системах без ECC запрещено.

Также есть аппаратные решения для исправления сбоев при передаче.

Miha ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.