LINUX.ORG.RU

Релиз ZFSonLinux 0.8.0

 , ,


4

2

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0.

Новые возможности:

  • «Нативное» шифрование как для файловых систем, так и для разделов. По умолчанию используется алгоритм aes-256-ccm. Ключи для датасета управляются с помощью команды «zfs load-key» и связанных подкоманд.
  • Шифрование при zfs send/receive. Позволяет хранить бэкапы на недоверенных сервисах без возможности компрометации.
  • Удаление устройства из pool через команду «zpool remove». Все данные копируются в фоновом режиме на оставшиеся устройства верхнего уровня, и ёмкость пула соответственно уменьшается.
  • Подкоманда «zpool checkpoint» позволяет сохранить всё состояние пула и при желании вернуться обратно в это точное состояние. Это можно рассматривать как расширенный snapshot пула. Это полезно при выполнении сложных административных действий, которые в противном случае необратимы (например, включение новой функции, уничтожение набора данных и так далее)
  • TRIM для устройств пула. Позволяет более эффективно использовать твёрдотельные накопители и предотвращать снижение их производительности и/или времени их жизни. Можно производить trim как отдельной командой «zpool trim», так и включить аналог опции discard - новое свойство пула «autotrim»
  • Инициализация пула. Подкоманда «zpool initialize» записывает свой патерн во всё нераспределённое пространство. Это устраняет первое снижение производительности доступа, которое может существовать в некоторых виртуализированных хранилищах (например, VMware VMDK).
  • Поддержка аккаунтинга проектов и квот. Эта функция добавляет учёт использования проекта и квоты к существующим функциям учёта пространства и квот. Квоты проекта добавляют дополнительное измерение к традиционным квотам пользователей/групп. Подкоманды «zfs project» и «zfs projectspace» были добавлены для управления проектами, установки лимитов квот и отчётов об использовании.
  • Программы каналов. Подкоманда «zpool program» позволяет использовать скрипты на LUA для выполнения административных действий. Скрипты запускаются в «песочнице» с лимитами времени и памяти.
  • Pyzfs. Новая python-библиотека для обеспечения стабильного интерфейса для программного администрирования ZFS. Эта обёртка обеспечивает взаимно-однозначное (one-to-one) сопоставление для функций API libzfs_core, но сигнатуры и типы более естественны для Python-диалекта.
  • Совместимость с Python3. Утилиты «arcstat», «arcsummary» и «dbufstat» обновлены для совместимости с Python3
  • Direct IO. Добавлена поддержка использования прямого вывода (O_DIRECT).

Также ускорены подкоманды scrub/resilver/list/get, добавлена возможность вывести метаданные на отдельное устройство (например, высокопроизводительный SSD малого объёма), увеличена производительность ZIL за счёт кэширования и оптимизации, добавлена поддержка аппаратного ускорения SHA256-чексумм и AES-шифрования используя Intel QAT (Quick Assist Technology).

Поддерживаемые ядра Linux: 2.6.32 - 5.1 (на ядрах 5.0 и выше пока не поддерживается SIMD-ускорение)

Полный список изменений

Значения параметров модулей по-умолчанию выбраны, чтобы обеспечить оптимальную нагрузку для большинства рабочих нагрузок и конфигураций. Для полного списка опций - man 5 zfs-module-parameters

>>> Подробности

★★★★★

Проверено: shell-script ()

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0

Dimez под то что я, да и все остальные, понимают под словом Linux это самое „ZFS on Linux“ быть не может ибо оно нарушает лицензию этого самого Linux.

Поэтому внимание вопрос - почему кого-то должна волновать судьба предка btrfs из параллельной вселенной BSD который ныне разрабатывают под некий Linux однако явно под необычный Linux ибо с ним это самое ZFS несовместимо.

init_6 ★★★★★ ()
Ответ на: комментарий от intelfx

Щито? Они осилили block pointer rewrite?

можно подумать, что BP rewrite есть единственный способ освободить физический диск из пула. Обошлись без BP rewrite. А вот удаление raid-z - не осилили.

anonymous ()
Ответ на: комментарий от init_6

Из паралельной вселенной Solaris, вообще-то. И вполне совместимо, как сторонний модуль.

xvoid ()
Ответ на: комментарий от xvoid

Из паралельной вселенной Solaris, вообще-то.

Не суть важно. Но пусть будет солярис.

И вполне совместимо, как сторонний модуль.

С каких это пор?

init_6 ★★★★★ ()
Ответ на: комментарий от DrRulez

Норм, тогда может и в illumos, и во фре ждём шифрование (через zfs, а не geli)

deadplace ()
Ответ на: комментарий от init_6

С каких это пор?

Любой человек может поставлять какой угодно модуль для ядра, отдельно от самого ядра, под какой угодно лицензией.

DrRulez ()
Ответ на: комментарий от xvoid

Ну и хорошо, я говорю. Ну и кроме шифрования в openzfs уже всё есть

deadplace ()
Ответ на: комментарий от init_6

Что ты несешь? ))

Это же именно под линукс вещь, скомпилял там модуль и работай

deadplace ()
Ответ на: комментарий от deadplace

Не обращай внимания, его лоеры покусали.

anonymous ()
Ответ на: комментарий от anonymous

А ведь ZFS пользовались ещё в времена, когда 2 Гб оперативной памяти было роскошью.

Leupold_cat ★★ ()
Последнее исправление: Leupold_cat (всего исправлений: 1)
Ответ на: комментарий от loz

Есть какой-то смысл это использовать для десктопа?

Нет, нету.

Odalist ★★★★★ ()

А кто-нибудь видел сравнениие производительности этой системы с оригинальной zfs от Oracle Solaris 11?

Miha ()
Ответ на: комментарий от Odalist

Почему нету? А как же целостность и сохранность данных?

anonymous ()
Ответ на: комментарий от anonymous

Видел человека с надписью на лбу: «Сохранность данных обеспечивает backup, а не файловая система». Подозреваю он как-то связан с администрированием.

Miha ()
Ответ на: комментарий от deadplace

Так завозят из ZoL к вам. FreeBSD теперь на ней базируется.

anonymous ()
Ответ на: комментарий от Miha

Бэкап не обеспечивает целостности исходных данных.

anonymous ()
Ответ на: комментарий от anonymous

У него из данных только конфиг оконного менеджера и кучка MP3 с рутрекера.

anonymous ()
Ответ на: комментарий от anonymous

Вот это как? Из него можно получить любое число копий и все они будут тождественны, иначе это не backup.

Miha ()

Почему, если это такая клевая ФС, ее до сих пор нет в ядре?

Xwo ()
Ответ на: комментарий от Miha

Ты траллишь или правда не понимаешь? Bit rot в исходных данных, о котором ты узнаешь, когда файл будет испорчен во всех резервных копиях за последние пять лет, например.

anonymous ()
Ответ на: комментарий от anonymous

md5 делаешь на каждый файл и тестируешь файлы в бекапе, перед тем, как назвать его бекап

Xwo ()
Последнее исправление: Xwo (всего исправлений: 2)
Ответ на: комментарий от Odalist

Не буду обманывать: мне всё равно, по каким помойкам ты шаришься 😶

anonymous ()
Ответ на: комментарий от anonymous

Bit rot в исходных данных

При чтении сектора c диска будет ошибка контрольной суммы.

Miha ()
Ответ на: комментарий от Miha

Ахаха, нет, почти никогда не будет. Даже нее****ски энтерпрайзный сторадж с покерфейсом выдаст мусор, а вендор скажет «ой, ну бывает, поправим».

anonymous ()
Ответ на: комментарий от anonymous

Названы Btrfs, HAMMER, ReFS, ZFS. А как люди тогда используют ext4 в работе, где всех этих фич нет? Данные можно терять, или все таки вероятность ошибки очень маленькая? Получается линукс не готов для энтерпрайза?

Miha ()
Ответ на: комментарий от anonymous

Помню ext4 теряла файлы на файлопомойке, лежит файл на исправном сторадже, все диски в идеале (raid-5), через несколько лет к нему обращаешся, а он корраптед. Если данные представляют хоть какую-то ценность, только zfs.

anonymous ()
Ответ на: комментарий от deadplace

Ну не то чтобы «базируется», но поползновения к этому есть. И всяких говен из Zol нет-нет, да и притащат.
Из недавнего вон «parallel mounting for ZFS filesystem». Ладно, хоть отключаемое.

anonymous ()
Ответ на: комментарий от anonymous

Поползновения давно уже, как стало ясно что illumos больше не может считаться upstream, и реальная разработка идёт в zol.

xvoid ()
Ответ на: комментарий от anonymous

Вообще, я бы хотел больше узнать об этом.

Нашел какую-то тему на форуме в пользу того, что якобы переходят на zfs on linux:

https://forums.freebsd.org/threads/freebsd-moving-to-zfs-on-linux.68803/

С другой стороны модуль zfs не тянет никакого модуля для линукс-совместимости (типа linuxkpi). Также в истории git репы (я использую гит зеркало на github) есть только один коммит от zfs on linux:

commit a73aecd5f1b3afb968ba2977945b1a62d47d0353 Author: sef <sef@FreeBSD.org> Date: Fri Jun 8 17:38:28 2018 +0000

This originated from ZFS On Linux, as https://github.com/zfsonlinux/zfs/commit/d4a72f23863382bdf6d0ae33196f5b5decbc... During scans (scrubs or resilvers), it sorts the blocks in each transaction group by block offset; the result can be a significant improvement. (On my test system just now, which I put some effort to introduce fragmentation into the pool since I set it up yesterday, a scrub went from 1h2m to 33.5m with the changes.) I've seen similar rations on production systems.

Также man zpool-features тоже не упоминает ZoL

deadplace ()
Ответ на: комментарий от xvoid

и реальная разработка идёт в zol.

Последние фичи у меня из Delphix, судя по мануалу. Из ZoL нет ничего

deadplace ()
Ответ на: комментарий от deadplace

Delphix в конце прошлого года объявила о переходе на ZoL. Крепись.

anonymous ()
Ответ на: комментарий от anonymous

parallel mounting for ZFS filesystem

Да, нашел такое. Короче, zfs во фре тянет всё ото всюду. Как и zfs где либо ещё. Хорошо, что разные команды сотрудничают

deadplace ()
Ответ на: комментарий от anonymous

Delphix в конце прошлого года объявила о переходе на ZoL

Ох это засилие линуксятины!))) Надеюсь хоть чем-то фря от линукса в итоге будет отличаться)

deadplace ()
Ответ на: комментарий от deadplace

Я сам не очень-то жалую FreeBSD, но тут соглашусь, разнообразие нужно.

anonymous ()
Ответ на: комментарий от anonymous

Кстати, глянул через

git log --grep=«ZoL», там коммитов больше, чем я думал))

deadplace ()
Ответ на: комментарий от anonymous

Помню ext4 теряла файлы на файлопомойке, лежит файл на исправном сторадже, все диски в идеале (raid-5), через несколько лет к нему обращаешся, а он корраптед.

какие забористые сказки :)

anonymous ()
Ответ на: комментарий от anonymous

мне всё равно

Но ты держи и дальше меня в курсе. Что уж там...

Odalist ★★★★★ ()
Ответ на: комментарий от Miha

как люди тогда используют ext4 в работе, где всех этих фич нет?

ext4
в работе

Ахахахахахахахаха ох, шутник. Любительская поделка у него В РАБОТЕ. Ну, юморист. Ну, повеселил.

anonymous ()
Ответ на: комментарий от anonymous

Любительская поделка

На этой любительской поделке работают миллиарды устройств.

anonymous ()
Ответ на: комментарий от anonymous

И это её автоматически делает какой-то особенно правильно сделанной, тщательно спроектированной, надёжной и быстрой или наделяет иным, возможно магическими, свойствами?

anonymous ()
Ответ на: комментарий от anonymous

правильно сделанной

Возможно.

тщательно спроектированной

Вряд ли.

надёжной и быстрой

Определённо да.

возможно магическими, свойствами

Это к некоторым другим ФС, точнее, к их поклонникам.

ext4 не использую нигде, где можно выбрать Btrfs или хотя бы XFS.

anonymous ()
Ответ на: комментарий от anonymous

ext4 не использую нигде, где можно выбрать Btrfs или хотя бы XFS.

С XFS всё понятно, действительно хорошая файловая система, спроектированная к тому же инженерами, а не любителями. Но мне очень интересно, по каким критериям можно выбрать Btrfs, которая для продакшена подходит ещё меньше, чем ext4?

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.