LINUX.ORG.RU

Релиз ZFSonLinux 0.8.0

 , ,


4

2

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0.

Новые возможности:

  • «Нативное» шифрование как для файловых систем, так и для разделов. По умолчанию используется алгоритм aes-256-ccm. Ключи для датасета управляются с помощью команды «zfs load-key» и связанных подкоманд.
  • Шифрование при zfs send/receive. Позволяет хранить бэкапы на недоверенных сервисах без возможности компрометации.
  • Удаление устройства из pool через команду «zpool remove». Все данные копируются в фоновом режиме на оставшиеся устройства верхнего уровня, и ёмкость пула соответственно уменьшается.
  • Подкоманда «zpool checkpoint» позволяет сохранить всё состояние пула и при желании вернуться обратно в это точное состояние. Это можно рассматривать как расширенный snapshot пула. Это полезно при выполнении сложных административных действий, которые в противном случае необратимы (например, включение новой функции, уничтожение набора данных и так далее)
  • TRIM для устройств пула. Позволяет более эффективно использовать твёрдотельные накопители и предотвращать снижение их производительности и/или времени их жизни. Можно производить trim как отдельной командой «zpool trim», так и включить аналог опции discard - новое свойство пула «autotrim»
  • Инициализация пула. Подкоманда «zpool initialize» записывает свой патерн во всё нераспределённое пространство. Это устраняет первое снижение производительности доступа, которое может существовать в некоторых виртуализированных хранилищах (например, VMware VMDK).
  • Поддержка аккаунтинга проектов и квот. Эта функция добавляет учёт использования проекта и квоты к существующим функциям учёта пространства и квот. Квоты проекта добавляют дополнительное измерение к традиционным квотам пользователей/групп. Подкоманды «zfs project» и «zfs projectspace» были добавлены для управления проектами, установки лимитов квот и отчётов об использовании.
  • Программы каналов. Подкоманда «zpool program» позволяет использовать скрипты на LUA для выполнения административных действий. Скрипты запускаются в «песочнице» с лимитами времени и памяти.
  • Pyzfs. Новая python-библиотека для обеспечения стабильного интерфейса для программного администрирования ZFS. Эта обёртка обеспечивает взаимно-однозначное (one-to-one) сопоставление для функций API libzfs_core, но сигнатуры и типы более естественны для Python-диалекта.
  • Совместимость с Python3. Утилиты «arcstat», «arcsummary» и «dbufstat» обновлены для совместимости с Python3
  • Direct IO. Добавлена поддержка использования прямого вывода (O_DIRECT).

Также ускорены подкоманды scrub/resilver/list/get, добавлена возможность вывести метаданные на отдельное устройство (например, высокопроизводительный SSD малого объёма), увеличена производительность ZIL за счёт кэширования и оптимизации, добавлена поддержка аппаратного ускорения SHA256-чексумм и AES-шифрования используя Intel QAT (Quick Assist Technology).

Поддерживаемые ядра Linux: 2.6.32 - 5.1 (на ядрах 5.0 и выше пока не поддерживается SIMD-ускорение)

Полный список изменений

Значения параметров модулей по-умолчанию выбраны, чтобы обеспечить оптимальную нагрузку для большинства рабочих нагрузок и конфигураций. Для полного списка опций - man 5 zfs-module-parameters

>>> Подробности

★★★★★

Проверено: shell-script ()

Ответ на: комментарий от anonymous

надежность правильно выбранного качественного open source обычно выше на порядок, чем у аналогично выбранной проприетарщины хотя бы потому, что тестингом и багфиксингом занимется в десятки и сотни раз больше людей при сравнимом количестве главных разработчиков с очень высокой квалификацией

Доооо, миллионымухглаз внимательно следят. А тут херакс:

The device mapper bug in Linux 5.1 can lead to «massive data loss» issues.

Miha ()
Ответ на: комментарий от anonymous

Это как раз есть во фрюхе :)

Точнее, есть но в CURRENT. Я не настолько любитель bleeding edge

deadplace ()

Асло, есть пруф, что ASLR действительно от чего-то защищает?

deadplace ()
Ответ на: комментарий от anonymous

Откуда? Закон сохранения информации никто не отменял.

Вот уж не знаю, тоже интересно, наверно там хранится какая еще небольшая дополнительная избыточность даже при copies=1.

Чему там тормозить? Тормозное оно только если диск вылетит. Но что будет с ZFS в этом случае?

Ухаха, и правда, чему тормозить в RAID5 по сравнению, например, с RAID10?

Причем тут ZFS вообще? Zpool можно создать как в режиме RAID5, так и в режиме RAID10.

anonymous ()
Ответ на: комментарий от Miha

The device mapper bug in Linux 5.1 can lead to «massive data loss» issues.

Наверно, плохо следят, раз не знают, что нельзя лезьти на последние ядра в продакшин. Берешь Devuan stable или oldstable и прекращаешь свои попытки найти изъян там (в надежности Linux), где его нет (в stable или oldstable).

Не удивлюсь, если в проприетарных хранилищах баг может просуществовать несколько лет даже в stable до тех пор пока его случайно не найдет какой-нить редкий пользователь.

anonymous ()
Ответ на: комментарий от Miha

Доооо, миллионымухглаз внимательно следят.

Приятно, когда админ всякой проприетарной ненужнятины называет пользователей open source мухами.

А тут херакс:

и несколько крупных вендоров закрывают свои проприетарные проекты и переводят свои решения на ZFS, например ZOL. А остальные крупные вендоры просто в страхе валят с рынка storage вообще пока не поздно распродают свою низкотехнологическую примитивную никчемность всяким леновам.

И все серты, все время и деньги, потраченное на на ваши никчемные поделки становится слитым в унитаз. Вы судорожно изучаете линупс или хотябы BSD/Illumos и становитесь такой же счастливой «мухой» как и все остальные, осознает как он был раньше не прав, и возможно даже становится духовно похожим на Человека.

anonymous ()
Ответ на: комментарий от anonymous

судорожно изучаете линупс или хотябы BSD/Illumos и становитесь такой же счастливой «мухой»

Покажи аналог IBM FlashSystem 9100 на опенсорс технологиях и посмотрим кто там муха и валит с рынка.

Miha ()
Ответ на: комментарий от Miha

Покажи аналог IBM FlashSystem 9100 на опенсорс технологиях и посмотрим кто там муха и валит с рынка.

Ну возможно топовые модели еще какое-то время и просуществуют, а средние сольются, они наверно уже давно не могут конкурировать хотя бы с Nexenta.

anonymous ()
Ответ на: комментарий от anonymous

лезьти

уровень грамотности непрерывно падает

anonymous ()
Ответ на: комментарий от anonymous

уровень грамотности непрерывно падает

Эта единственное, что ты можешь зометидь нигативнога.

В остальном твой спор сливается, ни одного аргумента, ты проиграл против ZFS.

anonymous ()
Ответ на: комментарий от Miha

Покажи аналог IBM FlashSystem 9100 на опенсорс технологиях и посмотрим кто там муха и валит с рынка.

А кстати, что в этом черном ящике с кучей SSD такого уникального, кроме длинных мануалов и корпоративного стиля решения проблем?

anonymous ()
Ответ на: комментарий от Miha

IOPS 10е7

И это фсеее ?!?!? Если кроме IOPS ниче нету, то так и есть - ящик с SSDхами.

Хочешь сказать, что такое нельзя собрать из топовых серверных железок? Возможно даже из железок IBM и промышленных SSD.

Я не сторонник нищебродства при покупке промышленных хранилищ, отнюд, лично мне вообще покуй сколько оно стоит, пусть даже дороже проприетарного, но найдутся вендоры, кто будут производить ZFS хранилища на базе самого топового железа, и что тогда? Кому будет нужна твоя уникальность в виде 10 млн IOPS? В крайнем случае твою шилизяку прицепять к ZFS хранилищу по FibreChannel, и на этом ее уникальность закончится.

anonymous ()
Ответ на: комментарий от anonymous

FibreChannel

Bandwidth 136 гб/сек, кластеризация, виртуализация, up to 32 PB usable capacity. Давай вперед.

Miha ()
Ответ на: комментарий от anonymous

Ты вообще не понял о чём речь.

Что конкретно не понял?

anonymous ()
Ответ на: комментарий от Miha

Bandwidth 136 гб/сек, кластеризация, виртуализация, up to 32 PB usable capacity. Давай вперед.

А зачем вперед? Можно развернуть ZFS на гипервизоре, подключенном к этой железяке по какому-нибудь скоростному интерфейсу.

anonymous ()
Ответ на: комментарий от anonymous

В случаях качественного open source

Муахахаха

тестингом и багфиксингом занимется в десятки и сотни раз больше людей

Бугагагага

Вот это ВЕРА!

anonymous ()
Ответ на: комментарий от anonymous

Не, не, не. Ты предложи свое решение хранилки на базе линукс zfs с 32 ПБ и 10e7 iops.

Miha ()
Ответ на: комментарий от anonymous

Вот это ВЕРА!

Пощетай количество баг репортов ZOL, OpenZFS, ZFS Solaris, просуммируй и сравни с проприетарщиной. Тебе там и сравнить то никто не разрешит даже, вот такой хаха.

anonymous ()
Ответ на: комментарий от Miha

Не, не, не. Ты предложи свое решение хранилки на базе линукс zfs с 32 ПБ и 10e7 iops.

Почему это «Не, не, не.»? Нам ведь главное ZFS, а не то, что добавлено в качестве vdev.

Я не имею опыта работы с такими производительными хранилищами и не интересовался ими, поэтому не знаю и как раз интересуюсь сам:

Чем тебе не нравится Nexenta, если ее установить на железки, похожие на https://www.broadberry.co.uk/performance-storage-servers/cyberstore-248n-perf...

?

anonymous ()
Ответ на: комментарий от anonymous

10 может и дадут, но как с ними работать? Они умеют в кластер и виртуализацию?

Miha ()
Ответ на: комментарий от anonymous

Аргументы в споре закончились, финансирование тож
А что остается делать проиетарным ораклоидно-солярочным макакам, когда они осознают, что ненужны при наличии Linux и BSD?

я заметил, впрочем, у тебя их и не было. я даже догадываюсь почему красноглазики так не любят «оракло-солярочных макак» - ощущение неполноценности видимо покоя не даёт.

anonymous ()
Ответ на: комментарий от anonymous

Нет в таких случаях линуксоиды берут Illumos и сочуйствуют ораклоидам.

anonymous ()
Ответ на: комментарий от anonymous

Чем тебе не нравится Nexenta, если ее установить на железки, похожие на

Нам надо, например, 32 порта 10 GbE iSCSI. Это какой сервер с нексентой может обеспечить?

Miha ()
Ответ на: комментарий от Miha

Нам надо, например, 32 порта 10 GbE iSCSI. Это какой сервер с нексентой может обеспечить?

Я уже упоминал, что не разбираюсь в очень производительном железе. У меня нет такого опыта.

Но я уверен, что можно найти железки для нужд большинства организаций без проприетарщины в софте хранилища.

anonymous ()
Ответ на: комментарий от anonymous

пока не поздно валить на Illumos, SmartOS

я туда и так с самого начала коммичу, одно другому не мешает.

anonymous ()
Ответ на: комментарий от anonymous

и прекращаешь свои попытки найти изъян там (в надежности Linux), где его нет (в stable или oldstable)

святая простота. в - вера.

anonymous ()
Ответ на: комментарий от anonymous

святая простота. в - вера.

Ну по сравнению с хуиндоус, надежность - это правда, как и бОльший функционал.

Надежность можно повысить, распихав нагруженные сервисы линукса в разные виртуалки (отдельные ядра линупс), избавившись в каждой от системГ.

Если начнет капризничать гипервизор, то можно попробовать BSD или Illumos для хоста, гипервизору много функционала (как в линупсе) не надо.

anonymous ()
Ответ на: комментарий от anonymous

ты похоже вообще не представляешь, что такое современный storage array, для тебя это комп с парой дисков и сетевым интерфейсом, оно конечно в общих чертах так, но только совсем в общих. сломается материнка или проц в твоём как бы сторадже и всё, приплыли.

anonymous ()
Ответ на: комментарий от anonymous

Там до хрена всего, например умеет автоматом перемещать данные между датацентрами, создавать избыточные копии, короче они пишут что это дает пять девяток на объемах в 7.2 эксабайт.

Чтобы ты окончательно проникся, в коробке 16 14 ядерных процессоров и 6 террабайт памяти.

I

Miha ()
Ответ на: комментарий от anonymous

повторю ещё раз - интеграция системных компонент между собой. про надёжность не было ни слова, тут видимо сработал детектор фанатичных красноглазиков.

anonymous ()
Ответ на: комментарий от Miha

Там до хрена всего, например умеет автоматом перемещать данные между датацентрами,

Что значит автоматом? Какие данные? Репликация чтоли? Так это и ZFS умеет (я даже скрипт специальный репликационный разработал для автоматики дома).

создавать избыточные копии

Это zfs set copies=X чтоли?

, короче они пишут

Ну вот уже короче, получается из уникального фунционала только вычислительная дурь? сила есть ума не надо ...

что это дает пять девяток на объемах в 7.2 эксабайт.

Что значит это фраза? Я не знаком со слэнгом админов датацентров.

Чтобы ты окончательно проникся, в коробке 16 14 ядерных процессоров и 6 террабайт памяти.

Ну я проникся, да, в том смысле, что прицепить такую шизилезку в качестве ZFS vdev, наверно, недурственно.

anonymous ()
Ответ на: комментарий от anonymous

ну так ты сделай для начала чтобы они как один работали, сингл имидж в смысле, если ты конечно понимаешь о чём я.

anonymous ()
Ответ на: комментарий от anonymous

без проприетарщины в софте хранилища

Тут еще момент, по договору в случае отказа ты должен заменить сундук в течении 2 бизнес дней. А если клиентов у тебя даже 50 штук, то нужно иметь такие железки на складе. Позволить себе это могут только крупные компании, а они с опенсорс решениями не работают вообще, а только с такми же крупными компаниями тип IBM.

Miha ()
Ответ на: комментарий от Miha

Тут еще момент, по договору в случае отказа ты должен заменить сундук в течении 2 бизнес дней. А если клиентов у тебя даже 50 штук, то нужно иметь такие железки на складе. Позволить себе это могут только крупные компании, а они с опенсорс решениями не работают вообще, а только с такми же крупными компаниями тип IBM.

А почему не работают? Что мешает третей фирме поставлять Nexenta на IBM железках?

anonymous ()
Ответ на: комментарий от anonymous

дает пять девяток на объемах в 7.2 эксабайт

Это значит данные доступны 99.99999% процентов времени.

Miha ()
Ответ на: комментарий от anonymous

Я так понимаю, нужен какой-то очень производительный сервер с Illumos на борту, куда можно прицепить 5 таких хранилищ в качестве zpool vdev каждое по каким-то скоростным интерфейсам?

anonymous ()
Ответ на: комментарий от Miha

но ведь ничего из этого не является частью функционала виртуализации.

для анона, виртуализация в контексте самого стораджа, а не виртуалок на серверах. например можно подключить к одному массиву ещё несколько произвольного производителя и будут они как один. мультитенант и прочие страшные слова.

anonymous ()
Ответ на: комментарий от Miha

Это значит данные доступны 99.99999% процентов времени.

Не сто процентов, потому что заложена вероятность сбоя?

anonymous ()
Ответ на: комментарий от anonymous

так ведь они сами по себе сервера. но ладно, возьмём ещё сервер перед ними, ну и что ты будешь делать, когда у тебя поломается мать в этом сервере?

anonymous ()
Ответ на: комментарий от anonymous

Это цифра из эксплуатации. Посчитай какой простой может быть за год?

Miha ()
Ответ на: комментарий от anonymous

что было? ты сделай так, чтобы клиенты ничего не заметили и ничего не потерялось. у нормальных производителей одна ось работает на нескольких материнках и нет привязок к портам ввода/вывода.

anonymous ()
Ответ на: комментарий от anonymous

одна ось работает на нескольких материнках

Линукс так не умеет.

Miha ()
Ответ на: комментарий от anonymous

Я с кластеринг хранилищей не работал, но гуглится же про nexenta clustering,

значит оно есть? чем не устраивает?

Кроме того, наверно возможно использование распределенных файловых систем поверх ZVol, а в них наверно тоже есть дублирование? Я не задумывался пока над такими юз кейсами, но думаю есть решения.

Еще раз пытаюсь повторить свое сообщение, что OpenZFS может заменить большинство средненьких хранилищ, у них что, у всех дублирование материнки чтоли?

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.