LINUX.ORG.RU

Релиз ZFSonLinux 0.8.0

 , ,


4

2

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0.

Новые возможности:

  • «Нативное» шифрование как для файловых систем, так и для разделов. По умолчанию используется алгоритм aes-256-ccm. Ключи для датасета управляются с помощью команды «zfs load-key» и связанных подкоманд.
  • Шифрование при zfs send/receive. Позволяет хранить бэкапы на недоверенных сервисах без возможности компрометации.
  • Удаление устройства из pool через команду «zpool remove». Все данные копируются в фоновом режиме на оставшиеся устройства верхнего уровня, и ёмкость пула соответственно уменьшается.
  • Подкоманда «zpool checkpoint» позволяет сохранить всё состояние пула и при желании вернуться обратно в это точное состояние. Это можно рассматривать как расширенный snapshot пула. Это полезно при выполнении сложных административных действий, которые в противном случае необратимы (например, включение новой функции, уничтожение набора данных и так далее)
  • TRIM для устройств пула. Позволяет более эффективно использовать твёрдотельные накопители и предотвращать снижение их производительности и/или времени их жизни. Можно производить trim как отдельной командой «zpool trim», так и включить аналог опции discard - новое свойство пула «autotrim»
  • Инициализация пула. Подкоманда «zpool initialize» записывает свой патерн во всё нераспределённое пространство. Это устраняет первое снижение производительности доступа, которое может существовать в некоторых виртуализированных хранилищах (например, VMware VMDK).
  • Поддержка аккаунтинга проектов и квот. Эта функция добавляет учёт использования проекта и квоты к существующим функциям учёта пространства и квот. Квоты проекта добавляют дополнительное измерение к традиционным квотам пользователей/групп. Подкоманды «zfs project» и «zfs projectspace» были добавлены для управления проектами, установки лимитов квот и отчётов об использовании.
  • Программы каналов. Подкоманда «zpool program» позволяет использовать скрипты на LUA для выполнения административных действий. Скрипты запускаются в «песочнице» с лимитами времени и памяти.
  • Pyzfs. Новая python-библиотека для обеспечения стабильного интерфейса для программного администрирования ZFS. Эта обёртка обеспечивает взаимно-однозначное (one-to-one) сопоставление для функций API libzfs_core, но сигнатуры и типы более естественны для Python-диалекта.
  • Совместимость с Python3. Утилиты «arcstat», «arcsummary» и «dbufstat» обновлены для совместимости с Python3
  • Direct IO. Добавлена поддержка использования прямого вывода (O_DIRECT).

Также ускорены подкоманды scrub/resilver/list/get, добавлена возможность вывести метаданные на отдельное устройство (например, высокопроизводительный SSD малого объёма), увеличена производительность ZIL за счёт кэширования и оптимизации, добавлена поддержка аппаратного ускорения SHA256-чексумм и AES-шифрования используя Intel QAT (Quick Assist Technology).

Поддерживаемые ядра Linux: 2.6.32 - 5.1 (на ядрах 5.0 и выше пока не поддерживается SIMD-ускорение)

Полный список изменений

Значения параметров модулей по-умолчанию выбраны, чтобы обеспечить оптимальную нагрузку для большинства рабочих нагрузок и конфигураций. Для полного списка опций - man 5 zfs-module-parameters

>>> Подробности

★★★★★

Проверено: shell-script ()

Ответ на: комментарий от anonymous

Снапы любая midrange СХД умеет из коробки, как и репликацию. Бестолковость вашу вижу, а win - нет.

И ни у кого из региональных админов «шараги» нет доступа ни к снэпшотам, ни к репликации. Кроме того и второго то такого же хранилища обычно нет, чтобы туда реплицировать.

anonymous ()
Ответ на: комментарий от Miha

Короче, все твои аргументы сводятся к следующему, «нам Белаз не нужен, мы руду возим на тачках и счастливы».

По функционалу на тачку походит твой белаз, а не лексус.

А зачем тогда задавать вопросы чем одно лучше другого?

Не вижу связи, мне интересно, чем кроме пяти девяток ваши проприетарные хранилища лучше, что тут плохого?

anonymous ()
Ответ на: комментарий от anonymous

И ни у кого из региональных админов «шараги» нет доступа ни к снэпшотам, ни к репликации.

это потому что ты настроить не в состоянии?

Кроме того и второго то такого же хранилища обычно нет, чтобы туда реплицировать

то есть, ни снапы, ни репликация уже не нужны? а как пел, как пел.

anonymous ()
Ответ на: комментарий от Miha

Не знаю, почитай, если хочешь, как вариант:

https://www.eurostor.com/en/product-segment/es-2800-nexenta-cluster/

HA ведь многие городят, кто во что горазд поверх ZFS (наверно, как и в ваших проприетарных хранилищах), вот, например, еще вариант:

http://high-availability.com/solutions/rsf-1-for-zfs/

Ну Lustre упоминали уже, так ведь каких только нет распределенных файловых систем с дублированием.

anonymous ()
Ответ на: комментарий от anonymous

это потому что ты настроить не в состоянии?

ктож региональным дает доступ к федеральным железякам.

то есть, ни снапы, ни репликация уже не нужны? а как пел, как пел.

нет второго большого хранилища именно под репликацию, а второе ZFS хранилище есть

anonymous ()
Ответ на: комментарий от anonymous

Никто так и не назвал стоимость сравнимого с СХД решения на ZFS. Либо ссылаются на наколенные поделки за $35K, либо на 30.000 винтов в огромном кластере. Вы предлагаете сравнивать теплое с мягким, а кислое с зеленым?

anonymous ()
Ответ на: комментарий от anonymous

Сочувствую. Но это ваши организационные проблемы, к техническим достоинствам решений относящиеся постольку-поскольку.

anonymous ()
Ответ на: комментарий от anonymous

Сочувствую. Но это ваши организационные проблемы, к техническим достоинствам решений относящиеся постольку-поскольку.

Отнюдь, мне было бы неприятно занимать не ZFS хранилищем.

anonymous ()
Ответ на: комментарий от anonymous

Ну давайте определимся для начала с моделью true хранилища, с обзором и тестами, и попытаемся нагуглировать, что-нибудь похожее из мира ZFS ?

anonymous ()
Ответ на: комментарий от anonymous

Админ, работающий по принципу «приятно-неприятно» не профессионал, а так, шабашник. Признайся уже, что просто не пробовал, и не плачь.

anonymous ()
Ответ на: комментарий от anonymous

Будете подгонять доказательства под гипотезу? А смысл?

anonymous ()
Ответ на: комментарий от anonymous

Админ, работающий по принципу «приятно-неприятно» не профессионал, а так, шабашник. Признайся уже, что просто не пробовал, и не плачь.

Признаюсь, что если бы предоставилась такая возможность поработать с большим проприетарным хранилищем, то постарался бы избежать ее.

Ну или если можно было бы добавить его в качестве ZFS vdev, то заюзал бы без админства проприетарного гробика.

anonymous ()
Ответ на: комментарий от anonymous

К слову сказать, нормальный ящик от того же хитачи можно купить за эти бабки, с дублированием всего и вся.

anonymous ()
Ответ на: комментарий от anonymous

Все, что мне нравится из проприетарного мира - это DB2, MSSQL и венда для зенопостера, больше увы не видел там ничего хорошего. Ах да, еще ведь Аутглюк под WINE - абсолютно уникальная софтина, незаменимая, если учесть все ее возможности, все особенности и тонкости работы.

anonymous ()
Ответ на: комментарий от anonymous

Я сильно подозреваю, что кластер - это линукс с хибернейтом. Я тебя разочарую, но это не маштабируется даже на 20 нод. Про 5 девяток даже не мечтай.

Miha ()
Ответ на: комментарий от Miha

Я сильно подозреваю, что кластер - это линукс с хибернейтом. Я тебя разочарую, но это не маштабируется даже на 20 нод. Про 5 девяток даже не мечтай.

Лично мне на данный момент времени 5 девяток даром ненужны.

Сомневаюсь, что Lustre - это про hibernate.

anonymous ()
Ответ на: комментарий от anonymous

да понятно уже, что ты нытик, а не админ.

Ну или если можно было бы добавить его в качестве ZFS vdev

я тебе открою секрет, обычно эти ящики так и используют - раздают блочные устройства, а что ты дальше с этим делать будешь - вообще пофиг.

anonymous ()
Ответ на: комментарий от anonymous

Два чая этому господину! Наконец-то второй практик в этом треде!

anonymous ()
Ответ на: комментарий от anonymous

Все, что мне нравится из проприетарного мира - это DB2, MSSQL и венда для зенопостера, больше увы не видел

я же говорю - утёнок.

anonymous ()
Ответ на: комментарий от anonymous

HP MSA начинается с $8к, остальное винты\ssd по вкусу. Снапшоты умеет.

anonymous ()
Ответ на: комментарий от anonymous

я тебе открою секрет, обычно эти ящики так и используют - раздают блочные устройства, а что ты дальше с этим делать будешь - вообще пофиг.

пофик - это без снэпшотов и репликации, да что там, даже без блоков, только место для ESXi

anonymous ()
Ответ на: комментарий от Miha

Люстра это фс, а не про кластер.

Разве она не кластерная FS? Разве нет других кластерных FS, которые могут работать поверх ZFS?

anonymous ()
Ответ на: комментарий от anonymous

ты дебил?

Поподробнее, откуда такой вывод?

anonymous ()
Ответ на: комментарий от anonymous

К слову сказать, нормальный ящик от того же хитачи можно купить за эти бабки, с дублированием всего и вся.

Петабайт с функционалом, подобным ZFS?

anonymous ()
Ответ на: комментарий от anonymous

Кластер - это резервирование сервисов. Например самба+хранилка для нее. Люстра про самбу ничего не знает.

Miha ()
Ответ на: комментарий от anonymous

оттуда, что всё это там есть

Есть да не про нашу честь, читай выше, лень искать.

Хотя мог бы назвать дебилом теперь тебя ...

anonymous ()
Ответ на: комментарий от anonymous

Да не нужен никому твой тормозной петабайт на десктопных шпинделях! Все давно на all-flash сидят, и то скоростей иногда не хватает.

anonymous ()
Ответ на: комментарий от Miha

Кластер - это резервирование сервисов.

Кластер - это резервирование чего угодно

Люстра про самбу ничего не знает.

А зачем ей знать про samba?

Samba - это свой хост или кластер или хотя бы файловер уровня DNS

Lustre - это другой кластер уровня FS

Хотя не исключаю, что есть и готовые интегрированные решения.

anonymous ()
Ответ на: комментарий от anonymous

Да не нужен никому твой тормозной петабайт на десктопных шпинделях! Все давно на all-flash сидят, и то скоростей иногда не хватает.

И что all flash hitachi дешевле двух нод ZFS all-flash в кластере?

anonymous ()
Ответ на: комментарий от anonymous

да понятно уже, что ты нытик, а не админ.

Почему нытик? Настоящие герои всегда идут в обход.

anonymous ()
Ответ на: комментарий от Miha

Кластер это совокупность элементов направленная на решение различных задач, среди которых балансировка, отказоустойчивость, повышение производительности и пр. и пр. в школу надо ходить, а не в секцию самбо.

anonymous ()
Ответ на: комментарий от anonymous

Да не нужен никому твой тормозной петабайт на десктопных шпинделях!

Таки не нужен? под бэкапы то очень даже сойдет.

А если там заменить материнку и SSD (и больше количество) на более пропускные, то и производительность подтянется.

anonymous ()
Ответ на: комментарий от anonymous

Кластер это совокупность элементов направленная на решение различных задач, среди которых балансировка, отказоустойчивость, повышение производительности и пр. и пр. в школу надо ходить, а не в секцию самбо.

Кластеров очень много хороших и разных, например, более менее приличные СУБД позволяют строить кластер.

Отказоустойчивость есть? есть И что вам от миня надо?

anonymous ()
Ответ на: комментарий от anonymous

это осветительный прибор.

Началось, школьники до дома добрались.

anonymous ()
Ответ на: комментарий от anonymous

Да ничего, отказоустойчивость не всегда входит в задачи кластера какбэ.

anonymous ()
Ответ на: комментарий от anonymous

что я должен прочитать выше? что снапшоты и репликация были ещё задолго до появления самой зфс?

anonymous ()
Ответ на: комментарий от anonymous

Кластер это совокупность элементов направленная на решение различных задач, среди которых балансировка, отказоустойчивость, повышение производительности и пр. и пр. в школу надо ходить, а не в секцию самбо.

Или ты хочешь сказать, что резервирование чего угодно не является подмножеством того, что ты перечислил? Например HA (отказоустойчивость).

anonymous ()
Ответ на: комментарий от anonymous

резервирование

это частная задача, а не общая

anonymous ()
Ответ на: комментарий от anonymous

это частная задача, а не общая

А где я говорил, что резервирование - это все, что умеет кластер?

anonymous ()
Ответ на: комментарий от anonymous

Да ничего, отказоустойчивость не всегда входит в задачи кластера какбэ.

И что с того? меня интересуют только те варианты, в которые входит.

anonymous ()
Ответ на: комментарий от anonymous

еще раз кластер может совсем не уметь резервировать, не надо резервирование навязывать как неотъемлемый функционал

anonymous ()
Ответ на: комментарий от anonymous

то что ты не можешь это использовать уже понятно, выходит уже не нужны?

anonymous ()
Ответ на: комментарий от anonymous

еще раз кластер может совсем не уметь резервировать, не надо резервирование навязывать как неотъемлемый функционал

Я уже несколько раз ранее говорил про распределенные файловые системы с дублированием, и один раз назвал их кластерными, так их не только я называю.

anonymous ()
Ответ на: комментарий от anonymous

то что ты не можешь это использовать уже понятно, выходит уже не нужны?

транная логика, описание моей ситуации было сказано в контексте моей ситуации, кто тебе дал право обобщать?

я скажет, что это я обобщаю, а не он, лень уже правда, читай тред с начала, чтобы проникнуться

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.