LINUX.ORG.RU

Релиз ZFSonLinux 0.8.0

 , ,


4

2

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0.

Новые возможности:

  • «Нативное» шифрование как для файловых систем, так и для разделов. По умолчанию используется алгоритм aes-256-ccm. Ключи для датасета управляются с помощью команды «zfs load-key» и связанных подкоманд.
  • Шифрование при zfs send/receive. Позволяет хранить бэкапы на недоверенных сервисах без возможности компрометации.
  • Удаление устройства из pool через команду «zpool remove». Все данные копируются в фоновом режиме на оставшиеся устройства верхнего уровня, и ёмкость пула соответственно уменьшается.
  • Подкоманда «zpool checkpoint» позволяет сохранить всё состояние пула и при желании вернуться обратно в это точное состояние. Это можно рассматривать как расширенный snapshot пула. Это полезно при выполнении сложных административных действий, которые в противном случае необратимы (например, включение новой функции, уничтожение набора данных и так далее)
  • TRIM для устройств пула. Позволяет более эффективно использовать твёрдотельные накопители и предотвращать снижение их производительности и/или времени их жизни. Можно производить trim как отдельной командой «zpool trim», так и включить аналог опции discard - новое свойство пула «autotrim»
  • Инициализация пула. Подкоманда «zpool initialize» записывает свой патерн во всё нераспределённое пространство. Это устраняет первое снижение производительности доступа, которое может существовать в некоторых виртуализированных хранилищах (например, VMware VMDK).
  • Поддержка аккаунтинга проектов и квот. Эта функция добавляет учёт использования проекта и квоты к существующим функциям учёта пространства и квот. Квоты проекта добавляют дополнительное измерение к традиционным квотам пользователей/групп. Подкоманды «zfs project» и «zfs projectspace» были добавлены для управления проектами, установки лимитов квот и отчётов об использовании.
  • Программы каналов. Подкоманда «zpool program» позволяет использовать скрипты на LUA для выполнения административных действий. Скрипты запускаются в «песочнице» с лимитами времени и памяти.
  • Pyzfs. Новая python-библиотека для обеспечения стабильного интерфейса для программного администрирования ZFS. Эта обёртка обеспечивает взаимно-однозначное (one-to-one) сопоставление для функций API libzfs_core, но сигнатуры и типы более естественны для Python-диалекта.
  • Совместимость с Python3. Утилиты «arcstat», «arcsummary» и «dbufstat» обновлены для совместимости с Python3
  • Direct IO. Добавлена поддержка использования прямого вывода (O_DIRECT).

Также ускорены подкоманды scrub/resilver/list/get, добавлена возможность вывести метаданные на отдельное устройство (например, высокопроизводительный SSD малого объёма), увеличена производительность ZIL за счёт кэширования и оптимизации, добавлена поддержка аппаратного ускорения SHA256-чексумм и AES-шифрования используя Intel QAT (Quick Assist Technology).

Поддерживаемые ядра Linux: 2.6.32 - 5.1 (на ядрах 5.0 и выше пока не поддерживается SIMD-ускорение)

Полный список изменений

Значения параметров модулей по-умолчанию выбраны, чтобы обеспечить оптимальную нагрузку для большинства рабочих нагрузок и конфигураций. Для полного списка опций - man 5 zfs-module-parameters

>>> Подробности

★★★★★

Проверено: shell-script ()

Ответ на: комментарий от anonymous

И что, поверх двух нод ZFS нельзя развернуть кластерную FS с дублированием для особо критичных приложений?

anonymous ()
Ответ на: комментарий от anonymous

nexenta clustering,

это тот максимум, что ты сможешь повторить, но это не тоже самое, что делают бимеры или хитачи.

средненьких хранилищ, у них что, у всех дублирование материнки чтоли?

да, в мидрендж от двух контроллеров.

anonymous ()
Ответ на: комментарий от anonymous

ну, то есть ты предлагаешь взять сторедж от айбиэм, взять сервера, сделать из стореджа vdev и чего-то там мутить поверх? крутой бизнес план, чо. а главное надёжно-то как будет, там жи зфс и попенсурс на сервере!!!

anonymous ()
Ответ на: комментарий от anonymous

Для моих задач ZFS на одной ноде хватает, если хватать не будет, то есть кластерные файловые системы для нескольких ZFS нод.

Дай Бог, чтобы мне никогда не пришлось работать с проприетарными хранилищами, терпеть не могу эту каку!

anonymous ()
Ответ на: комментарий от anonymous

Вот ты подумай сам, ну задублируешь ты хранилище на уровне материнки, а навернется материнка в сервере приложения и все равно придется гипервизору кратковременно отключить сервис на пару сек и перекинуть виртуалку.

И на кой эти изыски в хранилище? Если можно обойтись кластерной FS.

anonymous ()
Ответ на: комментарий от anonymous

так у нас этих серверов приложений несколько тысяч.

все равно придется гипервизору кратковременно отключить сервис на пару сек и перекинуть виртуалку.

это смотря как приложение написано.

anonymous ()
Ответ на: комментарий от anonymous

это смотря как приложение написано.

в смысле опять дублирование материнок чтоле даже для приложений?

речь, например, о tier для бизнес логики, который не может работать одновременно на двух хостах (или их координаторе), не о примитивных проксях, веб серверах, которые можно крутить одновременно.

anonymous ()
Ответ на: комментарий от anonymous

Карма хорошая :-)

Не у меня одного одного. Я то сам виндой не пользуюсь. Коллеги вот пока некоторые пользуются.

turtle_bazon ★★★ ()
Ответ на: комментарий от anonymous

виртуализация в контексте самого стораджа, а не виртуалок на серверах. например можно подключить к одному массиву ещё несколько произвольного производителя и будут они как один.

подключить к zpool vdev по iSCSI/FC ? rocket science?

хотя может быть, опять какое-то дублирование

anonymous ()
Ответ на: комментарий от Miha

Посчитай какой простой может быть за год?

3.1536 секунды
Вопросительный знак не нужен же.
PS: не аноним

imul ★★★★★ ()
Ответ на: комментарий от imul

Вопросительный знак не нужен же.

Он как бы намекал, что мол думаешь, после того, как посчитаешь.

Не спорю ваши проприетарные железки могут иметь применение в тех случаях, когда простой критичен. Мне вот мой напарник говорит, что выключит когда хочет, и мол пользователи подождут столько, сколько ему будет нужно на админство, и это даже не из-за сбоя оборудования, а чисто софтовое.

А теперь подумайте, нужен таким одминам аппаратный аптайм с отключениями 3 секунды в год, если они сами создают отключения на несколько часов или дней, хотя оборудование позволяет 3 секунды?

ZFS хотябы позволяет делать online копирование после офлайн снэпшота любой obsolete каки.

anonymous ()
Ответ на: комментарий от anonymous

Я не занимаюсь такими железками. И написал результат тоже с намеком на тот же вопрос про 3 секунды простоя в год. И самое интересное, что эти мегакорпорации покупают такие железки, а у самих всё тормозит и сервис неделями не работает. Зато админы на форумах девятками хвалятся. Что-то тут не так.

imul ★★★★★ ()
Последнее исправление: imul (всего исправлений: 2)
Ответ на: комментарий от imul

Я не занимаюсь такими железками. И написал результат тоже с намеком на тот же вопрос про 3 секунды простоя в год. И самое интересное, что эти мегакорпорации покупают такие железки, а у самих всё тормозит и сервис неделями не работает. Зато админы на форумах девятками

Очень просто, организациям впаривают дорогущее железо, загоняя их в проприетарное стойло, чтобы при необходимости одним нажатием красной кнопки можно было активировать закладки.

При этом в организации уровень подготовки одминов иной раз не позволяет обеспечить аптайм даже хотя бы не ниже того, который бы обеспечило самое дешевое железо без встроенного дублирования материнок (если бы на полке стоял просто запасной аналогичный сервер с одной материнкой), т.е. и в таком случае замена материнки была бы быстрее, чем их упражнения по софтовым настройкам и аптайм в процентном выражении бы не пострадал, а вот затраты на оборудование, наверно, бы уменьшились очень сильно.

anonymous ()
Ответ на: комментарий от anonymous

Под самым дешевым я все же понимаю очень качественный не хуже Supermicro.

Просто без этих адских наворотов по $XXK /3 секунды

anonymous ()
Ответ на: комментарий от turtle_bazon

Это прикольно, но пруфы-то были. (рецепты багов)

anonymous ()
Ответ на: комментарий от anonymous

Очень просто, организациям впаривают дорогущее железо, загоняя их в проприетарное стойло, чтобы при необходимости одним нажатием красной кнопки можно было активировать закладки.

У кого чего болит - тот о том и говорит, ггг :)

На самом деле, в больших компаниях любят подстилать соломку и перекладывать ответственность в случае факапов на других. А также крайне любят повторяемость и унификацию, чтобы, в случае ухода человека, который настраивал железку, можно было либо быстро захантить другого такого же, либо отдать на поддержку интегратору, который бы быстро начал её поддерживать через веб-интерфейс, а не разбираться в 100500 скриптах на чём угодно в самых неожиданных местах. Если что, я сам за zfs, но часто встречал дичайшие костыли из-за низкой квалификации настраивающего (например, настройка сети в rc.local и прочее непотребство)

P.S. Мат на форуме запрещён, если что.

Dimez ★★★★★ ()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от Dimez

А что мешает закупать Nexenta или подобные (и даже производить в том числе)?

anonymous ()
Ответ на: комментарий от anonymous

кластерные файловые системы для нескольких ZFS нод

С этого места поподробней. Разве zfs умеет в кластер?

Miha ()
Ответ на: комментарий от anonymous

Возможно, что и были. Но если для этого нужна определённая погода на луне, то тогда толку то с этих пруфов? Так то во время осадков на Марсе МСО тоже портит файлы.

turtle_bazon ★★★ ()
Последнее исправление: turtle_bazon (всего исправлений: 1)
Ответ на: комментарий от imul

Тут стоит принять во внимание объем в эксабайты. Этих железок должно быть тысячи.

Miha ()
Ответ на: комментарий от anonymous

А что мешает закупать Nexenta или подобные

Nexenta нет в России. Есть интеграторы, продают и поддерживают ibm/hitachi.

и даже производить в том числе

См выше. Все хотят в случае чего, показать бумажку с перекладыванием ответственности :) Есть бумажка от интегратора. А у интегратора есть бумажка от производителя. Ну и «так склалось»(с) и «некий функционал»(с) тоже.

Dimez ★★★★★ ()
Ответ на: комментарий от anonymous

организациям впаривают дорогущее железо, загоняя их в проприетарное стойло

Там не глупее тебя люди работают и точно знают зачем они покупают эти железки.

Miha ()
Ответ на: комментарий от Miha

zfs

ZFS - это файловая система. Есть Lustre, в которой бэкендом можно сделать ZFS. Они хорошо дружат друг с другом и обеспечивают хорошую производительность (разработчики ZoL дружат с разработчиками Lustre, AFAIK)

Dimez ★★★★★ ()
Ответ на: комментарий от Miha

С этого места поподробней. Разве zfs умеет в кластер?

Другая кластерная FS поверх zvol, если в ней тоже есть снэпшоты, то после наружного снэпшота можно снэпшотнуться внизу на ZFS и тогда все преимущества ZFS проявятся в полный рост.

anonymous ()
Ответ на: комментарий от Miha

Там не глупее тебя люди работают и точно знают зачем они покупают эти железки.

Кто бы сомневался :)))

Ну вот уже началось глупее/неглупее, где-то я уже видел такое, что подчиненный должен всегда выглядеть глупее начальства.

anonymous ()
Ответ на: комментарий от turtle_bazon

Я ведь с самого начала написал: там идёт херенье документов на совершенно простых, ежедневных юзкейсах. Не рокет скайнс. По памяти, примерно:

1. выделяешь какой-то текст > открываешь панель стилей > неважно что делаешь, можешь ничего не делать > закрываешь документ, открываешь снова > сюрприз-сюрприз, видишь что русский текст потерял всё форматирование.

2. очень похоже, но вместо потери форматирования - потеря встроенных картинок

anonymous ()
Ответ на: комментарий от anonymous

А как IBM i обходится (которую тут хоронить любят)?

spqr ★★ ()
Ответ на: комментарий от anonymous

в будущем будет никому ненужно так же как ЕС ЭВМ

Слегка подновляешь знания и идёшь админить большие машины за большие деньги.

spqr ★★ ()
Ответ на: комментарий от anonymous

Не удивлюсь, если в проприетарных хранилищах баг может просуществовать несколько лет даже в stable до тех пор пока его случайно не найдет какой-нить редкий пользователь.

У нетаппа напоролись на несколько таких, настолько редкие, что ответили, мол, фиксить не будем, вот вам обходные пути.

spqr ★★ ()
Ответ на: комментарий от anonymous

У супермикров закладок тоже в ассортименте.

spqr ★★ ()
Ответ на: комментарий от spqr

Да-да, блумберг супермикровые закладки очень хорошо «показал» :)

Dimez ★★★★★ ()
Ответ на: комментарий от anonymous

организациям впаривают дорогущее железо, загоняя их в проприетарное стойло

Это не объясняет того, что на таком дорогущем и производительном железе в конечном итоге всё еле шевелится.

imul ★★★★★ ()
Ответ на: комментарий от anonymous

закупать Nexenta

Где и у кого в России закупать нексенту и кто её будет поддерживать?

imul ★★★★★ ()
Ответ на: комментарий от Miha

Тут стоит принять во внимание объем в эксабайты.

Такие объёмы не требуют несколько иных способов хранения и обработки, нежели как свалить всё в одну таблицу и по ней ползать?

imul ★★★★★ ()
Ответ на: комментарий от spqr

Обходится в каких случаях? Для чего конкретно?

anonymous ()
Ответ на: комментарий от spqr

Слегка подновляешь знания и идёшь админить большие машины за большие деньги.

В смысле IBM mainframes?

Вот и занимались бы своими мэйнфреймами и DB2 в т.ч. UDB, а не отвлекались на производство железа X86 в т.ч. серверное.

anonymous ()
Ответ на: комментарий от imul

Это не объясняет того, что на таком дорогущем и производительном железе в конечном итоге всё еле шевелится.

Отнюдь, любой дисбаланс создает проблемы, например, дисбаланс финансирования разработки прикладного софта и железа, на котором оно «работает».

Вот представь, что будет, если двигатель от гоночного болида установить на опорожец? Однозначно дисбаланс.

anonymous ()
Ответ на: комментарий от Dimez

Да-да, блумберг супермикровые закладки очень хорошо «показал» :)

Супермикра - это для меньшей сложности администрирования по сравнению с железом IBM.

А если с меньшим количеством закладок, то можно попробовать, например, Talos 2:

https://www.raptorcs.com/content/TL2SV2/intro.html

между прочим с процессором IBM OpenPower.

anonymous ()
Ответ на: комментарий от Miha

Практически все. Там кеш гигабайты и свой процессор.

Это тоже по своему прекрасно, если взглянуть на количество уже пофиксенных за все время багов в ZOL ZFS за счет популярности и потом прикинуть количество ЕЩЕ не пофиксенных в проприетарных хранилищах.

Да и кстати сравни два варианты развития событий и выбери, какой тебе больше нравится:

1) Ты платишь десятки $K и получаешь черный ящик, который тебе удалось выбрать из скудного locked in листа савместимости. Который когда фатально сглюкнет ты напишешь в поддержку и тебе там сообщат, что извини дружок, но ты забыл поставить патч N1313 (который накакивается только поверх серии нескольких патчей N666, и поэтому мы не виноваты. Но ваш вапрос ОООочень вааажен для нас, и мы даже соизволим попросить инженеров учесть в будущем ваш whoюкз кейс.

2) Ты берешь лучшую и самую надежную железяку, которая понятия не имеет о файловых системах. ЕЕ инженеры были сосредоточены на решении узкоспециализированной задачи надежной работы железяки и за счет большого тиража она стоит сущие копейки при фантастической надежности. Потом ты разворачиваешь на ней ZFS который оттачивают уже без малого 18 лет и с огромным паблик листом поддержки, онлайн чатами с сотнями человек в т.ч. разработчиков и все это бесплатно. Ах забыл сказать, что если ты ошибся с выбором матплаты или контроллера или они просто тупо сгорели, то может переткнуть их в другие встречные варианты, и ZOL с твоими уже существующими данными заработает на них как ни в чем не бывало. И на сэкономленные средства ты можешь запастить десятками дублей железок, а не ждать 3 дня супер экспресс доставкой.

Теперь оцени вероятность выхода из строя матплаты сервера, если ее не трогать своими шаловливыми ручками, а хранить включенный сервер под замком. Лично я еще ни разу не видел такой поломки из сотен серверов. Ну если и сломается, то как я уже говорил downtime на замену матплаты в нашей организации бы не превысил аналогичный от обычных софтовых дел мастеров, они даже своими скриптами по выборке данных могут заDDOSить любую систему, что она пару дней потом не может очухаться. Какие 3 секунды, о чем вы!

anonymous ()
Ответ на: комментарий от spqr

У нетаппа напоролись на несколько таких, настолько редкие, что ответили, мол, фиксить не будем, вот вам обходные пути.

Ап чем и речь :)

anonymous ()
Ответ на: комментарий от Miha

Тут еще момент, по договору в случае отказа ты должен заменить сундук в течении 2 бизнес дней. А если клиентов у тебя даже 50 штук, то нужно иметь такие железки на складе. Позволить себе это могут только крупные компании, а они с опенсорс решениями не работают вообще, а только с такми же крупными компаниями тип IBM.

В каждом регионе запасной уникальный золотой сундук на складе? :))) Тебе только фантастические рассказы писать.

Добавь еще 3 дня на экспресс доставку (3 дня - это еще если повезет, и самолет не супержетнется) и сравни с вариантом взять из сейфа запасную железку, купленную на сэкономленные от использования ZFS деньги.

anonymous ()
Ответ на: комментарий от anonymous

В каждом регионе запасной уникальный золотой сундук на складе? :))) Тебе только фантастические рассказы писать.

Именно так. Например, HP под сервисный контракт с Мегафоном в каждом прописанном регионе держит инженера и склад железа. С одной большой оговоркой - в отличие от ваших ZFS-серверов, у крупных вендоров железки унифицированы. И учитывайте - под 50+ хранилок и сотни серверв, держать на складе 2-3 контроллера, пару полок и десяток-другой винтов - экономически далеко не то же самое, что заморозить бабки на лежащий мертвым грузом второй сервер для конторы из 20 человек...

anonymous ()
Ответ на: комментарий от imul

А тут проявляют себя два фактора:
1) как правильно сказали, объемы. Загнать в память сервера базу в 20Гб не то же самое, что с нескольких серверов юзать базу в 2-3Тб.
2) кривые ручонки мнящих себя «программистами»...

anonymous ()
Ответ на: комментарий от anonymous

Именно так. Например, HP под сервисный контракт с Мегафоном в каждом прописанном регионе держит инженера и склад железа.

А что такое каждый прописанный регион? Сколько их прописанных среди всех в РФ (около сотни регионов)?

IBM раньше не держала запас контроллеров и даже дисков! в нашем регионе.

А внимание! контреллер IBM сука хитрый, работает только с дисками IBM, но не сразу. Сначала он работает и с другими дисками во время восстановления пула, а вот когда пул уже восстановлен, контроллер осчасливливает вас сообщением, что вы подсунули ему неправильный диск и потом выплевывает его накуй из пула. Вы таки звоните в IBM москоу и ждете экспресс доставки обычного HDD диска по «супергуманной» цене. Думаете он чем то отличается от Hitachi? :) Ну если только наклейкой. А вот обычным контроллерам, с которыми прекрасно работает ZFS без разницы кто «сделал» диск (кто спекульнул обычной хитачей).

anonymous ()
Ответ на: комментарий от anonymous

2) кривые ручонки мнящих себя «программистами»...

Тут ведь не только надо уметь готовить блокировочник DB2, который проявляет свои преимущества на больших базах только у очень хороших специалистов - разработчиков, кто знает многие его тонкости работы, и действительно тогда DB2 работает обычно лучше версионников, по крайне мере жрет меньше дискового пространства на активные транзакции (версии, которых в DB2 в чистом виде нет).

Но еще и надо хотя бы уметь настраивать СУБД и конфиг базы тулзами похожими на TOAD или хотябы глядя в db2top.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.