LINUX.ORG.RU

Релиз ZFSonLinux 0.8.0

 , ,


4

2

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0.

Новые возможности:

  • «Нативное» шифрование как для файловых систем, так и для разделов. По умолчанию используется алгоритм aes-256-ccm. Ключи для датасета управляются с помощью команды «zfs load-key» и связанных подкоманд.
  • Шифрование при zfs send/receive. Позволяет хранить бэкапы на недоверенных сервисах без возможности компрометации.
  • Удаление устройства из pool через команду «zpool remove». Все данные копируются в фоновом режиме на оставшиеся устройства верхнего уровня, и ёмкость пула соответственно уменьшается.
  • Подкоманда «zpool checkpoint» позволяет сохранить всё состояние пула и при желании вернуться обратно в это точное состояние. Это можно рассматривать как расширенный snapshot пула. Это полезно при выполнении сложных административных действий, которые в противном случае необратимы (например, включение новой функции, уничтожение набора данных и так далее)
  • TRIM для устройств пула. Позволяет более эффективно использовать твёрдотельные накопители и предотвращать снижение их производительности и/или времени их жизни. Можно производить trim как отдельной командой «zpool trim», так и включить аналог опции discard - новое свойство пула «autotrim»
  • Инициализация пула. Подкоманда «zpool initialize» записывает свой патерн во всё нераспределённое пространство. Это устраняет первое снижение производительности доступа, которое может существовать в некоторых виртуализированных хранилищах (например, VMware VMDK).
  • Поддержка аккаунтинга проектов и квот. Эта функция добавляет учёт использования проекта и квоты к существующим функциям учёта пространства и квот. Квоты проекта добавляют дополнительное измерение к традиционным квотам пользователей/групп. Подкоманды «zfs project» и «zfs projectspace» были добавлены для управления проектами, установки лимитов квот и отчётов об использовании.
  • Программы каналов. Подкоманда «zpool program» позволяет использовать скрипты на LUA для выполнения административных действий. Скрипты запускаются в «песочнице» с лимитами времени и памяти.
  • Pyzfs. Новая python-библиотека для обеспечения стабильного интерфейса для программного администрирования ZFS. Эта обёртка обеспечивает взаимно-однозначное (one-to-one) сопоставление для функций API libzfs_core, но сигнатуры и типы более естественны для Python-диалекта.
  • Совместимость с Python3. Утилиты «arcstat», «arcsummary» и «dbufstat» обновлены для совместимости с Python3
  • Direct IO. Добавлена поддержка использования прямого вывода (O_DIRECT).

Также ускорены подкоманды scrub/resilver/list/get, добавлена возможность вывести метаданные на отдельное устройство (например, высокопроизводительный SSD малого объёма), увеличена производительность ZIL за счёт кэширования и оптимизации, добавлена поддержка аппаратного ускорения SHA256-чексумм и AES-шифрования используя Intel QAT (Quick Assist Technology).

Поддерживаемые ядра Linux: 2.6.32 - 5.1 (на ядрах 5.0 и выше пока не поддерживается SIMD-ускорение)

Полный список изменений

Значения параметров модулей по-умолчанию выбраны, чтобы обеспечить оптимальную нагрузку для большинства рабочих нагрузок и конфигураций. Для полного списка опций - man 5 zfs-module-parameters

>>> Подробности

★★★★★

Проверено: shell-script ()

Ответ на: комментарий от anonymous

Как это спасет от идиота, делающего «select * from ...» ? А их пока хватает...

anonymous ()
Ответ на: комментарий от anonymous

С одной большой оговоркой - в отличие от ваших ZFS-серверов, у крупных вендоров железки унифицированы.

Что это значит? Существует хоть одна железка, работающая под линупс, которая не поддерживается в ZFS? Получается под ZFS унифицированы вообще все железки? Обращаешься в любой серверный магазин и берешь там любую плату супермикро и она будет совместима, ты об этом?

И учитывайте - под 50+ хранилок и сотни серверв, держать на складе 2-3 контроллера, пару полок и десяток-другой винтов - экономически далеко не то же самое, что заморозить бабки на лежащий мертвым грузом второй сервер для конторы из 20 человек...

Учитывайте, что региональный серверный магазин может заморозить несколько серверных плат и несколько контроллеров для всего региона в целом, если каждая заинтересованная сторона внесет небольшой страховой взнос в этот магазин. Ну а если кому-то такая страховка мала, то он может купить и дополнительные железки себе на склад.

заморозить бабки на лежащий мертвым грузом второй сервер

Сколько стоит матплата и контроллеры для универсального сервера? $ 1-2K? чуть больше?

Сколько стоит хранилище? $10K-$50K? или еще больше ? :0

anonymous ()
Ответ на: комментарий от Miha

iSSCI отстой, годен только для тестов. В продакшене - всегда FC, без вариантов.

anonymous ()
Ответ на: комментарий от anonymous

Как это спасет от идиота, делающего «select * from ...» ? А их пока хватает...

Еще и в цикле шлют их из своей гениальной программы, причем в самый неподходящий момент, когда либо реорганизация еще идет или бэкап или ZFS репликация.

Без спроса, без санкции разработчиков системы, ну это ведь простой селект, что тут такого.

anonymous ()
Ответ на: комментарий от anonymous

1. Никого не интересует ваш региональный магазин. Клиенту (если это не контора на 20 человек с двумя серверами) важно, чтобы железка под него лежала ВСЕГДА, и варианты «срочно понадобилось, отдали другому, а вы подождите 3 дня пока DHL другую привезет» никому не впились.
2. Тратить несколько дней на покупку, сборку и настройку «совместимого сервера» в проде, пока сервис лежит? Удачи. А приличная (и далеко не топовая!) хранилка и на одном оставшемся контроллере дождется замены сгоревшего.
3. Запчасти у себя держит вендор, и это ЕГО затраты, а не мои. Есть разница.

anonymous ()
Ответ на: комментарий от Miha

Везде написано, что использование ZFS на системах без ECC запрещено.

В тебе говорит страх того, что любой васян из любой деревни без бюджета сможет с помощью ZFS обучиться работе с хранилищем на своем копеечном десктопе с авито, функционал которого на голову выше твоих проприетарных гробов.

А когда встанет выбор при установке на мощный сервер, то ты останешься за бортом, а бедный васян будет рулить новыми серверами.

anonymous ()
Ответ на: комментарий от anonymous

1. Никого не интересует ваш региональный магазин.

если это контора на 20 человек с двумя серверами,

то им интересно, это дает больше свободы выбора малому бизнесу и меньше зависимости от монстров типа вас

Клиенту (если это не контора на 20 человек с двумя серверами) важно, чтобы железка под него лежала ВСЕГДА, и варианты «срочно понадобилось, отдали другому, а вы подождите 3 дня пока DHL другую привезет» никому не впились.

Ну так кто им мешает купить запаску на сэкономленные средства? Допустим сэкономили $20K, а запаса оборудования накупили на $3K-$5K, и где тут заморозка бабла? Если оставшиеся $15K можно потратить на коврик для машины боса?

2. Тратить несколько дней на покупку, сборку и настройку «совместимого сервера» в проде, пока сервис лежит? Удачи.

Тратить несколько часов на замену компонентов на заранее протестированные при экономии бюджета. Или заюзать готовый оттестированный сервер (без дисков) с полки - это сколько времени? На то, чтобы переткнуть диски - сколько надо времени? минут 10 и еще на запуск минут 10-20.

А приличная (и далеко не топовая!) хранилка и на одном оставшемся контроллере дождется замены сгоревшего.

Афигеть, чудо техники! А в ZFS можно например сделать зеркала из 3х дисков, каждый на отдельном своем контроллере, ваши ящики так умеют?

3. Запчасти у себя держит вендор, и это ЕГО затраты, а не мои. Есть разница.

Ну появятся вендоры, кто работает с ZFS хранилищами и у них либо цены будут в разы меньше вашей либо маржа в разы больше вашей, готовьтесь, чо :)

anonymous ()
Ответ на: комментарий от spqr

Брали мы первый и последний нетапп, на погонять, нафиг-нафиг.
Ух лучше быдло-MSAка.

anonymous ()
Ответ на: комментарий от anonymous

Т.е. вся твоя аргументация свелась к тому, что ZFS для нищебродов? Ожидаемо.
И нет, мы - не производим и даже не продаем хранилки, мы их активно юзаем. Час простоя бизнеса стоит дороже хранилки. P.S. А ваших $15к в машине нашего босса только на коврики и хватит...

anonymous ()
Ответ на: комментарий от anonymous

Т.е. вся твоя аргументация свелась к тому, что ZFS для нищебродов? Ожидаемо.

Почему для нищебродов?

Если бы для работы с вашими хранилищами васяну бы пришлось брать еботечный кредит и ехать в нерезиновск и работать в какой то крупной компании.

То для того, чтобы получить начальные навыки работы с ZFS достаточно несколько тысяч рублей (< 10 тыр.) для покупки БУ оборудования на Авито и потом можно найти удаленку в компании, в которой нет толпоебов, кто предлагает в качестве iSCSI файлера использовать шиндоуз, ну чему можно научиться у шиндозников?

И на такой удаленке есть перспектива роста до $30/h и более и общение с очень высокоинтеллектуальными и этичными людьми часто на английском языке и оборудование там не хуже твоего.

При этом жить можно в любой деревне РФ, свободным от кредитов, от зависимостей, от начальников типа тебя, дышать свежим лесным воздухом, общаться по интернет с самими умными людьми в мире. Разве плохо?

anonymous ()
Ответ на: комментарий от anonymous

Ну так кто им мешает купить запаску на сэкономленные средства? Допустим сэкономили $20K, а запаса оборудования накупили на $3K-$5K, и где тут заморозка бабла? Если оставшиеся $15K можно потратить на коврик для машины боса?

Не знаю как у вас, а т.н. «сэкономленные средства» - это бабки владельцев, и просто так «на запас» их никто не даёт. На первый-то сервер выбить денег надо ещё суметь...

anonymous ()
Ответ на: комментарий от anonymous

Не знаю как у вас, а т.н. «сэкономленные средства» - это бабки владельцев, и просто так «на запас» их никто не даёт. На первый-то сервер выбить денег надо ещё суметь...

Железная логика, $20K на хоронилище есть, а 2 раза по $5 на гораздо современнее нет.

Ну зачем работать с толпоебами - это самое первое, о чем нужно думать.

anonymous ()
Ответ на: комментарий от anonymous

Никому не нужен твой «васян с начальными знаниями» для поддержки ZFS, тем более «удаленно» и на английском языке. У забугорных нищебродов для этого есть местные, в край - индусы.

anonymous ()
Ответ на: комментарий от anonymous

Удачи в поисках работы, дружище анон. Когда найдешь хотя бы на $1к в своём мухосранске, пиши.

anonymous ()
Ответ на: комментарий от anonymous

Никому не нужен твой «васян с начальными знаниями» для поддержки ZFS

По цене индусов то почему не нужен? А дальше расти.

тем более «удаленно» и на английском языке. У забугорных нищебродов для этого есть местные, в край - индусы.

Пока знаний нет - индусо-демпинг, когда появились - можно объединиться с местными тамошними профи и работать с ними как будто вас и вовсе нет для конечного заказчика, но уже за вполне приличные деньги.

anonymous ()
Ответ на: комментарий от anonymous

Удачи в поисках работы, дружище анон. Когда найдешь хотя бы на $1к в своём мухосранске, пиши.

Работал за $30/h с калифорнийским стартапом, если погуглить, то находят намного больше, не меньше, чем получают местные.

anonymous ()
Ответ на: комментарий от anonymous

Удачи в поисках работы, дружище анон. Когда найдешь хотя бы на $1к в своём мухосранске, пиши.

$800/mo я находил в 2003, с тех пор рубль инфлировал в 10 раз по золоту и недвижке. В Калифорнии $100K/y - это днище, спецы зарабатывают по нескольку сотен Кило в год.

Как видишь даже для начинающих пространство для демпинговых маневров огромно.

anonymous ()
Ответ на: комментарий от anonymous

$800/mo я находил в 2003, с тех пор рубль инфлировал в 10 раз по золоту

это примерно как $4K/месяц сегодня

anonymous ()
Ответ на: комментарий от anonymous

А ваших $15к в машине нашего босса только на коврики и хватит...

Это грустно, наверное, когда похвастаться можешь только ковриками в машине босса :)

anonymous ()
Ответ на: комментарий от anonymous

Это грустно, наверное, когда похвастаться можешь только ковриками в машине босса :)

Зато если они в форме черного квадрата, то это произведение искусства!

anonymous ()
Ответ на: комментарий от anonymous

У Мегафона, кстати, чат поддержки не работает каждый понедельник, наверно что-то сверхумное делают со своими данными.

anonymous ()
Ответ на: комментарий от anonymous

У ZFS ниже финансовый порог входа для админа, а не будущий доход, когда он станет профи, при том, что функционал ZFS, как ты, наверно, уже понял, намного круче средненького проприетарного хранилища.

Есть готовые дистрибутивы - файлеры на базе ZFS типа FreeNAS.

У них удобная веб консолька, если кому-то она нравится.

anonymous ()
Ответ на: комментарий от anonymous

находил в 2003

Ты те времена не сравнивай с нынешними, тогда зады блинами вытирали...

anonymous ()
Ответ на: комментарий от anonymous

Кроме «функционала» есть ещё надежность, масштабируемость и производительность.

anonymous ()
Ответ на: комментарий от anonymous

Ты те времена не сравнивай с нынешними

А что конкретно поменялось?

тогда зады блинами вытирали...

Кто именно и чьи?

anonymous ()
Ответ на: комментарий от anonymous

http://open-zfs.org/wiki/Companies

https://medium.com/codedotgov/oss-spotlight-lawrence-livermore-national-labor...

To offer scope on how essential ZFS is to LLNL, this lab manages Sequoia, one of the largest supercomputers in the world. Sequoia is comprised of 30,000 hard drives transferring at 1TB/sec while using 500,000 memory cores for processing. At LLNL, over 1000 systems are using ZFS, managing over 100 Petabytes a day.

anonymous ()
Ответ на: комментарий от anonymous

Отличный пример. Сдохнет у него мамка, SAS-контроллер или сетевка - и хана его «петабайту». Про производительность, кстати - в статейке ни слова!
Итого: для локалхоста - избыточно, для серьезной работы - ненадежно. Как выше и говорили - на поиграться, скилы (а скорее ЧСВ) прокачать.

anonymous ()
Ответ на: комментарий от anonymous

Отличный пример. Сдохнет у него мамка - и хана его «петабайту».

Хана на полчаса, если рядом стоит запаска?

SAS-контроллер или сетевка

А это каким местом сюда? можно поставить N-ое количество дисковых контроллеров и сетевух.

anonymous ()
Ответ на: комментарий от anonymous

Про производительность

Sequoia is comprised of 30,000 hard drives transferring at 1TB/sec

anonymous ()
Ответ на: комментарий от anonymous

Хана на полчаса, если рядом стоит запаска?

А как часто такое случается? Раз в 10 лет, в одном случае из тысячи материнок?

А как часто случается, что квалификация одмина и/или разработчика не позволяет даже без аппаратных проблем обеспечить непрерывную работу программных комплексов даже в режиме 8*5! а не 24*7 как ты мог подумать :) Т.е. часы простоя на ровном месте.

anonymous ()
Ответ на: комментарий от anonymous

В статье - ни слова, все 3 части проверил. А что там у других - в данном случае не релевантно.
P.S. Это всё как с «Software Defined Storage» - выгодно только если «у тебя уже есть штук 20-30 мощных, но не нужных серверов с кучей дисков в каждом».

anonymous ()
Ответ на: комментарий от anonymous

У него все критичное, кроме БП - в одном экземпляре. Соответственно, сумма в $35K явно не учитывает никакое резервирование, ни горячее, ни холодное. А полчаса работы серьезного бизнеса (а несерьезному петабайт не нужен) - будет стоить дороже этих нещастных $35K, не сомневаюсь.

anonymous ()
Ответ на: комментарий от anonymous

А что там у других - в данном случае не релевантно.

Почему? Этот случай является показательным и ограничивающим право других настраивать лучше?

И по производительности наверно будут еще улучшения в релизу 1.0.

Лично я очень жду появления persistent L2ARC, тогда мои домашние компы будут работать одиноково быстро сразу после включения и после недель прогрева кэша.

anonymous ()
Ответ на: комментарий от anonymous

А это каким местом сюда? можно поставить N-ое количество дисковых контроллеров и сетевух.

На его мамке всего 3 PCI-e слота, . В одном SAS, в другом сеть, что будем резервировать - выбирай одно из двух? Небогато.

anonymous ()
Ответ на: комментарий от anonymous

У него все критичное, кроме БП - в одном экземпляре. Соответственно, сумма в $35K явно не учитывает никакое резервирование, ни горячее, ни холодное. А полчаса работы серьезного бизнеса (а несерьезному петабайт не нужен) - будет стоить дороже этих нещастных $35K, не сомневаюсь.

Так кто мешает продублировать? Хоть 30 раз, все равно будет дешевле упомянутых мульонов. В ZFS есть online репликация, если что.

anonymous ()
Ответ на: комментарий от anonymous

Чувак привел конкретный пример - говносторадж за $35k на 60 винтах. Я спросил производительность ЭТОГО КОНКРЕТНОГО говростораджа, а что там у кого-то на 30.000 винтах выжали - с ним НИЧЕГО общего не имеет (ни по сложности, ни по цене) кроме трех букв «ZFS»

anonymous ()
Ответ на: комментарий от anonymous

На его мамке всего 3 PCI-e слота, . В одном SAS, в другом сеть, что будем резервировать - выбирай одно из двух? Небогато.

Да мне вообще покуй, какая у него материнка, что вы привязались к этому примеру как к своей палочке выручалочке? ZFS в отличии от ваших проприетарых гробов заведется на любой материнке, которая вам и не снилась.

И даже в этом неудачном с точки зрения дублирования примере легко настроить онлайн репликацию на соседний такой же сервер и получите резервирование казалось бы в безвыходной с вашей точки зрения ситуации, но увы - это ZFS, тут такой фокус не пройдет :)

anonymous ()
Ответ на: комментарий от anonymous

Опять спрошу - кому нужен МЕДЛЕННЫЙ (раз цифры никто не приводит) петабайт? Я тоже подобное (на 36 винтов по 8Тб) собираю периодически на супермикре, но с RAID-дом и виндой, и это не повод для какой-то особой радости и гордости, имхо.

anonymous ()
Ответ на: комментарий от anonymous

Чувак привел конкретный пример - говносторадж за $35k на 60 винтах. Я спросил производительность ЭТОГО КОНКРЕТНОГО говростораджа, а что там у кого-то на 30.000 винтах выжали - с ним НИЧЕГО общего не имеет (ни по сложности, ни по цене) кроме трех букв «ZFS»

Я не утверждаю, что железо на надежный петобайт будет стоить $35K, я утверждаю, что на ZFS оно будет стоить меньше ваших проприетарных поделок и будет намного функциональнее вашего.

anonymous ()
Ответ на: комментарий от anonymous

И что мне делать с этим «резервированием» ? Как мне к этому говностораджу десяток-другой серваков подключать? С нормальным хранилищем я получу FC, поставлю фабрику и раздам LUNы на нужное кол-во железок-виртуалок, а здесь что? Падающая iSCSI на гделинковских быдлосвичах и молитва о том, чтобы это всё не сдохло раньше моего увольнения?
Это не мой был пример, а ваш. Вот и отвечайте за.

anonymous ()
Ответ на: комментарий от anonymous

А «Лада Гранта» будет дешевле чем Lexus. Продолжайте доказывать, что она лучше.

anonymous ()
Ответ на: комментарий от anonymous

Опять спрошу - кому нужен МЕДЛЕННЫЙ (раз цифры никто не приводит) петабайт?

Медленный за $35K? Он медленнее чего? Твоей коробки аналогичной емкости за $35K? ооочень сомневаюсь.

Раз цифры не приводит, это не значит, что медленный, это значит, что не приводит и возможно сэкономил на быстром NVME PCI SSD для кэширования. Но потом установит и покажет цифры.

anonymous ()
Ответ на: комментарий от anonymous

сэкономил на быстром NVME PCI SSD для кэширования. Но потом установит и покажет цифры.

Не установит. «2 x Intel DC P3700 800GB, NVMe PCIe3.0 SSDs (SLOG for ZFS pool)» уже стоят. А цифр нету...

anonymous ()
Ответ на: комментарий от anonymous

А «Лада Гранта» будет дешевле чем Lexus. Продолжайте доказывать, что она лучше.

По функционалу то Лексусом как раз является ZFS даже на любой самой дешевой писюковой SATA материнке БУ с авито за копейки, купленной на школьные обеды. После дублирования на нескольких нодах какой-нибудь соответствующей FS.

А твои проприетарные хранилища больше походят на Белаз, тупой, большой и сильный. Но никак ни на утонченный и интеллектуальный ZFS.

anonymous ()
Ответ на: комментарий от anonymous

организации бы не превысил аналогичный от обычных софтовых дел мастеров, они даже своими скриптами по выборке данных могут заDDOSить любую систему, что она пару дней потом не может очухаться

так а кто виноват, что ты работаешь в какой-то шараге? за такое в приличных местах со дня тряпками ссаными гонят. остальную боль утёнка я даже коментировать не буду.

anonymous ()
Ответ на: комментарий от anonymous

Не установит. «2 x Intel DC P3700 800GB, NVMe PCIe3.0 SSDs (SLOG for ZFS pool)» уже стоят. А цифр нету...

ZFS и я то тут причем?!!

Я приводил и другие примеры за другие деньги.

Хотя установить он таки может на другую более быструю материнку с бОльшим количеством слотов бОльшее количество более быстрых и современных SSD

Те, что стоят у него в 2018 году, у нас были закуплены в 2015.

Наверно даже современный копеечный по серверным меркам Samsung 970/980 может поспорить с устаревшими Intel DC P3700, по крайне мере без длительной нагрузки.

anonymous ()
Ответ на: комментарий от anonymous

так а кто виноват, что ты работаешь в какой-то шараге?

У меня остается много времени на обучение.

А такие партизаны, которых из других мест гонят ссаными тряпками, даже добавляют некоторый колорит к моей общей готовности к нештатным ситуациям и повышают опыт настройки DB2 под неожиданной нагрузкой.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.