LINUX.ORG.RU

Релиз ZFSonLinux 0.8.0

 , ,


4

2

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0.

Новые возможности:

  • «Нативное» шифрование как для файловых систем, так и для разделов. По умолчанию используется алгоритм aes-256-ccm. Ключи для датасета управляются с помощью команды «zfs load-key» и связанных подкоманд.
  • Шифрование при zfs send/receive. Позволяет хранить бэкапы на недоверенных сервисах без возможности компрометации.
  • Удаление устройства из pool через команду «zpool remove». Все данные копируются в фоновом режиме на оставшиеся устройства верхнего уровня, и ёмкость пула соответственно уменьшается.
  • Подкоманда «zpool checkpoint» позволяет сохранить всё состояние пула и при желании вернуться обратно в это точное состояние. Это можно рассматривать как расширенный snapshot пула. Это полезно при выполнении сложных административных действий, которые в противном случае необратимы (например, включение новой функции, уничтожение набора данных и так далее)
  • TRIM для устройств пула. Позволяет более эффективно использовать твёрдотельные накопители и предотвращать снижение их производительности и/или времени их жизни. Можно производить trim как отдельной командой «zpool trim», так и включить аналог опции discard - новое свойство пула «autotrim»
  • Инициализация пула. Подкоманда «zpool initialize» записывает свой патерн во всё нераспределённое пространство. Это устраняет первое снижение производительности доступа, которое может существовать в некоторых виртуализированных хранилищах (например, VMware VMDK).
  • Поддержка аккаунтинга проектов и квот. Эта функция добавляет учёт использования проекта и квоты к существующим функциям учёта пространства и квот. Квоты проекта добавляют дополнительное измерение к традиционным квотам пользователей/групп. Подкоманды «zfs project» и «zfs projectspace» были добавлены для управления проектами, установки лимитов квот и отчётов об использовании.
  • Программы каналов. Подкоманда «zpool program» позволяет использовать скрипты на LUA для выполнения административных действий. Скрипты запускаются в «песочнице» с лимитами времени и памяти.
  • Pyzfs. Новая python-библиотека для обеспечения стабильного интерфейса для программного администрирования ZFS. Эта обёртка обеспечивает взаимно-однозначное (one-to-one) сопоставление для функций API libzfs_core, но сигнатуры и типы более естественны для Python-диалекта.
  • Совместимость с Python3. Утилиты «arcstat», «arcsummary» и «dbufstat» обновлены для совместимости с Python3
  • Direct IO. Добавлена поддержка использования прямого вывода (O_DIRECT).

Также ускорены подкоманды scrub/resilver/list/get, добавлена возможность вывести метаданные на отдельное устройство (например, высокопроизводительный SSD малого объёма), увеличена производительность ZIL за счёт кэширования и оптимизации, добавлена поддержка аппаратного ускорения SHA256-чексумм и AES-шифрования используя Intel QAT (Quick Assist Technology).

Поддерживаемые ядра Linux: 2.6.32 - 5.1 (на ядрах 5.0 и выше пока не поддерживается SIMD-ускорение)

Полный список изменений

Значения параметров модулей по-умолчанию выбраны, чтобы обеспечить оптимальную нагрузку для большинства рабочих нагрузок и конфигураций. Для полного списка опций - man 5 zfs-module-parameters

>>> Подробности

★★★★★

Проверено: shell-script ()

Ответ на: комментарий от anonymous

У тебя проблемы на уровне проектирования. Нельзя делать ответственное хранилище для базы данных регионального маштаба на 4 консюмерских дисках. И грамотные люди не зря предложили 20 ентерпрайз уровня. Скороей всего там заложена избыточность и горячая замена. И по скорости, надежности и стоимости даже на Windows это решение превзойдет твое.

Miha ()
Ответ на: комментарий от Miha

Без иксов? Не верю, у меня сейчас линукс+gnome+java на 4 гигах тормозит просто адски, хотя zfs не использует.

Почему без иксов? С иксами, еще и эту самую ZFS девелопили - жаба для этого не нужна, а cscope/vim/emacs'у - было вполне достаточно.

anonymous ()
Ответ на: комментарий от Miha

У тебя проблемы на уровне проектирования. Нельзя делать ответственное хранилище для базы данных регионального маштаба на 4 консюмерских дисках.

Диски современные серверные Constilation SAS на древнем серверном железе.

И грамотные люди не зря предложили 20 ентерпрайз уровня.

Но на полгода позже обещанного, уже после того, как нужно было отчитаться, что система запущена в эксплуатацию.

Скороей всего там заложена избыточность и горячая замена. И по скорости, надежности и стоимости даже на Windows это решение превзойдет твое.

Ну неужели ты думаешь, что я буду спорить с тобой, что железяка на 20 дисков лучше? Я бы тоже не отказался от такой. Тут ведь про сравнение файловых систем, а не железяк. Вот возми и представь как бы обасрался по сравнению с ZFS дисково хранилищный софт, который работает на современном хранилище из 20 дисков, если бы его удалось запустить на моем хоронилищном (в смысле производительности железа) недосервере.

anonymous ()
Ответ на: комментарий от anonymous

Предоставить ганстолкерам возможность незаметно поменять содержимае важного для тебя файла

Ну я бэкаплюсь по крону TimeShift-ом. Мне такой, возможно допотопный, способ больше подходит.

Обе отметились в свое время массовыми случаями потери данных

Пока не приходилось восстанавливать данные, ну и потерь тоже не было.

CryNet ★★ ()
Ответ на: комментарий от anonymous

на полгода позже обещанного, уже после того, как нужно было отчитаться, что система запущена в эксплуатацию

Вопрос не технический, а управленческий.

Вот возми и представь как бы обасрался по сравнению с ZFS дисково хранилищный софт, который работает на современном хранилище из 20 дисков, если бы его удалось запустить на моем хоронилищном (в смысле производительности железа) недосервере.

ZFS никакого выигрыша не дает, на том же оборудовании Windows может работать лучше для виндовых клиентов.

Miha ()
Ответ на: комментарий от anonymous

свой бесплатный GRSecurity совместимый с ZFS.

Не понял, что ты имеешь в виду? Если шифрование, то в FreeBSD есть geli.

Если это: Role-based access control, то в фре есть MAC. Алсо, там есть capsicum и джейлы. Но к zfs это всё не относится

deadplace ()
Ответ на: комментарий от Miha

Вопрос не технический, а управленческий.

А как тип вопроса влияет на то, что мне пришлось воспользоваться тем железом, которое было в наличии и правильно ли это?

anonymous ()
Ответ на: комментарий от Miha

ZFS никакого выигрыша не дает

по сравнению с Шиндой чтоле?

, на том же оборудовании Windows может работать лучше для виндовых клиентов.

На 12GB RAM раздавать по iSCSI том с базой объемом полтерабайта, и много другое по NFS (которого в венде есть?) в пуле объемом 4 терабайта.

Ты хоть смутно представляешь как бы повела себя венда на синхронных IOPSах, запрашиваемых из DB2 на соседнем хосте? Пока хранилище не заглатывало 200 метров базы в L2ARC, база вообще еле шевелилась (на другом более современном сервере 40GB RAM и 24 ядра). Венда бы там кроме как обосраться бы ничего бы и не смогла как раз.

anonymous ()
Ответ на: комментарий от anonymous

мне пришлось воспользоваться тем железом, которое было в наличии и правильно ли это?

Неправильно. Ты проявил себя как непрофессионал. У тебя ТЗ было? А технико-экономическое обоснование для покупки нужного оборудования?

Miha ()
Ответ на: комментарий от Miha

Неправильно. Ты проявил себя как непрофессионал. У тебя ТЗ было? А технико-экономическое обоснование для покупки нужного оборудования?

Я закупками не занимаюсь, я админ, а не группа федеральных поставок. Мне как руководство сказало, я так и сделал.

anonymous ()
Ответ на: комментарий от anonymous

Например, на ней работает весь Facebook.

Таки весь? Btrfs в facebook испоьзуется в экспериментальном режиме на узлах отдачи и формирования web-контента (web-tier), чтобы проверить работу файловой системы в реальных сценариях под тяжелыми нагрузками. Web-узлы выбраны из соображений максимальной простоты восстановления в случае выявления каких-либо проблем

anonymous ()
Ответ на: комментарий от Miha

Система по доке идет на линуксе во всех регионах.

По ZFS я принял, потому что ни одна другая файловая система не могла закешировать базу на чтение в SSD.

Ну ессно СУБД работала с ext:

DB2 40GB RAM->Ext3->iSCSI->Ethernet->хранилище ZFS 12GB RAM

т.е. как видишь со стороны СУБД все четко по инструкции, а со стороны хранилища инструкции не было.

anonymous ()
Ответ на: комментарий от anonymous

ни одна другая файловая система не могла закешировать базу на чтение в SSD

One of the most welcome new features in Windows Server 2012 R2 is the ability to create native tiered storage. In case you are unfamiliar with the feature, a storage pool can contain a mixture of traditional hard disks and solid-state disks. When a virtual hard disk is created on top of the storage pool, the administrator is given the option of providing the new virtual hard disk with tiered storage. If the administrator chooses to enable this option then the most frequently read blocks (which are known as hot blocks) will be automatically copied to solid state storage so that they can be accessed with the greatest possible efficiency.

Miha ()
Ответ на: комментарий от Miha

По поводу Windows я могу тебе сказать следующее:

1) В качестве iSCSI файлера ее с моей скромной точки зрения, основываясь на частоте просмотра синих экранов в более ранних версиях и даже потери отклика GUI под нагрузкой (вплоть до зависания до перезгрузки) стал бы использовать только полный дебил, которого нельзя допускать до админства серверов.

2) Я не собираюсь ставить эксперименты на себе и своей организации по отладке нового изобретения Microsoft в области форточкостроения и SSD кэширования NTFS.

3) Заопенсорили и портировали DotNet для приложений и слава Богу, осталось портировать студию и можете отдать разработку ненужности под названием венда в компанию Lenovo аналогично железкам IBM, как раз для этих самых железок, сойдет, может быть :)

anonymous ()
Ответ на: комментарий от anonymous

Откуда дрова?

https://www.linux.com/news/learn/intro-to-linux/how-facebook-uses-linux-and-b...

We also have a number of machines running Gluster, using both XFS and Btrfs. The target there is primary data storage. One of the reasons why they like Btrfs for the Gluster use case is because the data CRCs (cyclic redundancy checks) and the metadata CRCs give us the ability to detect problems in the hardware such as silent data corruption in the hardware. We have actually found a few major hardware bugs with Btrfs so it’s been very beneficial to Btrfs.

Это 2016.

anonymous ()
Ответ на: комментарий от Miha

20 дисков читают параллельно, скорость равна 20*скорость одного.

У меня впечатление, что ты своих собеседников по умолчанию считаешь идиотами, хотя сам не вникаешь в то, что они пишут:

https://www.newegg.com/intel-dc-p3700-400gb/p/N82E16820167232

У нас на работе один товарищ есть, так же себя ведет. Мне кажется, это мягко говоря неумно.

anonymous ()
Ответ на: комментарий от anonymous

Я бы тебе не разрешил ставить линукс с zfs без предварительного тестирования, поскольку zfs в линуксе пока смотрится как седло на корове.

Нужно было провести нагрузочное тестирование в такой последовательности: Solaris (zfs), FreeBSD (zfs), Windows и линукс (zfs).

Miha ()
Ответ на: комментарий от Miha

Я бы тебе не разрешил ставить линукс с zfs без предварительного тестирования, поскольку zfs в линуксе пока смотрится как седло на корове.

Да ты дружище пробовал протестировать ZFS хотя бы на своем десктопе? Я бы у тебя и не работал бы никогда, потому что нашел бы американскую удаленку, где ZFS давно успешно используют и платят в разы больше твоего. Накой ты мне сдался со своим Шиндоуз в качестве начальника.

ZFSOnLinux не смотрится как седло на корове начиная с 2012. Несколькими годами позднее, когда было развертывание ZFSOnLinux было еще лучше.

А сейчас я сомневаюсь, что осталась хотя бы одна ось, которая может заявить о лучшем качестве своего ZFS. Illumos? Сверхбольших федеральных нагрузок я пока не видел, но для региона современный ZOL более чем достаточен.

Нужно было провести нагрузочное тестирование в такой последовательности: Solaris (zfs), FreeBSD (zfs), Windows и линукс (zfs).

Ога, а где взять время на это? когда поставить надо было еще вчера и кроме того надо успевать админить еще несколько комплексов.

Хуиндоус даже не упоминай всуе, я его так наиспользовался за свою жизнь на серверах, что даже за $100/h было бы мерзко его админить, а при отсутствии нужды и не стал бы.

Фрюху бы пришлось изучать, а на кой мне это? Да еще и дублеров нет для бздей. Гуглежка легко показывает, что Linux популярнее и производительнее в общем случае. Если про каноничность и безопасность, то опять мимо, нужна OpenBSD, а в ней кроме командной строки и SSH почти ничего не работает из ынтырпрайз, она не для СУБД.

Solaris, ога ога, носмешил все наши филиалы. У нас шинду то не все умеют одминить. Да и потом чем она лучше нынешнего ZOL опять же? Oracle там чего то уже сокращала/убивала несколько раз в области true ZFS on true Solaris. У нее, что есть будущее в плане новых некоррупционных инстоляций? Ой ни смиши меня, хватит уже анекдоты рассказывать.

anonymous ()
Ответ на: комментарий от anonymous

Oracle там чего то уже сокращала/убивала

Это «чего-то там» никак не повлияло на развитие. Оракл на спарках крутить дешевле, потому и новые инсталляции есть.

anonymous ()
Ответ на: комментарий от anonymous

Но зачем нормальной базе фс?

Чтобы абстрагироваться от железа, от пулов, дублирования устройств, снэпшотов, репликации снэпшотов, даже от оси и ее ядра.

anonymous ()
Ответ на: комментарий от anonymous

Охотно верю:

https://www.google.com/search?source=hp&q=oracle solaris dead

Особенно одминам солярки - людям высшего сорта, не чета всяким пингвинячим унтерменьшам.

Зеленый укуренный кот не даст соврать, он даже знает, что такое SAN, не иначе гений ниспосланный свыше.

anonymous ()
Ответ на: комментарий от Miha

Oracle в России больше не работает с госами из-за санкций.

Да как бы без разницы, монопенисуально.

Если рассуждать о будущем Solaris, то только в рамках Illumos и дистров типа OpenIndiana, SmartOS, где немало зубров из Sun.

Но даже SmartOS такая же надменная как когда то Sun и хочет бабла, бабла и еще раз бабла! Даже в короткой переписке по поводу чем они лучше других, они сначала спрашивают как скоро мы заплатим им бабло, а потом начинают уже рассуждать, стоит ли отвечать на наши вопросы. Вот такой нынче опен сорс от солярки, что уж там про Oracle.

anonymous ()
Ответ на: комментарий от anonymous

Да ты гений поиска, как тебе результаты linux sucks? А ведь правду говорят.

одминам солярки - людям высшего сорта, не чета всяким пингвинячим унтерменьшам.

но ведь это так и есть и рядовой солярщик уделает типичного пингвинятко по знаниям.

anonymous ()
Ответ на: комментарий от anonymous

но ведь это так и есть и рядовой солярщик уделает типичного пингвинятко по знаниям.

По знаниям чего? Бокса? Или на грудь больше возьмет?

anonymous ()
Ответ на: комментарий от anonymous

Да ты гений поиска, как тебе результаты linux sucks? А ведь правду говорят.

Еще бы не правду. Раньше эту правду говорили только вендовые будущие мастдайщики, а теперь еще и ораклисты - уже dead, но еще не осознавшие это, так сказать zombie.

GPL уничтожит вас всех, попомните мои слова :)

На массовом рынке универсальных популярных решений останутся только те, кто пишет свою проприетарщину под линупс либо опен сорс под линупс на зарплате компаний.

Я еще лет 10 назад писал на просто трепе sql.ru, что Microsoft нужно делать кросплатформенный DotNet для линупса ибо mono в то время была слишком глюкобажная, а на 1 апреля тогда была популярна шутка о релизе MSSQL под Linux.

Мечты сбываются.

anonymous ()
Ответ на: комментарий от anonymous

Осталось только устроить нетоварищеские гладиаторские встречи - пьяные сисопки фаны Linups vs Оракакл, и масдайщики в качестве зрителей, которые мало, что понимают, но им все равно любопытно.

anonymous ()
Ответ на: комментарий от anonymous

Не всем нужны пионерские поделки.

Linux just works из лучшего говна и лучших палок, которые Windows и не снились.

А медитировать можно в OpenBSD, это хотя бы безопаснее, чем в Солярке.

anonymous ()
Ответ на: комментарий от Miha

Я и забыл, что у вас там цирк с понями, впрочем, кого интересуют эти госы, без газпрома наверное неприятно остаться, но в мирн полно других.

anonymous ()
Ответ на: комментарий от anonymous

Ведь понятно же, что по сравнению с Соляркой у Linux преимущество не в более изящной архитектуре, а в более удачной лицензии, которая бесплатно наполняет проект тысячами разных программ и постоянно увеличивает аудиторию и динамика этого процесса постоянно нарастающая.

А по сравнению с форточками у Linux много и технических преимуществ. И в первую очередь надежность и uptime. Вообще непонятно, как венда попала на сервера при наличии юниксов (Solaris, BSD) , линуксов и т.п. Венда - это какой-то МММ в рамках серверов, когда каждая домохозяйка может почуйствовать, что она управляет сервером.

anonymous ()
Ответ на: комментарий от anonymous

там другого ничего и не остаётся, как медитировать, функционала-то ноль.

Зато надежно и безопасно :)

Кроме того можно поиграться с опасными и ненадежными портами софта :)

anonymous ()
Ответ на: комментарий от anonymous

Фс добавляет ещё один ненужный слой.

Почему ненужный?

Ведь, например, у DB2 база представлена многими файлами, а не одним. Хотя DB managed TS тоже возможен.

anonymous ()
Ответ на: комментарий от anonymous

Ведь понятно же, что по сравнению с Соляркой у Linux преимущество не в более изящной архитектуре, а в более удачной лицензии, которая бесплатно наполняет проект тысячами разных программ и постоянно увеличивает аудиторию и динамика этого процесса постоянно нарастающая.

Да-да, эффект снежного кома, то-то под Линь такая куча прикладнго софта.

anonymous ()
Ответ на: комментарий от anonymous

Вообще непонятно, как венда попала на сервера при наличии юниксов (Solaris, BSD) , линуксов

Microsoft decided to create a portable operating system, compatible with OS/2 and POSIX and supporting multiprocessing, in October 1988.

Microsoft hired a group of developers from Digital Equipment Corporation led by Dave Cutler to build Windows NT, and many elements of the design reflect earlier DEC experience with Cutler's VMS

Никакими линуксами и бсдами тогда еще даже не пахло.

Miha ()
Ответ на: комментарий от anonymous

Венда - это какой-то МММ в рамках серверов, когда каждая домохозяйка может почуйствовать, что она управляет сервером.

Лор - это такой МММ, где каждый дурачок освоивший установку Генты может почувствовать, что чего-то в жизни из себя представляет.

anonymous ()