LINUX.ORG.RU

OpenZFS 2.0.0

 ,


1

5

Выпущено крупное обновление файловой системы и средств ее обслуживания OpenZFS 2.0.0. Новая версия поддерживает ядра Linux, начиная с 3.10, и FreeBSD, начиная с версии 12.2, и в дополение к этому теперь объединяет код для обеих операционных систем в едином репозитории. Среди наиболее крупных изменений разработчики отмечают следующие:

  • Добавлена возможность последовательного (LBA) перестроения разрушенного RAID-массива Mirror vDev. Этот механизм гораздо быстрее традиционного «лечащего» восстановления. Однако в нем отсутствует проверка контрольных сумм блоков, из-за чего сразу после его завершения следующим шагом запускается проверка целостности системы (scrub).

  • Восстановление данных кэша L2ARC после перезагрузке системы. Сам кэш использует выделенный объем оперативной памяти, не задействуя более медленный жесткий диск при частых обращениях к данным. Теперь после перезагрузки данные кэша L2ARC будут на месте.

  • Поддержка сжатия в формате ZStandard, предоставляющего сравнимый с GZIP уровень компрессии, но при этом гораздо более высокую производительность. Для удобства администратору предоставлена возможность выбора уровня сжатия для обеспечения наилучшего баланса между быстродействием и экономией места на диске.

  • Возможность выбора данных при переносе командами send/receive. Теперь администраторы могут вручную исключать из переноса лишние, либо приватные данные перед копированием снэпшота.

  • Реализовано множество других, менее значительных, но не менее приятных улучшений, в частности написан модуль pam для загрузки ключей шифрования папок, реорганизованы man-страницы и актуализирована документация, добавлен генератор монтирования zfs-томов для systemd, расширено логирование в syslog, улучшена совместимость с системными загрузчиками и многое другое.

  • Добавлены новые команды и ключи к существующим, о чем можно почитать подробнее в кратких комментариях к выпуску.

  • Проведена оптимизация ряда внутренних инструментов в плане скорости и эффективного использования системных ресурсов.

Полный список изменений.

>>> Подробности

★★★★★

Проверено: Shaman007 ()

как здорово, что линукс сообщество согласилось тестировать ZFS для FreeBSD. не только же редхату использовать бесплатный QA в виде юзербазы федориного горя.:)

crypt ★★★★★ ()
Ответ на: комментарий от crypt

как здорово, что линукс сообщество согласилось тестировать ZFS для FreeBSD

Ахаха! Линупс-сообщество тут никаким боком. Апстрим бесплатной (не Oracle) ZFS переехал в ZoL полностью. Поддержка ZFS во фрибзде вообще полностью лежит на iX Systems исторически. Когда iX надоест тянуть дохлую лошадь - а они уже вовсю осваивают линукс в ответ на пожелания клиентов, - они скорее всего прекратят «благотворительность». Ни одна из живых версий ZFS (Oracle, ZoL, FreeBSD) не поддерживается мифическим сообществом, это всё энтерпрайзы.

anonymous ()
Ответ на: комментарий от King_Carlo

Не восстановление данных кэша, а сохранение кэша после перезагрузки.

А до этого, оно терялось ? Бедные кеширующие SSD… Перешёл с flashcache на bcache как раз из-за возможности сохранять кеш после перезагрузки. SSD теперь живут заметно дольше.

DawnCaster ()
Ответ на: комментарий от crypt

как здорово, что линукс сообщество согласилось тестировать ZFS для FreeBSD. не только же редхату использовать бесплатный QA в виде юзербазы федориного горя.:)

Только наоборот, это FreeBSD переехали на ZoL, после всего весь проект переименовали.

hateyoufeel ★★★★★ ()
Ответ на: комментарий от pihter

Он так сказал из-за возможных претензий и низкой производительности ZFS. Собственно до сих пор мало хранилищ где не хватит EXT4 или XFS. Заоблачные цифры есть разве что у какого-нибудь коллайдера. Вот там генерировать 30 терабайт данных в секунду - нормальное явление.

anonymous ()

Однако в нем отсутствует проверка контрольных сумм блоков, из-за чего сразу после его завершения следующим шагом запускается проверка целостности системы (scrub).

колхозники какие-то… получается нужно сначала подождать какое-то неопределенное время прежде чем тебе скажут, что нужно восстанавливаться из бэкапа? Спасибо, мы предпочитаем более традиционные методы.

borisych ★★★★★ ()
Ответ на: комментарий от pihter

А разве Линус не сказал что zfs в топку и он не одобряет?

Они не могут включить его в ядро из-за лицензии ZFS. Такую лицензию поставили намеренно. Нельзя сделать какой-то дистр, где будет ZFS предустановлен. Оракл одобряет) Ну а в сторонних проектах оно может быть.

goingUp ★★★★★ ()

Любопытно, на каких стендах и каким автоматизированным образом проверяют и тестируют живучесть заявленную ФС? Какие то есть виртуальные HDD/SSD в которых можно эмулировать сбои и пропадания искажения?

I-Love-Microsoft ★★★★★ ()
Ответ на: комментарий от anonymous

Смотря какую.

Рабоче\домашнюю могу от пары раз в день, до пары раз в неделю. В результате теряя весь кеш и все преимущества от его использования: что-бы после перезагрузки, у меня условная виртуалка быстро поднялась, вижуалстудия быстро стартанула, и всё такое. Без перезагрузок я получаю около одной полной перезаписи накопителя за день-другой. С перезагрузками - помимо потери кеша и его преимуществ получаю плюс ещё одну перезапись.

А учитывая что я для кеша сейчас покупаю совсем изношенные Б\У накопители с рук за совсем недорого, то на домашней машине они служат около года, не более.

DawnCaster ()
Последнее исправление: DawnCaster (всего исправлений: 1)
Ответ на: комментарий от Alve

Сейчас уже небольшой - несколько машин, а было около десятка. SSD от 120 до 512 гигов. Основные сценарии использования - базы данных, CI и деплой, виртуалки. И рабочие машины, в том числе дома. (сейчас в основном она только и осталась). Постепенно заменяя flashcache на bcache в среднем удавалось продлять жизнь ССД на четверть. Правда они изначально уже были не новые.

Ну и думаю что дело ещё в большей эффективности bcache.

DawnCaster ()
Последнее исправление: DawnCaster (всего исправлений: 1)
Ответ на: комментарий от goingUp

Нигде не нашел на русском объяснения в чем именно несовместимость лицензии linux’a и zfs, на английском такие юридические дебри что моего технического английского откровенно не хватает. Может кто нибудь в общих чертах объяснить?

anonymous ()
Ответ на: комментарий от anonymous

Файлы, лицензированные под CDDL, могут быть совмещены с файлами под другими открытыми или проприетарными лицензиями. CDDL не является полностью копилефт лицензией. Она позволяет совмещать открытый и закрытый код, защищённый авторскими правами. Как и MPL, CDDL несовместима с лицензией GPL. Это происходит из-за того, что GPL требует удаления всех лицензий и применения GPL вместо них, в то время как CDDL запрещает это. Примером несовместимости является невозможность включения файловой системы ZFS, выпущенной под CDDL, в ядро Linux, выпущенное под GPL. Для совместного использовании в проекте файлов под лицензиями CDDL и GPL необходимо применять двойное лицензирование.
на википедии забанили ??

pfg ★★★★ ()
Последнее исправление: pfg (всего исправлений: 1)
Ответ на: комментарий от goingUp

Нельзя сделать какой-то дистр, где будет ZFS предустановлен

Бубунта уже несколько лет как имеет ZFS в репе )) А в инсталлятор 20.04 добавили поддержку установки системы сразу на ZFS.

htower_ ★★ ()
Ответ на: комментарий от pihter

ах ха ха, и эти люди называют вендузятников и маководов «хомячками» и «сектантами».

вот бы увидеть вендузятника, которого хоть капельку волнует мнение Гейтса/Балмера/Наделлы. Или маковода, столь пристально следившего за словами Джобса.

anonymous ()

Восстановление данных кэша L2ARC после перезагрузке системы. Сам кэш использует выделенный объем оперативной памяти, не задействуя более медленный жесткий диск при частых обращениях к данным. Теперь после перезагрузки данные кэша L2ARC будут на месте.

Ээээ… Ничего не понял. Какое отношение оперативная память имеет к L2ARC? Оно вроде всю жизнь на выделенном vdev было? В оперативной памяти – ARC, не?

anonymous ()
Ответ на: комментарий от pfg

Разумеется я читал этот текст. Не очень понимаю причины вашей резкости, если вы потрудитесь прочитать то что там написано еще раз, то станет очевидно, что написанный вами текст и содержимое статьи на вики далеко не одно и тоже. Более того, ваша версия описывается только как одна из возможных. Я надеюсь кто нибудь знает, как это комментировали со стороны FSF? Запрещают ведь они, а толкового текста на русском я не нашел. Вот этот документ, которым они комментируют несовместимость не совсем понятен, кроме того содержит отсылки к совсем уж зубодробительным юридическим талмудам.

anonymous ()
Ответ на: комментарий от hateyoufeel

Ну я как раз слышал мнение, что убунта нарушает) На оффсайте убунты вообще шлангуют, что zfs.ko не является производной работой от ядра) https://ubuntu.com/blog/zfs-licensing-and-linux

Но это тонкий вопрос, GPL накладывает ограничения на распространение, но на своем локалхосте ты можешь делать что хочешь. По идее в репу можно ложить ZFS, но в cd образ нельзя. Но это не точно)

@One @htower_

goingUp ★★★★★ ()

ё

в частности написан модуль pam для загрузки ключей шифрования папок

А как оно работает? Оно автоматом расшифровывает директории на примонтированой фс, если юзер залогинен, или повторно аутентифицирует через pam при попытке доступа к директории?

cocucka ★★★ ()
Ответ на: комментарий от goingUp

Ну я как раз слышал мнение, что убунта нарушает) На оффсайте убунты вообще шлангуют, что zfs.ko не является производной работой от ядра)

Пока кто-то не подаст в суд, можно считать что не нарушает. Если же лялексоеды подадут в суд на Canonical за использование ZFS, я просто со смеху помру. А до того момента все вопли Люниса и Грегкха про лицензию можно вертеть на половом органе.

Но это тонкий вопрос, GPL накладывает ограничения на распространение, но на своем локалхосте ты можешь делать что хочешь. По идее в репу можно ложить ZFS, но в cd образ нельзя. Но это не точно)

В убанте прямо в .iso есть поддержка ZFS. Ты в инсталляторе можешь выбрать ZFS, отформатировать диск и установить систему на эту ФС.

hateyoufeel ★★★★★ ()
Ответ на: комментарий от araks

Ах, влажные мечты…

Штанишки сходи отожми от своих влажных мечт.

An overview of the forthcoming changes to the OpenZFS Project, and how FreeBSD will interact with the OpenZFS Project.

<…>

Then switch gears and cover FreeBSD specific issues:

  • The switch to ZoL as upstream

Отсюда: https://papers.freebsd.org/2019/bsdcan/jude-the_future_of_openzfs_and_freebsd/

hateyoufeel ★★★★★ ()
Ответ на: комментарий от hateyoufeel

Только наоборот, это FreeBSD переехали на ZoL, после всего весь проект переименовали.

я надеюсь, что сейчас вот выйдет этот релиз, фрибзд на нем залипнет (они же не такие быстрые в разработке, как линуксоиды) и пока линуксоиды будут бежать вперед с новыми версиями, фрибзд будет идти с некоторым отстованием и готовыми багфиксами.

crypt ★★★★★ ()
Ответ на: комментарий от hateyoufeel

OpenZFS brings together developers and users from various open-source forks of the original ZFS on different platforms and we’re always looking to grow our community.

OpenZFS was announced in September 2013 as the truly open source successor to the ZFS project. Our community brings together developers from the illumos, FreeBSD, Linux, macOS, NetBSD, and Windows platforms,

OpenZFS is an advanced file system and volume manager which was originally developed for Solaris and is now maintained by the OpenZFS community. This repository contains the code for running OpenZFS on Linux and FreeBSD.

Кароч, типично линагзоидные закидоны - взять код Illumos/BSD, приписать Linux и трясти гузочкой

araks ★★ ()
Последнее исправление: araks (всего исправлений: 1)
Ответ на: комментарий от crypt

а ты чейный будешь?

У меня Windows 10 Pro. С ZFS под сторадж, да.

сейчас вот выйдет этот релиз, фрибзд на нем залипнет (они же не такие быстрые в разработке, как линуксоиды) и пока линуксоиды будут бежать вперед с новыми версиями, фрибзд будет идти с некоторым отстованием в развитии

Починил специально для тебя. Если что, бакфиксы как раз в новых версиях и появляются.

Кстати, забавно, я довольно долгое время торчал на ZoL 0.8.0-beta и -rc ради поддержки шифрования. И, что удивительно, всё стабильно работало. Хотя бэкапы я, конечно же, делал, ибо иначе ссыкотно.

hateyoufeel ★★★★★ ()
Последнее исправление: hateyoufeel (всего исправлений: 1)
Ответ на: комментарий от araks

Кароч, типично линагзоидные закидоны - взять код Illumos/BSD, приписать Linux и трясти гузочкой

Да-да, только это сейчас единственная рабочая реализация ZFS с кучей новых фич, которых в Illumos и BSD тупо нет (потому что Illumos и FreeBSD слегка сдохли). Оракл свою прикопал вместе с соляркой. Оригинальная OpenZFS тоже стагнировала и в итоге сдохла.

hateyoufeel ★★★★★ ()
Последнее исправление: hateyoufeel (всего исправлений: 1)
Ответ на: комментарий от crypt

фрибзд будет идти с некоторым отстованием и готовыми багфиксами

Эт да, в свое время одни «прогрессивные» «прокачали» blk-mq, другие «прогрессивные» бездумно накатили свежачок, петабайты данных по всему миру в труху, веселуха.

araks ★★ ()
Ответ на: комментарий от hateyoufeel

Да-да, только это сейчас единственная рабочая реализация ZFS

Да что вы говорите, как интересно.

с кучей новых фич, которых в Illumos и BSD тупо нет

Delphix взяла код Oracle/Illumos/FreeBSD, прикрутила пару своих фич, и теперь весь код - исключительное достояние линукса. Как у вас тут интересно.

araks ★★ ()
Ответ на: комментарий от borisych

колхозники какие-то… получается нужно сначала подождать какое-то неопределенное время прежде чем тебе скажут, что нужно восстанавливаться из бэкапа? Спасибо, мы предпочитаем более традиционные методы.

Ты, похоже, из всего текста прочитал только «отсутствует проверка контрольных сумм»

melkor217 ★★★★★ ()
Ответ на: комментарий от anonymous

Из факта что я знаю какие-то слова торвальдса следует что я пристально слежу и поклоняюсь? Я и гейтса какие-то слова знаю, давай, подружки эти два факта в твоём чернобелом мире

pihter ★★★ ()
Ответ на: комментарий от hateyoufeel

В убанте прямо в .iso есть поддержка ZFS.

Ого, я думал у них типа отмазка, что инсталлятор качает из репы, но получается они, как ни крути, распространяют ZFS с ядром)

goingUp ★★★★★ ()
Ответ на: комментарий от pihter

А модулем? Или сабж в юзерспейсе какво фре сторонние фс?

Сабж идёт наобором модулей. Всё ок, только Грекх иногда в рассылке начинает визжать что его GPL кто-то ущемляет.

Или сабж в юзерспейсе какво фре сторонние фс?

Была реализация под FUSE, но сейчас ею никто не пользуется.

hateyoufeel ★★★★★ ()