Использование ZFS на Linux

Жёсткие диски и «производительность» уже давно нет смысла упоминать в одном абзаце, вне зависимости от ФС.
Для описанного юзкейса особого смысла отклоняться от ext4 нет.

хранятся большие файлы (от 1 гб до 20 гб). Рекомендовали ZFS

На одном hdd нет смысла, zfs хороша для raid-массивов. Возможно был бы какой-то толк от сжатия, но твои файлы несжимаемы.

Linux с ней не сильно дружит

Очень сильно дружит.

да и настройка долгая

Давно уже ничего настраивать не надо, ну разве что l2arc добавить, но это дело на пол минуты.

Но еще сказали что btrfs неплохо подойдет

Сдаётся мне тролль ты пятничный, dimayalovagin.

у тя на нём щас XFS же.
вот и оставь её.

На одном hdd нет смысла

Репликация!

zfs хороша для raid-массивов

Внесите пострадавших от RAIDZ!

толк от сжатия

Не только лишь все, мало кто может… Не только в ZFS есть сжатие.

Давно уже ничего настраивать не надо

Очень зависит от девайса, на котором оно юзается. На ноуте я таки немного пошатал.

Но еще сказали что btrfs неплохо подойдет

Сдаётся мне тролль ты пятничный

А вот тут да.

Хорошо, спасибо

Файловая система для HDD

похоже это бот

создает похожие темы регулярно

Если оперативки не жалко на двойное кэширование, бери зфс. Но раз у тебя жёсткий диск один, то главной киллер-фичой зфс по сравнению с btrfs (RAID-Z) ты пользоваться всё равно не будешь.

Нужна <…> отказоустойчивость

Отказоустойчивости с одним диском у тебя не будет.

XFS

Рекомендовали ZFS, но Linux с ней не сильно дружит

Дружит

да и настройка долгая

Недолгая

Нужна хорошая производительность

Это в целом не про zfs

и отказоустойчивость

С одним диском так не бывает

Может что-то свое посоветуете?

ext4 или xfs

Но раз у тебя жёсткий диск один, то главной киллер-фичой зфс по сравнению с btrfs (RAID-Z) ты пользоваться всё равно не будешь.

А что, это правда главная киллер-фича? Есть же всякие zil/slog, l2arc, zvol, дедупликация наконец. Тоже очень нишевые штуки, но не более чем RAID-Z.

Правда, я не в курсе, что из этого btrfs умеет, исхожу из предположения что точно не всё :)

Задаю потому что либо мало ответов либо я так и не нашел ответ на вопрос. Нет, я не бот

Да, правда.

Есть же всякие zil/slog, l2arc

Это количественные фичи, а не качественные. То есть они возможно делают лучше, но новых юзкейсов не добавляют.

zvol

zvol — это баззворд. В линуксе можно создать файл и повесить его на петлевое устройство.

дедупликация наконец

Во-первых, это на несколько порядков более нишевая фича, чем хороший parity/erasure RAID. Во-вторых, bees.

Вот тебе базовый пример хоть как-то мотивированного использования zfs (либо btrfs или xfs/ext4+mdraid+lvm). Собираешь зеркало из пары дисков, на нём хранишь файлопомойку, периодически делая снапшоты.

Почему тут вообще нужен zfs или что-то подобное? Потому что xfs на голом диске не обеспечит ни зеркалирование, ни снапшоты. Короче, когда тебе это действительно понадобится, ты сам всё узнаешь без вопросов на форуме.

zvol — это баззворд. В линуксе можно создать файл и повесить его на петлевое устройство.

Осмелюсь предположить, что поддержка zvol во всяких проксмоксах или даже докерах не просто так есть. Короче, вменяемой аргументации не будет, но имхо ты перегибаешь тут. Впрочему, на киллер-фичу действительно не тянет.

поддержка zvol во всяких проксмоксах

В чём конкретно заключается поддержка zvol в проксмоксе?

<…> докерах

В первый раз слышу.

Либо тебя кто-то потролил, либо ты троллишь нас.

Еще я посленюю часто неделю натыкаюсь на «у меня компьютер с Linux $linuxname», где в $linuxname какие-то диковенные штуки Rose, Manjaro крокодил, зал..па, сыр. Где вы такое набрали?

Мне на ответах майл ру ответили просто

zvol — это баззворд. В линуксе можно создать файл и повесить его на петлевое устройство.

С таким же успехом можно утверждать что LVM - это баззворд. Но вот как-то нет, удивительно, правда?

Мне на ответах майл ру ответили просто

Неплохо)

В первый раз слышу.

Я просто оставлю это здесь

Ты там слово zvol хоть один раз видишь?

С таким же успехом можно утверждать что LVM - это баззворд.

Нет, нельзя.

Ух ты, пора валить с overlay :)

Могу рассказать свой опыт. Не рекомендую для 24/7 десктопные диски. Мрут достаточно быстро и на круг получаются дороже enterprise серии.

Для отказоустойчивости заведи raid 0. С него же и загружайся. По производительности не ССД конечно, но для целей торрентов и фильмов хватит с избытком.

Использую свой компьютер как домашний медиасервер с btrfs, в конфигурации 2 raid 0 из 4х дисков. За последние 2 года неожиданных проблем не было, диски после смерти меняются достаточно просто. uptime где то от 3 до 8 месяцев и то как правило по причине желания чего нибудь накрутить.

Из технологий можно выбирать из brtfs, zfs, softraid+lvm. Все они обеспечат примерно одинаковую функциональность, если конечно не вдаваться в религию и узко специализированные фичи, не нужные ~95% пользователей. Лично я иногда использую snapshot’ы ОС, когда хочется что нибудь поковырять ручками. Очень удобно на них возвращаться.

<sarcasm>Исчерпывающее объяснение, умываю руки...</sarcasm>

Для отказоустойчивости заведи raid 0

Для отказоустойчивости только таки и никак иначе.

Для отказоустойчивости заведи raid 0. С него же и загружайся.
Для отказоустойчивости

Для уменьшения отказоустойчивости?

Опечатался, конечно имелось в виду raid 1. Это для тех кто не понял.

Жёсткие диски и «производительность» уже давно нет смысла упоминать в одном абзаце

Имеет, в случае сравнения производительности в одних жестких с другими, или одних ядер с другими, если фс на HDD.

Имеет только с академической точки зрения. С практической — нет.

Ну вот выяснил ты, что под некоторым паттерном нагрузки один hdd i/o стек быстрее другого на 30%. Дальше то что?
Пойдёшь строить систему, отталкиваясь только от этого, забив на остальные факторы?

Бессмысленно. Отрыв первого попавшегося ssd стека придётся измерять в порядках.

один hdd i/o стек быстрее другого на 30%. Дальше то что?

Буду использовать более быстрый на практике.

Или ты уже отказался от журнала, и сидишь на ext2, или шлангуешь.

ext4 с журналом, брат жив

А что объяснять? LVM добавляет в стек хранения данных качественно новую функциональность. Какую качественно новую функциональность даёт zvol?

Возможность делать снапшоты на нижележащих ФС, в которых такого функционала нет. Да, для этого ФС придется отмонтировать, ну так это-то как раз понятно...

LVM тоже умеет в снапшоты, вот только их производительность и налагаемые ограничения убивают на корню всё желание пользоваться этим для чего угодно, кроме как монтирования в отдельное место, снятия бэкапа и удаление снапшота.

с журналом

Ну вот, а обещал всегда выбирать более быстрое.

Не в ущерб журналированию. «всегда» я не говорил.

Ты контекст разговора помнишь? Zvol у нас якобы «киллер-фича» zfs. А снапшоты — это заслуга copy-on-write механизма, а не zvol. Они есть и на других файловых системах без zvol.

Вот есть у меня zfs с баззвордом и btrfs без баззворда. Что такого можно сделать в первом случае (касательно размещения образов других файловых систем), чего нельзя сделать во втором?

Что такого можно сделать в первом случае (касательно размещения образов других файловых систем), чего нельзя сделать во втором?

Снижение накладных расходов. Вот есть у тебя RAW-образ виртуальной машине в файле(на какой-либо ФС, не принципиально), есть такой же образ в виде LVM-тома. Если ты считаешь что разницы между ними нет, значит ответ на твой вопрос такой же и дискуссию надо сворачивать.

В btrfs есть nocow, но оно немного не то делает.

Снижение накладных расходов.

Подробнее. Какие накладные расходы снижаются, насколько, в сравнении с чем и за счёт чего?

Если ты считаешь что разницы между ними нет

Конечно, есть: одно на LVM, другое нет :)

Конечно, есть: одно на LVM, другое нет :)

А зачем в принципе хранить образ ВМ на LVM? Предположим, что снапшоты нам не нужны. В чём тогда преимущество работы с блочным устройством нежели с файлом?

А зачем в принципе хранить образ ВМ на LVM? Предположим, что снапшоты нам не нужны. В чём преимущество работы с блочным устройством нежели с файлом?

Вопрос поставлен некорректно, после подключения файла к петлевому драйверу он становится блочным устройством.

Вопрос поставлен некорректно, после подключения файла к петлевому драйверу он становится блочным устройством.

И на классических ФС к файлу приходит его величество журнал :-)

И на классических ФС к файлу приходит его величество журнал :-)

Ты же знаешь, да, что большинство журналируемых ФС журналируют только метаданные?

Спрошу ещё раз: какие конкретно накладные расходы снижаются при использовании zvol по сравнению с файлом-образом на петлевом устройстве в любой другой ФС схожей конструкции? Давай без этих загадок.

какие конкретно накладные расходы снижаются при использовании zvol по сравнению с файлом-образом на петлевом устройстве в любой другой ФС схожей конструкции? Давай без этих загадок.
журналируют только метаданные?
метаданные

this

Не забывает, например, что в ZFS по умолчанию для файлов считаются чексуммы

И что?

И что?

Ты считаешь, что подсчет чексумм не является накладными расходами? И что его сознательное(подчеркиваю, сознательное) отключение для повышения производительности там, где это оправданно - не нужно(как например, отключение журнала у ext4 для некоторых профилей использования)? Ну ок...

Ты хочешь сказать, что zvol отключает подсчёт чексумм? И всё? Или ещё что-то?

Я хочу сказать, что разделение файл/блочное устройство для тех же виртуальных машин придумали не дураки. И то, что это разделение вполне себе актуально как для классических ФС с журналом, так и для новомодных.

Да, я пожалуй соглашусь, что прирост производительности в новых ФС будет небольшой(максимум проценты), потому что CoW никуда не девается(случай с nocow для btrfs пока опустим, т.к. при отключение CoW теряется или становится хуже большая часть фич ради которых возня с новыми ФС вообще затевалась)

Ты можешь хотя бы раз ответить на вопрос прямо, а не разговаривать загадками, как ябблофанаты?

Что за разделение файл/блочное устройство? Разделение файл/блочное устройство — это тупо линуксовая (юниксовая) абстракция. Под ним может стоять всё что угодно.

Если zvol отключает чексуммы, то это эквивалент nodatacow. И судя по тому, сколько времени я вытаскивал из тебя этот простой факт — базз-фактор с этими зволами неприлично высок.