Может ли ZFS снепшоты как LVM в Proxmox?

Иллюстрация неправильная, у ZFS "ветвление" идёт от данных (датасета/ФС), а не от их состояния (снапшотов/букмарков), потому оно линейно.

// Не представляю зачем может понадобиться ветвление снапшотов…

Что значит неправильная, это скриншот из интерфейса Proxmox и таков его механизм работы с ZFS по умолчанию.

https://avatars.mds.yandex.net/get-zen_doc/35845/pub_5be598d9d6751400ab787906_5be6d353d23a9a00aaff792c/scale_1200

С LVM он допускает ветвление, может и с ZFS можно, но вопрос как. Ветвление удобно при подготовке установочных образов ОС, это не для работающего сервиса.

таков его механизм работы с ZFS

Proxmox не может работать с ZFS так, как не позволяет с собой работать ZFS.

Каждый последующий снапшот делается не от предыдущего снапшота, а от состояния данных на момент создания снапшота, потому ветвление будет не таким:

ZFS
└─ @snap001
   └─ @snap002
      └─ @snap003
         └─ @snap00N

А именно таким:

ZFS
├─ @snap001
├─ @snap002
├─ @snap003
└─ @snap00N

И никак иначе.

С LVM он допускает ветвление, может и с ZFS можно, но вопрос как.

Неможно. Никак. ☺

Как вариант можно делать клон снапшота и делать снапшоты клона и так в глубину сколько угодно, но это достаточно дорогая операция.

Ветвление удобно при подготовке установочных образов ОС

Я так подготавливаю рабочие контейнеры/виртуалки. ☺ Метод описан выше. Как это делать в интерфейсе Proxmox я не знаю, у меня вообще нет Linux (разве что в виртуалках иногда).

Proxmox не может работать с ZFS так, как не позволяет с собой работать ZFS

Я не правильно выразился. Иллюстрация взята из GUI, так он отображает, это древо призвано отображать не структуру датасета, а эволюцию ВМ. Но суть понятна, не может, спасибо!

Наверное тогда попробую натянуть btrfs на LVM. Очень уж удобно работать в рамках дерева, а zfs хотелось только из желания иметь защиту от скрытых повреждений.

это древо призвано отображать не структуру датасета, а эволюцию ВМ

На самом деле такое "дерево" можно сделать только клонировав снапшот, сделав снапшот клона, клонировав новый снапшот, снова клонировать и снова создать снапшот и так в глубину. Сами по себе снапшоты не образуют дерева, они абсолютно линейны. Поэтому я зацепился за иллюстрацию — она описывает алгоритм работы с клонами, а не со снапшотами (хотя под капотом использует только снапшоты, полагаю).

btrfs

Если не нужна надёжность, то можно. Я бы в прод Btrfs толкать не стал. У одних она годами просто работает, у других сыпется на ровном месте.

Ну и да: Btrfs тоже не умеет в дерево, насколько я помню.

Под капотом да, в обоих случаях снепшоты и вопрос только в умении ими жонглировать. В ручную конечно можно клонами, но деревом в пределах одной ВМ чертовски удобно: 4 кнопки - создать, удалить, откатить и править снимок, возможность ставить комментарии к снимкам и всё это на одном полотне - киллерфича. Умения в дерево от btrfs и не требуется, этим по всей видимости и занимается LVM, в данном случае там поверх него вообще ext4. Хотя сам проксмокс стоит в проде, эта виртуальная машина в работе не используется, это чисто сборочно-тестовый полигон и если с ним что-то пойдёт не так никто плакать не станет, будет отформатирован и построен заново, возможно уже по другому. Подготовленные ОС после всех процедур отправляются на zfs-пул, где их ждёт вечная жизнь.

C btrfs не думаю что всё так плохо, я тоже про неё плохого слышал, но с другой стороны это одна из двух файловых систем поддерживаемых Synology, и должен же её ктото в конце концов обкатывать :)

В ручную конечно можно клонами

Да можно всё это обернуть как надо, только никто этим заниматься не станет: клоны — достаточно дорогая операция (ввиду zfs promote).

4 кнопки - создать, удалить, откатить и править снимок

Ну… спорно. Все возможные операции выводить в юзерфрендли во-первых дорого, во-вторых непредсказуемо, ну и в-третьих требует знаний. Удобно — да, но гибкости нет. Поэтому я Proxmox не люблю, он слишком… для тупых, грубо говоря. ☺

эта виртуальная машина в работе не используется

Ну тогда туда хоть чёрта лысого можно натянуть. В любом случае не проверишь — не узнаешь к какой группе юзеров ты относишься, к тем у кого Btrfs просто работает, или к тем у кого она разваливается. ☺

Наверное тогда попробую натянуть btrfs

Btrfs тоже умеет защиту от скрытых повреждений, разумеется.

btrfs на LVM

Btrfs на LVM? Зачем? Это какое-то извращение. Btrfs умеет всё что позволяет LVM, причём производительнее и эффективнее. А вот стабильность и производительность такого бутерброда, мне кажется, оставит желать лучшего.

Btrfs умеет всё что позволяет LVM, причём производительнее и эффективнее.

Меня тут уже потроллили насчет swap-а на btrfs? С 5.0 стало получше, но всё равно список ограничений удручает. Выделить отдельный subvol без снапшот - это фигня. А вот то, что нужно засунуть отказоустойчивость в жопу - это уже проблема.

То есть к btrfs желателен еще 1 раздел для swap. Если идет миграция с классических фс поверх lvm+swap на lvm - то как быть?

Я сам сторонник идеи «swap нинужон(окромя как для гибернации), нужно оперативы побольше», но к сожалению на работе приходится работать с тем что дают.

А вот то, что нужно засунуть отказоустойчивость в жопу - это уже проблема.

Какую отказоустойчивость?

То есть к btrfs желателен еще 1 раздел для swap. Если идет миграция с классических фс поверх lvm+swap на lvm - то как быть?

Ты не у того человека спрашиваешь. Я в принципе не пользуюсь своп-файлами, потому что с ними через жопу гибернация работает и это в рамках сложившейся линуксовой архитектуры парой строчек не исправишь (по-человечески).

Какую отказоустойчивость?

It does not support swap files on file systems that span multiple devices.

Я так понимаю это относится в том числе к случаям btrfs RAID-1

Я в принципе не пользуюсь своп-файлами, потому что с ними через жопу гибернация работает и это в рамках сложившейся линуксовой архитектуры парой строчек не исправишь (по-человечески).

Бритва Линуса? Уважаю(серьезно, не сарказм)...

Btrfs на LVM? Зачем?

Потому что в проксмокс btrfs в качестве хранилища можно подключить только в виде предварительно смонтированной директории. В таком режиме снимки из GUI не доступны. ZFS можно подключать как директорию и как пул, снимки доступны во втором случае, но с озвученным ограничением. Так что похоже остаётся только LVM с любой файловой системой на нём, а с учётом желания иметь контрольные суммы круг сужается до btrfs.

что там со свапоп на btrfs вообще не важно, это просто хранилище для образов ВМ.

c btrfs на LVM вышел облом. Древовидные снепшоты доступны только на LVM-Thin, Как я понял пул разреженных томов который подключается в проксмокс в качестве хранилища, блочным устройством в /dev не представлен и напрямую не используется, и стало быть отформатировать его в btrfs никак.

А ты сделай ZFS on LVM, и будут у тебя снапы и ZFS и LVM. Гы…

На этой картинке, имхо, показаны инкрементальные снапы ZFS.

А не, там отправка инкрементальная.

Наверное тогда попробую натянуть btrfs на LVM. Очень уж удобно работать в рамках дерева, а zfs хотелось только из желания иметь защиту от скрытых повреждений.

Хм, дык я чито вам мешает использовать LVM поверх zvol?

А ты сделай ZFS on LVM, и будут у тебя снапы и ZFS и LVM. Гы…

Наоборот, только LVM on ZFS ZVol.

Поэтому я Proxmox не люблю, он слишком… для тупых, грубо говоря.

А что вместо него?

Vagrant? OpenNebula?

Лучше научите, как этот проксмос запустить без системD ?

OpenNebula?

Оно ж Linux-only.

Может сразу без кернела?

Ну или так.

Хм, дык я чито вам мешает использовать LVM поверх zvol?

Действительно, линукс великая штука! я почему то сразу начал думать с другой стороны, сначала lvm, а поверх него zfs, и это ожидаемо фейл. Попробую наоборот, наверное сработает.