LINUX.ORG.RU

Вопросы по использованию ZFS в Proxmox

 ,


1

1

Всем привет!

Я запустил сервер с Proxmox. Системный диск на NVE диске.

Для моего проекта нужно достаточно большое хранилище (в перспективе 15-30 Тб). Но пока денег хватило купить только 1 диск на 3 Тб.

Хотелось бы организовать хранилище таким образом, чтобы можно было бы безболезненно его расширять и менять его конфигурацию (уровень RAID).

Например, сейчас есть 1 диск 3 Тб - делаю размер хранилища 3 Тб, без избыточности и запускаю проект. коплю деньги)

Далее докупаю ещё 1 диск 3 Тб - добавляю его к первому диску и переконфигурирую хранилище на RAID1 (без потери существующих уже на тот момент данных на первом диске).

Потом покупаю, например, ещё 2 диска, добавляю их к существующим - переконфигурирую всё в RAID5, при этом размер хранилища увеличивается с 3 до 9 Тб. И т.д.

Возможно ли так будет сделать используя ZFS?

Что посоветуете? Как лучше сейчас разметить первый диск 3 Тб - ZFS, LVM, LVM-thin?

Ответ на: комментарий от Black_Shadow

сам успокойся, собирать твои ответы по всему форуму мне заняться больше нечем?

понос это твоя демагогия.

я тебе и привел аргументированный ответ.
ты вместо контраргументов полез обсуждать термины.

я уже сделал вывод - ты нуб.
не старайся теперь обелиться.

Minona ★★☆
()
Ответ на: комментарий от Minona

тебя беспокоит, это ведь ты потребовал аргументы.

Нет.

я тебе и привел аргументированный ответ.

Где? Ты ответил, что ZFS говно, потому что в ней есть raidz. Но raidz никто использовать не собирался.

ты вместо контраргументов полез обсуждать термины.

Разница между ZFS и raidz довольно важна в данном контексте. И это не просто мои придирки.

я уже сделал вывод - ты нуб.
не старайся теперь обелиться.

Да мне и не надо, никому не интересно твоё мнение, а посторонние и так видят, что ты неадекват.

Black_Shadow ★★★★★
()
Ответ на: комментарий от Black_Shadow

еще раз, ты читать не умеешь и проблемы у тебя с пониманием.
брось свои попытки отмыться, сэкономь байтики в базе лора.
твое мнение еще менее интересно - ты нуб - смирись с этим.

Minona ★★☆
()
Ответ на: комментарий от Minona

Ну если я нуб по той причине, что ты не можешь сформировать свои мысли, то да, я нуб. Ты за всё это время не сказал ничего, кроме того, что raidz либо медленный, либо расходует много места. Спасибо, но это и без тебя все знали.

Black_Shadow ★★★★★
()
Ответ на: комментарий от Black_Shadow

ты нуб, потому что придумываешь свою интерпретацию написанного, какую тебе удобно.
ты нуб, потому что вместо контраргументов попытался подемагогить.

Ты за всё это время не сказал ничего, кроме того, что raidz либо медленный, либо расходует много места.

я сказал не так, а то, что ты это понял так - у тебя проблемы с пониманием, о чем я тебе уже говорил.

Minona ★★☆
()
Ответ на: комментарий от Black_Shadow

В LVM возможны любые конвертации. Но LVM менее надёжен, чем ZFS, и в production отказоустойчивый LVM мало кто использует.

@Black_Shadow, у меня пока нет возможности купить для этого сетевого хранилища диски для организации зеркала. Поэтому на начальном этапе проекта хранилище будет работать без отказоустойчивого режима (просто одиночные диски).

При возможности покупки дополнительных дисков, буду их испльзовать, прежде всего, для бекапа этого. А у же во вторую очередь - устройство зеркал.

Как вариант, хочется организовать хранилище как пул ZFS. В него легко можно будет добавлять дополнительные диски.

Смущает то, что эти диски видимо будут работать в режиме stripe - и если один диск выйдет из строя, весь пул станет недоступным.

Возможно ли как то этого избежать?

Garik368
() автор топика
Ответ на: комментарий от Garik368

Добавить диск в существующий ZFS пул можно разными способами.
Для страйпа: zpool add <pool-name> <new-device-name>.
Для зеркала: zpool attach <pool-name> <old-device-name> <new-device-name>.
Таким образом, если твой пул является страйпом из нескольких дисков, добавив к каждому из дисков по зеркалу, ты получишь RAID10.

Black_Shadow ★★★★★
()
Последнее исправление: Black_Shadow (всего исправлений: 3)
Ответ на: комментарий от Black_Shadow

Таким образом, если твой пул является страйпом из нескольких дисков, добавив к каждому из дисков по зеркалу, ты получишь RAID10.

Как я написал, для зеркал пока нет бюджета, но емкость хранилища надо будет расширять. Поэтому диски в хранилище будут работать без отказоустойчивости.

Но страйп это ещё хуже, чем просто одиночный диск без отказоустойчивости, ненадёжность - в раза выше(((

Как я понимаю, в LVM, когда добавляют диск через команду vgextend, диски в группе томов не начинают работать в режиме stripe.

Garik368
() автор топика
Ответ на: комментарий от Garik368

Как я понимаю, в LVM, когда добавляют диск через команду vgextend, диски в группе томов не начинают работать в режиме stripe.

Да.

Black_Shadow ★★★★★
()
Ответ на: комментарий от Garik368

если тебе нужна отказоустойчивость, расширяемость и на ZFS, у тебя один вариант:
делаешь пул на 1 диске
когда появятся деньги на второй - добавишь его в зеркало
далее можно расширять уже парами.

если отказоустойчивость не нужна:
делаешь одиночные ФС на дисках и объединяешь чем нибудь типа https://en.wikipedia.org/wiki/UnionFS

Minona ★★☆
()
Ответ на: комментарий от Minona

если отказоустойчивость не нужна: делаешь одиночные ФС на дисках и объединяешь чем нибудь типа https://en.wikipedia.org/wiki/UnionFS

А не проще тогда просто использовать LVM? Добавляешь новые диски командой vgextend и все дела)…

Если в этом случае один из дисков вылетит - как это будет выглядет с точки зрения пользователя? Вся информация на томе будет недоступна или только та, которая хранилась на упавшем диске?

Garik368
() автор топика
Ответ на: комментарий от Garik368

Вся информация на томе будет недоступна или только та, которая хранилась на упавшем диске?

мне здравый смысл подсказывает что вся.
но как там на самом деле — хз.

Minona ★★☆
()
Ответ на: комментарий от Garik368

Если в этом случае один из дисков вылетит - как это будет выглядет с точки зрения пользователя? Вся информация на томе будет недоступна или только та, которая хранилась на упавшем диске?

Группа томов не запустится, если хотя бы 1 физический том будет недоступен, но её можно форсированно активировать, тогда будут недоступны те логические тома, у которых хотя бы кусок был на отсутствующем физическом томе. Остальные логические тома можно будет прочитать.

Black_Shadow ★★★★★
()
Ответ на: комментарий от Black_Shadow

но её можно форсированно активировать, тогда будут недоступны те логические тома, у которых хотя бы кусок был на отсутствующем физическом томе. Остальные логические тома можно будет прочитать.

Можно как-то pool ZFS настроить, чтобы подобным образом работал? (без stripe)

Garik368
() автор топика
Ответ на: комментарий от Minona

делаешь одиночные ФС на дисках и объединяешь чем нибудь типа https://en.wikipedia.org/wiki/UnionFS

Я почитал про UnionFS - как я понял, что каждый диск (отдельная ФС) там должен иметь собственную поддиректорию в общей директории.

Мне же нужно хранилище без каталогов внутри, посто одна папка, например /data

Была, например, емкость этой папки 3Тб, присоединил ещё один диск - папка и её структура осталась прежней, но её вместительность уже 6Тб.

Garik368
() автор топика
Ответ на: комментарий от Black_Shadow

Ещё пара вопросов появилась

https://wiki.archlinux.org/title/ZFS/Virtual_disks#Linear_span

в этих примерах пул делают из «сырых» дисков.

Всё же, из чего лучше собирать пул:

а) «сырые» диски

б) диск с одной партицией gpt

в) другие вариант (партиция, выравненная по геометрии, например)

  1. нужно ли как-то специально подготавливать диск перед добавлением его в пул - заполнить всё пространство нулями, например, провести какую-то процедуру инициализации или т.п.

  2. для SATA диска установить ashift=12?

Garik368
() автор топика
Ответ на: комментарий от Garik368

Если добавить пустой диск в пул целиком, ZFS автоматом создаст на нём GPT разметку. Так что, как хочешь. Выравнивать, конечно, надо. По поводу ashift - просто всегда указывай 12.

Black_Shadow ★★★★★
()
Последнее исправление: Black_Shadow (всего исправлений: 1)
Ответ на: комментарий от Garik368

Вроде в Proxmox другой пакет ZFS?..

С чего другой то, емнип, щас все на одной базе сидят - OpenZFS.
Потерпи, тише едешь - дальше будешь. 😏

Minona ★★☆
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.