LINUX.ORG.RU

Вопросы по использованию ZFS в Proxmox

 ,


1

1

Всем привет!

Я запустил сервер с Proxmox. Системный диск на NVE диске.

Для моего проекта нужно достаточно большое хранилище (в перспективе 15-30 Тб). Но пока денег хватило купить только 1 диск на 3 Тб.

Хотелось бы организовать хранилище таким образом, чтобы можно было бы безболезненно его расширять и менять его конфигурацию (уровень RAID).

Например, сейчас есть 1 диск 3 Тб - делаю размер хранилища 3 Тб, без избыточности и запускаю проект. коплю деньги)

Далее докупаю ещё 1 диск 3 Тб - добавляю его к первому диску и переконфигурирую хранилище на RAID1 (без потери существующих уже на тот момент данных на первом диске).

Потом покупаю, например, ещё 2 диска, добавляю их к существующим - переконфигурирую всё в RAID5, при этом размер хранилища увеличивается с 3 до 9 Тб. И т.д.

Возможно ли так будет сделать используя ZFS?

Что посоветуете? Как лучше сейчас разметить первый диск 3 Тб - ZFS, LVM, LVM-thin?

Ответ на: комментарий от Black_Shadow

а сконвертировать с одиночного диска ZFS сразу на raidz можно? (минуя зеркало)?

В LVM можно сделать, как я хочу? одиночный диск –> зеркало –> raidz или одиночный диск –> raidz

Garik368
() автор топика
Ответ на: комментарий от Garik368

В LVM возможны любые конвертации. Но LVM менее надёжен, чем ZFS, и в production отказоустойчивый LVM мало кто использует.

Black_Shadow ★★★★★
()
Ответ на: комментарий от Black_Shadow

а можно на ZFS так сделать (расширение хранилища по шагам):

  1. есть 1 диск 3 Тб => хранилище 3 Тб
  2. +1 диск 3 Тб => хранилище 6 Тб (не зеркало)
  3. +2 диска 3 Тб => хранилище 6 Тб (зеркало) и т.д. ?
Garik368
() автор топика
Ответ на: комментарий от anonymous

можно

ты разрешил ему сделать это?!

А знает ли уважаемый вопрошающий сколько денег с него возьмёт Вахтанг Аркисович из будки за «шаурмой» на местном базаре за восстановление данных с диска под зиэвсёй да ещё в рэйдзэ? Ни зиэфся, ни какая угодно рэйда не освобождают начинающего «проекты» от священной обязанности делать бэкапы. Я бы взял пентиум четыре с диском гигобайт на двадцать и сделал бы там парочку рэйдов десятых, да пробы попробовал. А уж потом, когда бы просветилось осенение, наметил бы в блокнотике тезисы, как стратегию по случаю «а вдруг я когда-нибудь куплю к этому пентиуму четыре ещё один диск на 20 гигопайт».

anonymous
()
Ответ на: комментарий от Garik368

Можно, но автоматической перебалансировки нет, то, что уже записано, перебалансируется только при последующей перезаписи.

Black_Shadow ★★★★★
()
Ответ на: комментарий от anonymous

прочитал много разных мануалов по этим темам, есть мнение, что одиночный диск в ZFS иметь опаснее, чем одиночный диск в LVM - т.к. в при записи в LVM том данные на диске записываются более-менее последовательно, а в ZFS - запись происходит всё время в свободное место, в итоге по диску разбросаны малопредсказуемо(

Garik368
() автор топика
Ответ на: комментарий от anonymous

понятно, что для отказоустойчивости надо делать бекапы, но диски для бекапов и для зеркала смогу купить не сразу…

Garik368
() автор топика
Ответ на: комментарий от Ien_Shepard

да, всё делаю в виртуалке. Но вопрос - как организовать хранилище не на 20Гб, а на 20ТБ в перспективе, чтобы потом всё не переделывать. Потому что негде взять диски для временного хранения такого большого объёма данных, при перестроении рабочего хранилища…

Garik368
() автор топика
Ответ на: комментарий от Black_Shadow

ещё вопрос по поводу ashift - читал в нескольких местах, что оставить ashift по умолчанию не очень хорошая идея.

Я планирую использовать новые диски WD Red Plus - какое значение ashift для них лучше установить?

Garik368
() автор топика
Ответ на: комментарий от Garik368

Проще всего сразу поставить ashift=12 (дефолтное значение в инсталере proxmox), и не думать. Даже если в пуле нет дисков с сектором 4Kb. Если вдруг потом появятся, не придётся заново собирать пул.

Black_Shadow ★★★★★
()
Последнее исправление: Black_Shadow (всего исправлений: 1)
Ответ на: комментарий от Black_Shadow

ещё вопрос - у меня на мат плате два разъёма M.2 для установки накопителей NVMe, у одного из них пропускная способность полная, а у другого только 50%.

Возможно ли использовать оба два этих накопителя для организации зеркала? Или будут проблемы?

Garik368
() автор топика
Ответ на: комментарий от DALDON

планируется эти диски использовать для хранения видеоконтента. С одной стороны - можно сказать, что это NAS. С другой стороны - том на таких дисках (zfs или lvm) передаётся как диск в виртуальную машину. В чём вы видите здесь потенциальную проблему?

Garik368
() автор топика
Ответ на: комментарий от Garik368

Главное что бы диски не уходили в сон. Ну и по надежности, я все нафиг красные выбросил, купил Gold, хотя и это то ещё Г. :) Ну и скорость 5400. TLER вроде как они поддерживают.

Красные не могут стоять в сервере где больше 8ми жестких дисков (вибрации).

DALDON ★★★★★
()
Ответ на: комментарий от Garik368

в LVM том данные на диске записываются более-менее последовательно, а в ZFS - запись происходит всё время в свободное место, в итоге по диску разбросаны малопредсказуемо(

И что? Как это коррелирует с «опасностью» хранения данных?

Psychosis
()
Ответ на: комментарий от Garik368

В случае сбоя диска данные восстанавливать ненужно, данные должны быть на отказоустойчивом raid-е + бэкапы.

Psychosis
()
Ответ на: комментарий от DALDON

Ты чего с ними делаешь. 😏
У меня WD Se уже 40000+ часов видеопотоки пишут. Почти все ещё живые.
Сдохшие меняю на голды.
Последняя закупка была уже из серии DC.

Minona ★★☆
()
Ответ на: комментарий от Black_Shadow

При размере сектора 4к, дефолтном размере блока у zvol 8к, в raidz будет выделяться 16к. То есть место на пуле будет съедать как будто это зеркало.

Minona ★★☆
()
Ответ на: комментарий от Black_Shadow

Прикинь, я знаю как аллокатор в zfs работает. Так что в Гугл иди сам.

ТС там виртуалки собрался делать, vdi на raidz тоже так себе идея.
По iops просядешь.

Я знаю чуваков крутящих оракловые базы на stripe of raidz, но они в отличии от ТС знают что делают.

Minona ★★☆
()
Ответ на: комментарий от Minona

Прикинь, я тоже. И прикинь, в случае виртуалок и zvol тоже можно крутить разные настройки, как на уровне zvol, так и внутри виртуалки. И у LVM тоже есть, что покрутить. Например, при неправильном выборе размера чанка в lvm thin, в некоторых случаях, производительность может упасть на порядок. Так что так себе ты сову на глобус натянул.

И, да, ZFS это не только raidz. Там, где надо IOPS и скорость, которые raidz не позволяют получить, можно использовать, например, RAID10.

Black_Shadow ★★★★★
()
Последнее исправление: Black_Shadow (всего исправлений: 4)
Ответ на: комментарий от Black_Shadow

Крутить ты можешь что угодно и где угодно, результат будет два.
Либо ты получишь оверхед по занимаемому месту, либо просаживаешься по iops. Физику не обманешь. Это я про zfs.

И, да, ZFS это не только raidz.

Спасибо, кэп, век живи, век учись.

Там, где надо IOPS и скорость, которые raidz не позволяют получить, можно использовать, например, RAID10.

Не можно, а нужно.

Minona ★★☆
()
Ответ на: комментарий от Minona

Это я про zfs.

Нет, это ты не про ZFS, а про raidz. Специалист ты наш. И оверхед этот вполне рассчитывается, он прогнозируемый.

Black_Shadow ★★★★★
()
Последнее исправление: Black_Shadow (всего исправлений: 2)
Ответ на: комментарий от Black_Shadow

А raidz это не zfs? Демагог ты наш.

И что с того что он прогнозируемый?
Только идиот будет собирать raidz под виртуалки.

Minona ★★☆
()
Ответ на: комментарий от Minona

А raidz это не zfs? Демагог ты наш.

Конечно, raidz - это не zfs. Raidz - это один из типов vdev, не единственный, чтоб ты знал.

Только идиот будет собирать raidz под виртуалки.

Админа локалхоста спросить забыли.

Black_Shadow ★★★★★
()
Ответ на: комментарий от Minona

Похоже админ локалхоста тут ты. Продолжай жрать кактусы.

Ну конечно. Это видно и по этому треду, и по другим, в которых ты участвовал. Давай-ка расскажи, как на LVM получить контроль целостности данных.

Black_Shadow ★★★★★
()
Последнее исправление: Black_Shadow (всего исправлений: 1)
Ответ на: комментарий от Black_Shadow

Скворечно.
Ты пытаешься демагогить на терминологии. Очевидно что кроме неё ты в zfs не петришь. Lvm мне не интересен, так что кормить тебя нечем.

Minona ★★☆
()
Ответ на: комментарий от Minona

Для тебя в ZFS других типов vdev, кроме raidz, не существует. Я не понимаю, что ты привязался, если топиксиартер уже отказался от raidz, ещё до твоего прихода. Но даже не смотря на это, ты продолжаешь напирать и проповедовать идею, что ZFS говно по той причине, что в ней есть raidz. Узбагойся, никто raidz делать не собирается. Но тебе же все равно, ты увидел ZFS, и тебя затриггерило. Как уже говорили в другом треде, прекрати лезть в темы про ZFS и storage, и корчить из себя специалиста, у тебя не получается. Максимум - ты позориться.

Black_Shadow ★★★★★
()
Ответ на: комментарий от Black_Shadow

сам не позорься, «специалист» локалхостер.
как я уже сказал - кроме терминологии ты в ZFS не петришь.
ТС, судя по следующим его темам, в ZFS таки полез.
флаг ему в руки.

ЗЫ:
а еще у тебя похоже проблемы с пониманием написанного.
я не говорю что ZFS говно, я её сам юзаю.
я говорю что raidz и виртуалки - плохая идея.
можно это нивелировать подключив SSD для slog и l2arc. (но ты этот аргумент не привел, а полез в демагогию, что и выдает в тебе нуба, по верхам почитавшего мануалы.)

всего хорошего...

Minona ★★☆
()
Ответ на: комментарий от targitaj

это вопрос к ТС, откуда я знаю.
может у него в запасе есть корзина на 16 дисков 😏

Minona ★★☆
()
Ответ на: комментарий от Minona

как я уже сказал - кроме терминологии ты в ZFS не петришь.

Сказал человек, не видящий разницы между ZFS и raidz.

а еще у тебя похоже проблемы с пониманием написанного.
я не говорю что ZFS говно, я её сам юзаю.
я говорю что raidz и виртуалки - плохая идея.

ТС отказался от raidz ещё до твоего прихода сюда, но тебе плевать, что кроме тебя raidz здесь никого не беспокоит.

можно это нивелировать подключив SSD для slog и l2arc. (но ты этот аргумент не привел, а полез в демагогию, что и выдает в тебе нуба, по верхам почитавшего мануалы.)

Что ты там собрался нивелировать, если кроме тебя raidz здесь никого не беспокоит? Потом, если я об этом не писал, это не значит, что я об этом не знаю и не пользуюсь.

Black_Shadow ★★★★★
()
Ответ на: комментарий от Black_Shadow

Потом, если я об этом не писал, это не значит, что я об этом не знаю и не пользуюсь.

Это значит что ты нуб.

Сказал человек, не видящий разницы между ZFS и raidz.

вижу, но не скатываюсь в демагогию.

ТС отказался от raidz ещё до твоего прихода сюда, но тебе плевать, что кроме тебя raidz здесь никого не беспокоит.

тебя беспокоит, это ведь ты потребовал аргументы.

Minona ★★☆
()
Ответ на: комментарий от Minona

Это значит что ты нуб.

Успокойся уже. zfs + mongodb, посоветуйте тюнинг (комментарий)

вижу, но не скатываюсь в демагогию.

Да? А как ещё назвать твой понос?

тебя беспокоит, это ведь ты потребовал аргументы.

Конечно. Мне всегда интересно послушать аргументированный ответ.

Black_Shadow ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.