Raid0 на zfs в ProxMox VE5.1

Если надёжность хранения не требуется, можешь и нулевку ставить. Вылет диска и привет. 5 рейд тоже не фонтан без диска горячей замены. Разница в скорости с твоей схеме никакущая, а вот в надёжности большая.

RAID0 вообще не лучшее решение. Отвалится хоть один диск из массива и капец данным.

Понимаете, тут будет архив систем видео. По сути это не архиважно т.к. объем меньше месяца и например мой hp gen10 уже 3 года молотит в нулевом найдете с обычными sata дисками. Причем диски которые сейчас используются (wd gold, wd red) считаются более надёжными. Единственное, что шеф поставил задачу реализовать объем хранения больше. Сейчас из 3 дисков по 2тб хочу получить райд0 равный 5.6тб. ну и естественно со временем подтянуть на сервер больше памяти и второй виртуализирую, сделаю годы, на которые буду кидать архивы.
Сейчас же задача реализовать на «том что есть» чтобы убедить начальника вкладываться в виртуализацию и модернизацию(задача скорее больше политическая))
Ну и естественно чтоб все не грохнулась при вводе в эксплуатацию.
Значит оставляем zfs0 на единственном 1тб диске или лучше выбрать xfc или ext4?

#zpool create -f -o ashift=12 RAIDZ0 /dev/sdb /dev/sdc /dev/sdd
#zfs set compression=lz4 RAIDZ0
zfs primarycache=all RAIDZ0
Создаём в вэб морде в разделе сторедж контейнер zfs который монтируемых к ВМ куда сыпится база с видео.
Если есть схема надёжнее/производительнее прошу поделиться мнением.

Сейчас hp сервант молотит на 4 дисках 3.5тб и не хватает. Для разгрузки выделили «копейки» хватило лишь на dell t30 (даже не стоечный) и 4 диска.
Ну конечно хочется чтоб более менее было надежно, хотябы на года 3, потом можно будет raid5 из 4 или 8тб дисков собрать. Сейчас главное начать. Да и исходя из Вики проксмокса памяти нужно конский много по 1гб на 1тб zfs и учесть что для win2003 c sql базой нужно минимум 4гб. Ужимаюсь сильно.

Ну если твой хп молотит, то конечно делай.

В том и проблема, что молотит то он в ntfs без виртуализации с 8гигами памяти на борту
А тут проксмокс для меня малознакомый(2 месяца гонял esxi, но так и не смог завести нормально драйвер под контроллер дисков)
А с zfs я мало знаком, вот и курю мануалы.

Так просто не используй zfs и всё будет хорошо.

Что значит «так просто не испошьзуй»?
1. Аргумент за zfs на 1тб харде на котором установлен ProxMox это всякие плюшки в том числе виде снепшотов и т.п.
2. Аргумент за стрип из трёх 2тб хардов это размер 5.6тб плюс скорость чтение/запись и надёжность относительно других из семейства.
Если я не прав, готов построить как будет лучше, только скажите что должно быть.

Зачем снапшоты для видеоархива ? LVM-thin тоже умеет в снапшоты, работает стабильно, не требует тонкой настройки и горы памяти.
Raid0 это не про надёжность, ну тебе уже выше писали.
Хочешь raid0 - делай raid0, в этом тебе поможет mdadm.

1. Снепы нужны так как на 1тб будет небольшая интербейса база, но там сделаю буквально 100гб контейнер. И планирую в будущем поднять несколько год и настроить репликации и другие плюшки, а как понял реализованно будет хорошей именно на zfs.
2. По поводу тонких томов, то я с ними уже сталкивался достаточно давно и наступил на грабли по поводу того, что место в пуле томов может кончится, может привести к печальным последствиям. И это мне дорого стоило, остался какой-то осадок. Видео архив легко может разрастись и если планировщик затупится и не грохнится архив с видео за определенный день, то я рискую наступить на те же грабли. Поправьте если я ошибаюсь.
3. По mdadm хочу прояснить вот что, а разве проксмокс «из коробки» можно установить на софт рейд? Если всё ещё нет, то ввиду чего есть два варианта развития событий - ставить Proxmox на sda и после установки уже собирать массив(ы), либо устанавливать Debian и на него уже «сверху» накатить пакеты и ядро из репозитория Proxmox, но считаю это тем ещё геммороем. Как обычно встанет вопрос с переносом таблиц разделов и их самих, переносом LVM и т.д.
Я слишком стар для этой темы, и хотел бы меньше лезть в дебаг, а из-за ограниченного времени развернуть все за 1-2 дня

Имея такую слабую дисковую подсистему, думаю и ext4+LVM вполне стабильное и рабочее решение. Плюс ZFS надо памятью кормить, очень за это переживаю. Но и опыт с ext4+matrix особо не впечатлил когда каждый день ровно ВМ падала.

Выстрелил себе в ногу с тонким lvm не прочитав документацию.Тепрь хочешь так же зафейлиться с zfs ? В zfs нюансов гораздо больше. Никогда прокс с диска не ставил. Ставлю дебиан, потом пакеты прокса ставлю. Инструкцию по установке можешь посмотреть на сайте прокса.
В дебиане нет никаких проблем с установкой на софтрейд.

Но говорят есть проблемы с производительностью, куча ненужного встаёт.
Можете таблицу разделов показать? Как у вас реализованно и багов не наблюдалось, завтра развернуть и отпишусь.

У меня shared storage, посему просто lvm, вместо lvm-thin.
Опиши сколько дисков и каких в серваке будет - предложу как разбить.

Dell poweredge t30
8gb память
-1тб WD RED на него поставлю debian9+proxmox, там будут 2(или 1 зависит от ресурсов) виртуальная машина+ в будущем контейнер на 100гб с интербейсом.
-3 диска по 2тб WD Gold из которых собираю raid0 на борту которого будет ТОЛЬКО sql+ видеоархив.

А не лучше поставить 4*2ТБ диски и создать один-два раздела на raid10 для системы и контейнеров ?

У меня всего 3х2тб и 1х1тб. Больше к сожалению нет. А из того что есть что посоветуешь?

Так у тебя при вылете любого из дисков всё помрёт. Особенно при вылете терабайтного диска: не будет прокса, не будет виртуалок.
Можно всё-таки обезопаситься, создав raid1 или raid10 для важных данных, типа системы и контейнеров.
Ты как хочешь сделать, чтоб было правильней или чтоб было максимально много места под видеоархив ?

Ну я конечно хочу сделать правильно, я исчерпал весь бюджет на покупку. Ну терабайтик не должен помереть ближайшее время, а в будущем настрою репликации между нодами, буду делать снепы там где 1тб. Так то можно и купить райд контроллер, накатить esxi и не париться. Но приходиться делать из того что есть. Значит чаще буду бекапы 1тб делать.

Я бы сделал raid1 для системы, даже хард ещё такой-же на 1тб есть, но портов sata на плате всего 4, даже по CD не осталось. Бюджетные ко так, dell..

Mdadm массивы можно делать на разделах. А занчит можно например сделать raid0 на 4х дисках + raid0 на 3х дисках + raid 1 или raid 10 по вкусу.

Понятно, в итоге какая должна быть таблица разделов?
#mdadm --create /dev/md0 --level=0 --raid-devices=3 /dev/sdb /dev/sdс /dev/sdd
#cat /proc/mdstat
#mkfs.ext4 /dev/md0
В итоге мы уходим в ext4 или как?

Что-то я вижу, что ты не понял о чём я написал.
Поверх рейда, допустим это будет блочное устройство /dev/md0, можно создать lvm или любую фс, так будто это обычный диск.

Хорошо, если сам поднимал отказоустойчивый proxmox с которым небыло проблем с производительностью и не посыпалось всё через месяц. Какие были фс. Какую сделать мне фс на 1тб с самим дебаном+проксмокс и какая фс будет на моем raid0 после mdadm. Без пнилюдий так сказать, чтоб просто завтра взять и накатить

Под систему lvm с ext4, под всё остальное lvm-thin.

Если я правильно понял по таблице разделов. После того как я наступил на грабли lvm, я так и не разобрался, а просто пересобрать все:
http://rgho.st/6MThsMxwH/image.png

Весь день накатывают намвиртуалки то что советуют в сабже и не пойму почему при использовании thin volume происходит падение скорости линейной записи на него в 2 раза по сравнению с «классическим» LV. Возникает вопрос, а какой аргумент тогда за thin volume? Может сделать raid0 c ext4 и не париться? На систему оставить lvm из-за плюшек всяких. Немного запутался и с таблицей разделов и как должно быть организованно(файлы подкачки, свопы и т.п.) моя таблица разделов не состоятельна?

ЕМНИП тонкий lvm теряет производительность внутри виртуалок сильно. Завтра гляну таблицу разделов, сегодня глянул, отвдёкся и забыл.

Boot можно в lvm сунуть. Раздел подкачки не обязателен, после установки можно подключить файл желаемого размера.

А как рассчитать размер metadata, есть же thin_metadata_size как им считать?

http://rgho.st/6PhCyrKTQ/image.png
Вроде собрал конфиг, простите за глупый вопрос, а какую точку монтирования указать для md0 если на диске 1тб для системы и виртуалок уже есть /boot и / чтобы сам proxmox увидел. Вебморда не видеть, хоть тресни, хоть и смонтировал и кансоль отдает информацию и форматнул в ext4

Не понял вопроса.

1. На сколько правильно разбивка mdadm
Своп кстати я сделал потом на колличество оперативной памяти.
2. Смонтировал md0, но в вебморда если идти в стопам его нигде нет, может перед установкой есть хитрости с точкой монтирования.
Документацию я покупал на сквозь на сайте проксмокс

1. На такое система поставится, куда ей деваться. Только я не вижу смысла ставить систему на raid0.
О, вспомнил, под /boot желательно raid1 сделать, т.к. grub не умеет то ли raid0 то ли raid10.
2.Тут я не понимаю что написано. Переформулируй подробней пожалуйста.

1.я систему на raid0 не ставлю, я на lvm+еxt4 ставлю.
Первый раз такое слышу, мне raid0 только под хранилище базы нужен.
2. Мой созданный raid0+ext4 сам proxmox в веб-интерфейсе не видит. Вот и спрашиваю, может перед установкой неправильно накатил конфу.
Datacenter->Storage->нет того что нужно

Криво посмотрел )
R0 подмонтирован ?

Да, конечно.