Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs

Однозначного ответа нет. Я бы выбрал mdadm+lvm. Тут главное не забывать про «3-2-1 backup».

mdadm+lvm

А просто средствами lvm это можно сделать? Как я понимаю, в основе у них одни и те же механизмы ядра и в утилитах для работы с lvm есть поддержка разных RAID уровней. Может быть какой туториал посоветуешь по конкретным настройкам? Спасибо!

у меня на файлопомойке ZFS: 8 x 4TB в raidz2 пуле.

ZFS: 8 x 4TB

Ты уже успел оценить надёжность? Была замена дисков?

xfs канешн

xfs канешн

А она сама по себе умеет в RAID?

ZFS: 8 x 4TB в raidz2

Что делать, если место закончится? Можно ещё добавить?

Так ты же програмный делаешь.
Какая разница? Там тупо 1 раздел и всё.
Просто xfs быстрее и мгновенно копирует файлы если они на одном разделе. Типа ссылки делает, а не пишет блоки. Если будут одинаковые файлы, ты сэкономишь место.

Так ты же програмный делаешь.

У меня выбор, сделать RAID средствами самой файловой системы (ZFS, BTRFS) или сделать поверх LVM/mdadm. Я так понимаю, ты предлагаешь XFS именно поверх LVM/mdadm? Сама XFS же не умеет в RAID, так?

Типа ссылки делает, а не пишет блоки. Если будут одинаковые файлы, ты сэкономишь место.

Речь про дедупликацию? Жёсткие ссылки и в других файловых системах есть. Не понял, про что ты говоришь...

У тебя интел чтоли?

mdadm известна давно, ext4/xfs известны давно, статистика наработана, руководства написаны. Если задача стоит в максимальной надёжности, используй mdadm.

Снапшоты на LVM замедляют работу LVM, поэтому я бы на них не рассчитывал.

диски хорошие - за 4 года нет ни одного bad сектора.
системный диск на 500Гб 7.5 лет отпахал, 2 bad-а есть.

А просто средствами lvm это можно сделать?

Нет.

Суть: на mdadm создаешь подходящий тип raid, а с помощью lvm объединяешь созданные raid массивы в единый сторадж.

В итоге у тебя будет:

1. Надежность - соответственная выбранному типу raid

2. Расширяемость - в lvm можно наращивать объем практически бесконечно

Например, у меня есть два диска по 4 Тб для «очень важных данных». Я объединяю их в raid1 и поверху создаю lvm волюм. 4 Тб волюм, который продублирован «зеркалом». Потом я покупаю еще 2 диска, снова объединяю их в raid1, но присоединяю уже в существующий lvm волюм. У меня уже 8 Тб пространства, с необходимым мне уровнем надежности.

Суть такова, что имея даже один (любой) raid стоит использовать к нему lvm, что бы можно было легко наращивать объем хранилища в будущем.

WD блек фиг занет скока лет. Ни одного бада. Если на диске бад есть это говно.

Суть такова, что имея даже один (любой) raid стоит использовать к нему lvm, что бы можно было легко наращивать объем хранилища в будущем.

Т.е., если я захочу сохранить тот же уровень RAID 6, то мне надо будет добавлять сразу минимум три диска, и я получу объём одного?

У тебя интел чтоли?

Нет, AMD. При чём тут это вообще?

Собери raid в биосе и не парься.

заменить по очереди диски на более ёмкие.
добавить 1 диск к существующему raidz из 5 дисков и получить raidz из 6 - нельзя.
но работы в этом направлении вроде как идут.
zfs делалась для энтерпрайза, а там массивы расширяются не добавлением одного диска, а подключением сразу дополнительной дисковой полки 😏

mdadm известна давно, ext4/xfs известны давно, статистика наработана, руководства написаны.

Вот я тоже думаю, что ZFS/BTRFS хоть и считаются уже надёжными, но как-то боязно ещё...

Как думаешь, стоит ли использовать 6-й уровень или 5-го достаточно? А то пишут, что при таких объёмах может не пересобраться нормально.

И что думаешь про LVM поверх? Если не для снапшотов, то для расширяемости в будущем, как вот товарищ советует: Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs (комментарий)

Спасибо!

смысл если он тошибу все разом на памойку выкинет.

ZFS/BTRF ни разу не надёжные.

Собери raid в биосе и не парься.

Ужасный совет! Во-первых он там будет непонятно какой, проприетарный и неизвестный науке. Во-вторых, всё ли гладко с RAID драйверами для GNU/Linux? Я для AMD чипсетов только под Windows встречал. В-третьих, если вдруг сама материнка накроется и надо будет перенести на другую, заработает ли оно?

тошибу все разом на памойку

Чего это? Намекаешь на одновременных выход всех дисков, т.к. одна модель?

пруфы или 4.2 ?

заменить по очереди диски на более ёмкие.

Т.е. это 5 перестроений массива. А потом чего? Свободное место станет частью того же раздела?

А ты чё думаешь соберёшь на саплях и оно протянет 10 лет?
У тебя один выход не давать дискам спать, то есть отключить автопарковку. Если ты это сделаешь, разоришься на электричестве.
Если не сделаешь будешь менять диски каждые полтора - два года.
Все мы знаем легендарный тошиба Р300. Остальные у них не лучше.
Тем более на устройстве харанения не должен стоять мощный процессор. Чтобы супер конденсаторы не работали на него одного.

Мне кажется, что с RAID 5/6 у тебя будет много плясок с количеством дисков при будущих расширениях. Туда же нельзя просто добавить ещё один диск.

С другой стороны, если делать Raid1 и объединять их в LVM, то тебе места не хватит.

Решай сам ;-)

Использовать LVM сама по себе идея хорошая, если у тебя в будущем планируется расширение за счёт количества дисков.

А ты чё думаешь соберёшь на саплях и оно протянет 10 лет?

А ты предлагаешь к не самым надёжным дискам сделать ещё так, чтобы замена материнки стала фатальной? Т.е. увеличить вероятность потери данных?

У тебя один выход не давать дискам спать

Не думаю, что они успеют. Как именно ты предлагаешь это отключить? Для TOSHIBA надо какой-то особый костыль?

Если ты это сделаешь, разоришься на электричестве.

Про это вообще вопрос не стоит.

Тем более на устройстве харанения не должен стоять мощный процессор.
Чтобы супер конденсаторы не работали на него одного.

Что-то совсем запутано всё. При чём тут процессор?

Нет.

Нет - значит не умеет или не стоит так делать? lvcreate --type raid6…

Если надо еще один raid6, тогда - да. А вообще сама идея такого подхода с lvm позволяет комбинировать любые типы raid в один сторадж. То есть, можно и «зеркало» добавить к стораджу, например.

Если на диске бад есть это говно

ты ошибаешься.

Туда же нельзя просто добавить ещё один диск.

А куда-то вообще можно, кроме RAID1+LVM?

Решай сам ;-)

Ну! Я же на ЛОР не просто так пришёл, а за советом срач устрои...!

за такой совет тебя надо бить тапочком 😏

2 bad-а есть.

А вы я посмотрю никуда не торопись.

Нет - значит не умеет или не стоит так делать?

Значит - не стоит так делать. Идея в разделении уровня абстракций для каждой из задач. Для надежности - raid, для расширяемости - lvm.

Камон, он же троллерожденный, скоро посоветует ставить void :)

Вот так отключается сон
hdparm -B 254 -S 0 -c1 /dev/sda
Или режим ожидания.
Собирать надо на процессоре c минимальным тепловыделением.
Например вот AMD A6 9500E.
Его скорости хватает для гигабита в притык и он не греется.
В блоке трансформатор заряжает конденсаторы импульсом и они какое-то время отдают ток.
Чем больше нагрузка тем чаще заряка.
Больше всего току жрёт процессор. Потому что в нём куча транзисторов. Дискам мало что будет оставаться от чистого тока. У процессора мосфеты есть, а у дисков нету.
Они доедают импульсы за ним.
Нужен блок с серебряным сертификатом чтоб затащить.
Или 2 блока в системник. Отдельный для hdd.
На ноутах hdd живут дольше, потому что проц жрёт меньше и ток чище.

bad это уже приговор посмертно. Или контрольный в голову.

за то что ты приравнял ZFS и BTRFS тебя надо бить битой.

lvcreate --type raid6…

А что в таком случае с расширяемостью? Или для неё надо будет делать уже LVM+LVM?

стоит ли использовать 6-й уровень или 5-го достаточно?

Смотря какие цели преследуете.

Во-вторых, всё ли гладко с RAID драйверами для GNU/Linux?

Если поднимается, то обычно работает.

В-третьих, если вдруг сама материнка накроется и надо будет перенести на другую, заработает ли оно?

Вот тут проблемка.

zfs

raid в биосе

Не думал я что на техническом ресурсе будут фейк рейды советовать.

bad это уже приговор посмертно

У меня в боевом массиве на одном диске штук 10 бэдов, не растут. Скраб постоянно что-то чинит. Один раз вылетел диск, я его же перебилдил в массив, все стало тихо.

Вы прочитайте что он дальше пишет. :)

Уже дочитал. Сочиняю коммент для профиля. Оказалось тяжело.

А реалока сколько?

Эти по нулям. И 12 Offline Uncorrectable

В теории, она есть. Я не использовал ни RAID5, ни RAID6. Ссылаюсь на гентувики, там есть примеры команд. https://wiki.gentoo.org/wiki/LVM#Striping_with_double_parity_.28RAID6.29

LVM+LVM

Вроде LVM для этого и используют, чтобы так не делать.