Вопрос по организации RAID-массива для десктопа на Debian

Аппаратный для NVMe на десктопе не нужен и будет мешать. «Аппаратный» в виде какого-нибудь RST — вообще мусор.

Вариантов всего два:

• mdadm + LVM + ext4 — очень быстро, надёжно и проверено временем, но сложно управлять местом;
• btrfs — быстро, функционально, молодёжно: удобно управлять местом, есть снапшоты, есть контрольные суммы и восстановление битрота в массиве.

Это вкусовщина и выбор зависит от индивидуальных предпочтений.

Я вспомнил, что и mdadm не нужен: через голый LVM будет тот же raid1, но минус абстракция.

Рейд на nvme не нужен. На hdd софтовый рейд нужен, работает замечательно, про проц. херь ии врёт.

У меня RAID0 на BTRFS и все важные данные на NAS.

Для меня это самый оптимальный вариант, имхо.

Зачем вам именно RAID1?

RAID1 нужен для дублирования диска. Современные диски nvme очень ненадёжные, это считай уже расходники, а не устройства. Системные диски летят в первую очередь, а вместе с ними и все настройки и данные, которые не успел забэкапить. Скорость мне особо не нужна, она у nvme-шек и так неплохая, по кр. мере для десктопа. В приоритете - надёжность, минимизация риска потерять данные.

Чтобы данные не терять, их надо на отдельный не-NVME диск сохранять и бэкапить. Только так.

Рейд будет гробить два nvme, а не один. Для десктопа «nvme рассходник» чушь. Прочитайте про бекапы и купите надёжный nvme и дурью не майтесь.

mdadm + LVM + ext4 — очень быстро, надёжно и проверено временем, но сложно управлять местом;

Вообще ненадёжно, потом в случае необходимости восстановления данных при выходе из строя дисков замучаешься что-то доставать.

Не конструктивно. Бэкапить – это прошлвый век. Если бы мы все были ясновидящими и точно знали, что завтра диск полетит, то сегодня сделали бы бэкап. Но факап всегда приходит со спины, поэтому заранее его не видно. Не всегда видно. К тому же, если при вашем подходе диск таки полетит, то систему придётся переставлять, даже если вы только что сделали бэкап и ничего не потеряли. Систему и своё время вы потеряете всё равно. Рэйд снимает эту проблему полностью.

Современные диски nvme очень ненадёжные, это считай уже расходники, а не устройства.

Глупости. Достаточно не покупать китайский подвал типа cusu и netac. Бывают, конечно, неудачные модели или их партии и у нормальных производителей, но в большинстве своём лечится/купируется обновлением прошивки

Чушь – это «надёжный nvme». Это оксюморон, как честный политик. Естесственно, рэйд будет использовать два диска, для этого второй и нужен.

Вы ошибаетесь. nvme не служат больше 5 лет. У меня и Самсунги были и Трансценды. Не живут они долго, не надо на это рассчитывать.

ZFS? ZFS!

Служат. Под десктопной нагрузкой. Под серверной да, дешёвые ssd можно запилить относительно быстро (пара лет), особенно, если заполнять на 100%

У меня и Самсунги

За прошивками следил?

Ну если вам охото потратить 50т на 1 тер псевдобезопасности, дело сугубо ваше. Но для рейда крайне желательно покупать одинаковые рейды и догодайтесь что будет, когда вы их будете гробить одинаковой нагрузкой. . Действительно надёжно и быстро это nvme + hdd рейд. Но если вы упоротый, то флаг вам в руки

Нет, не следил. В любом случае, вопрос не в этом. Я не хочу трястись, что в любой момент система может накрыться. Но и ставить старые SATA тоже уже не хочу, т. к. вкусил запретный плод скорости nvme, обратно уже не хочется. В любом случае, вопрос только в форме организации рэйда.

И я так понял, всё же к программному склоняемся.

Нет, не следил.

Ну вот и ответ. Уже лет минимум 15 как надо следить за фирмварями.

В любом случае, вопрос не в этом.

В этом тоже. Поставишь 2 одинаковых ssd в зеркало, а они одновременно запломбируются от бага* в древней фирмвари через 32768 часов работы, будешь бегать с горящим афедроном.

* https://www.opennet.ru/opennews/art.shtml?num=51934

https://www.opennet.ru/opennews/art.shtml?num=52607

собери в raid1 nvme и hdd - получишь скорость nvme и надежность hdd :)

Поставишь 2 одинаковых ssd в зеркало, а они одновременно запломбируются от бага* в древней фирмвари через 32768 часов работы

Вот же ж звездец какой. Качественный. Чего только нет на свете белом. Надо ставить разных производителей или из разных линеек, но одного объёма. Хотя, современные рэйд-контроллеры могут даже разного объёма и шини объединять. Уже не надо одинаоквые ставить.

Так что на счёт скорости? Насколько сильно программный рэйд тормозит проц?

Уровни 0/1/10 нисколько не тормозят. Данные в любом случае пойдут через процессор, с raid или без.

Тормозят программные raid с чётностью (5, 6), где помимо IO ещё нужно высчитывать XOR процессором.

Благодарствую!

Ну, стало быть, выбор сделан. Программный рэйд. На BTRFS. Над ZFS ещё подумаю.

На BTRFS.

Если данные на дисках не особо нужны, и/или очень хочется с горящей жопой из развалившегося бэтра их доставать… (%

Раз не будет делать бэкапы, значит не нужны. Никакой рейд не спасёт от сгоревшего системника

Вот же ж звездец какой. Качественный. Чего только нет на свете белом. Надо ставить разных производителей

Ты опять не понял моего посыла следить за фирмварями? Все, кто их обновляет относительно оперативно - с проблемой не столкнулись даже на N одинаковых поставленных вместе ssd.

Насчёт надёжности дисков и RAID1 - отвал по питанию может вынести и оба диска сразу.

Я бы не парился с избыточностью на десктопе, а просто бы настроил нормальный бэкап. С zfs можно можно хоть ежечасно снапшотиться - сильно места лишнего не займёт. И откидывать их на нас или внешний диск.

Рейд-контроллеры дорогие, нужность их для дома сомнительна (можешь получить больше проблем чем пользы).

А так - mdadm конечно.

Спросил у ИИ

Про него ИИ говорит

Завязывай с этим.

От противного, если аппаратный сломается, то как восстанавливать? Если аппаратный деградирует, то как это исправить? Если ФС придётся переформатировать? Я бы пошёл с таким ТЗ от противного: как самому наиболее удобно производить восстановление и выглядит надёжно?

RAID без горячей замены не нужен.

Горячая замена NVME - недешевое удовольствие.

RAID без горячей замены не нужен.

zfs + hot spare

Горячая замена NVME - недешевое удовольствие.

плюс еще один диск

Современные дешёвые диски может быть и да, но про нормальные я такого сказать не могу.

У меня рабочей станции 6 год идёт, 2 Samsung 980 Pro на 1 ТБ и 0 проблем, а нагрузки на систему постоянно высокие.

ИМХО: Лучше взять один хороший диск, чем 2 потенциально плохих лепить в RAID1.

Для действительно важных данных только бэкап по правилу 3-2-1, потому что огрести можно во множестве других сценариев, от скачка напряжения в электросети до, не дай Бог, пожара.

Современные диски nvme очень ненадёжные

Так оба же сдохнут в одно время

ну ля, ну какие скачки в эл сети, если нужна надежность, то и питалово заводим через юпс.

надо запилить обратный счетчик трафика :) перевалил за 3/4 паспортных - беги в магазин

Ребят, короче, универсальное решение:

Берём две двухконтроллерных СХД с NVMe-oF с накопителями DWPD3+ в RAID 10/1e, ставим в метрокластер с кольцом между площадками не ближе 50 км с синхронной репликацией. СХД запускаем с разницей в 6 недель для сдвига по таймерам микрокода и износу. Очевидно, вопросы климата и электропитания систем должны быть решены соответственно.

На десктопе вообще ничего не нужно, кроме HBA с двумя путями к коммутаторам двух фабриках в кольцах! Займёт столько же PCIe, как и локальные NVMe!

Так первичная сохранность данных решена с минимально достаточным для ЛОР RPO! Следующие этапы: односторонняя репликация на третью площадку и бэкапы на отторгаемые накопители.

современные рэйд-контроллеры

Забудь, их нет, только hba. Делай mdraid.

Аппаратный raid умер много лет назад, в связи с появлением вменяемых софтверных решений и роста производительности cpu. Если данные представляют хоть какую-то ценность, то raid1 средствами ZFS безальтернативен.

Есть одна малоочевидная на первый взгляд проблема: загрузка с EFI ESP раздела. Он не может быть софтрейдом, т.к. прошивка может сама писать что-то на раздел, а она про софтрейд ничего не знает. Остается fakeraid, но это работает только на intel, amd не сделала драйверов для своего fakeraid.
Еще Proxmox, например, имеет свои собственные костыли для синхронизации содержимого ESP без raid, но вот в обычных дистрибутивах с этим все плохо.
Т.е. рейд у тебя будет, а отказоустойчивая загрузка - нет. Если диск с ESP навернется, то все.
Плюс, когда я тестировал разные конфигурации софтового raid 1, то оказалось, что btrfs raid1, lvm mirror не способны загрузиться без одного диска, выпадают в emergency mode. Нормально загрузка работала только на mdraid. Скорее всего так чудят только дистрибутивы с systemd.

Это верно?

Нет никаких «аппаратных» рейдов. Есть контроллеры с процессором на борту и тогда прошивка работает на набортном процессоре. Прошивка, которую, как правило, в глаза видело очень немного человек. От багрепортов волосы дыбом обычно. И есть контроллеры, которые НЕ имеют на борту процессора и прошивка под видом «драйвера» исполняется на ЦП. Это ещё более дерьмо.

Про него ИИ говорит, что он медленный.

чушь собачья.

Бери HBA (без претензий быть RAID) и собирай массив силами linux raid. Проверенное надёжное решение. Процедура замены диска несложна, но НЕ автоматическая, да.

Кроме всего прочего, «аппаратные» рейды не имеют интеграции с планировщиком ядра, а linux raid - имеет.

«Аппаратный» рейд нужен только в одном случае - гарантированно записать прилетевший на машину блоб. За счёт своего ОЗУ на контроллере, с батарейкой. Но сейчас это решается накопителями с набортными суперконденсаторами.

программный – грузит проц.

году в 2000-ном это было актуально

Не живут они долго, не надо на это рассчитывать.

это так в случае постоянного перегрева. Обеспечь охлаждение и будет норм.

Использовать mdadm - вредный совет, так как без чексумм он без понятия какие данные корректны, а какие нет. От тихих ошибок во время чтения mdadm не спасёт.

Решение - используйте lvmraid с raidintegrity.

Тогда вам нужна баба ванга, чтобы сказать, когда точно забэкапить. Может перед этим продать успеете свой ссд, чтобы купить новый и не тратить деньги на износ.

По поводу того “какой именно рэйд нужен” совет не требуется

Жаль. С аппаратными рейдами на ssd все несколько сложно, 1тб вам обойдется в несколько килобаксов. И это не про «надежность», а про высокую доступность. Лично я храню важные данные так: mlc накопитель промышленного класса для операционки, суть его в том, что операционка живет отдельно от носителя данных и вторые проще иногда заменить, ну и еще десяток причин:). Данные либо софт-рейд, либо подобие drivepool, но точно не аппаратный. Целостность - parchive.

nvme не служат больше 5 лет. У меня и Самсунги были и Трансценды. Не живут они долго

Вот нет. То, что на рынке сейчас есть непойми что - факт. А еще на нем же есть серьезные изделия с mbtf в 150 лет. Хотите надежности - берите надежный и следите за ресурсом. У меня множество ссд в личном пользовании, самым старым уже больше 15 лет, многие крутятся 24/7, я никогда не видел своими глазами выход ссд из строя.

Для действительно важных данных только бэкап по правилу 3-2-1

Согласен, бекапы обязательны и побольше. А еще однажды я начал следить за целостностью данных и уже много раз мне это помогло. Ибо бекапы проблему битротов не решают - на момент обнаружения все бекапы обычно давно уже содержат именно битую копию.

Есть одна малоочевидная на первый взгляд проблема: загрузка с EFI ESP раздела. Он не может быть софтрейдом

Может :)

Это заблуждение которое приведет к тому, что твой рейд однажды сломается. EFI может и будет записывать данные напрямую на ESP до загрузки ОС, т.к. не ожидает что там может-быть что-то еще кроме простого fat32 раздела.

EFI может и будет записывать данные напрямую на ESP до загрузки ОС

У меня годами ничего не пишет, что за самоуправство такое?

Ну и пусть записывает. Там ничего и не будет кроме FAT32-раздела. Для этого в случае с mdadm надо просто создавать массив с суперблоком формата 1.0 (метаданные в конце). До того, что там есть что-то в конце FAT32-раздела, прошивке дела нет.

А что будет, когда прошивка запишет на одну половинку зеркала что-то, не тронув при этом суперблок? Как рейд поймет, какая половинка правильная?