Почему RAID 6 не популярен?

Везде есть RAID6. HP, DELL - это не бренды в области СХД. В лучшем случае, брендированные изделия.

Т.е. нужно ставить один сервер от Dell с мощным процессором и памятью и второй сервер от другого бренда с кучей дисков? А в чём смысл? Это же переусложнение схемы.

но хочется же аппаратно

Почему? Я не сисадмин, но вроде рекомендуют софт рейд использовать обычно.

Кто рекомендует? специалисты с местного сайта? Это безусловный авторитет, конечно же.

Покупается контроллер из вот этих списков :

https://www.nix.ru/price/price_list.html?section=controllers_adaptec#c_id=425...

https://www.nix.ru/price/price_list.html?section=controllers_adaptec#c_id=425...

Отдельно, либо в составе сервера. Хоть брендового, хоть нет.

Почему? Я не сисадмин, но вроде рекомендуют софт рейд использовать обычно.

Ну мои мысли такие:

1. Не загружается процессор, с SSD это, имхо, проблема.
2. Если ОС вылетела, то софт рейд остался в непонятном состоянии. Аппаратный рейд не зависит от ОС.
3. Если свет выключили, то софт рейд остался в непонятном состоянии. Аппаратный рейд обычно идёт с батарейкой и в таких случаях завершит записи и спокойно выключится.
4. Аппаратный рейд принимает данные, кладёт их в DRAM кеш и говорит, что всё записано. А потом записывает. Опять же за счёт батарейки. Софтовый рейд будет сильно рисковать, если будет так делать.

ИБП частично это компенсирует, но кернел паник в любом случае компенсировать не сможет.

я просматриваю серверы именитых производителей вроде HP, DELL и там в характеристиках есть аппаратный RAID, вот ни разу не видел, чтобы там была поддержка RAID 6

Не знаю, как ты там читаешь спецификации. https://buy.hpe.com/ru/ru/options/controller-controller-options/smart-array-c...

Уровни RAID0, 1, 5, 6, 10, 50, 60, 1 ADM, 10 ADM

Потому что ненужно. Отказоустойчивость сейчас достигается средствами SDS, производительность… Четыре NVMe серверного класса поставят на колени любую сеть. Вот и получается что многовинтовая корзина это а) медленно и б) ненадежно

Там где нет нужды в мега-скоростях правит бал Ceph с его отказоустойчивостью которая рейдам и не снилась, там где нужны скорости - просто берут NVMe-шные диски и резервируют на уровне приложения.

Места для рейдов больше нет

ШТА? Я 5й даже не пытался делать, это для нубов. Все давно 6й используют.

серверы именитых производителей

а, ну да, ты же придешь к ним после первого же фейла и они выпишут щот

Как так получается?

когда моск не включаешь, так всегда и везде

Не очень понял, почему места для рейдов больше нет. И что значит резервируют на уровне приложения? Например на сервере стоит PostgreSQL, с которым работает приложение на Java. Каким образом должно работать это резервирование? Поясни подробней, что именно делают, когда ломается один из четырёх NVMe, на котором лежит половина базы.

https://www.regard.ru/catalog/tovar352409.htm вот например дорогущий сервер.

Дополнительная информация контроллер Smart Array S100i (RAID 0,1,5,10)

PS кажется это не настоящий рейд, тогда сорри, я думал, только на игрушечных серверах софт-рейды ставят.

вот например дорогущий сервер.

579 130 руб.

Где он дорогущий?

контроллер Smart Array S100i

Это не Raid контроллер. Это HBA с функциями RAID в BIOS и драйвере. Так можно купить жигули и ругать все автомобили за то, что они говно.

Вот главная причина:

VMware ESXi does not support any software RAID functions. Nor are host-RAID controllers (Intel ICH*R / nVidia MCP **) supported for RAID either.

есть аппаратный RAID, вот ни разу не видел, чтобы там была поддержка RAID 6

Открываю первый попавшийся сервер от HP, вижу аппаратный RAID6. ЧЯДНТ?

А вообще, RAID — это не про сохранность данных, это про время простоя. А при наличии копии это вполне себе trade-off между (небольшим) увеличением вероятности простоя и уменьшением расходов на диски.

Почему RAID 6 не популярен?

Потому что пользуются RAID-Z2 вместо него.

Где он дорогущий?

В смысле где? почти половина миллиона это тебе шутки что ли? Я свой домашний сервер за 20 тысяч покупал, вот это можно назвать недорого.

Это не Raid контроллер. Это HBA с функциями RAID в BIOS и драйвере. Так можно купить жигули и ругать все автомобили за то, что они говно.

Ага, уже понял.

RAID — это не про сохранность данных

Почему это?

RAID — это не про сохранность данных

Почему это?

бэкапы про сохранность данных.

А почему raid не про сохранность данных?

Потому что всегда есть ненулевая вероятность повреждения данных. И на самом низком уровне (ошибки чтения/записи) и на самом высоком (баг в софте).

Был свидетелем ситуации, когда вылетели не диски а аппаратный контроллер, и такой же не могла найти уже, так как в продаже давно уж их нет.

То же можно сказать про что угодно, и про любую форму бэкапа в том числе.

Кстати, как-то натыкался на stackoverflow дискуссию на тему riad, созданную ~10 лет спустя изначальной статьи о непригодности raid 5. Там сотрудники техподдержки отписывались, что у их клиентов с raid 5 за всё время ни разу не возникало описываемой проблемы. Сдаётся кто-то не правильно вероятности посчитал...

В смысле где? почти половина миллиона это тебе шутки что ли? Я свой домашний сервер за 20 тысяч покупал, вот это можно назвать недорого.

Ты себе домой что ли сервер ищешь? Тут половина посетителей ЛОРа такую сумму осилят, что уж говорить об организациях.

Я не ищу, я пока прикидываю порядок цен. А что может быть намного дороже? Там и так цена процессора больше половины.

Конечно может. Если вопрос цены стоит на 1 месте, смотри Intel, они дешевле.

Хотелось бы мне знать, у кого вопрос цены не стоит на 1 месте.

А почему raid не про сохранность данных?

Как-то HP прислали диск на замену в EVA 4400 с не той версией прошивки диска.
Диск менялся в одной из дисковых групп массива.
При добавлении диска в группу оба контроллера подумали и повисли.
В результате данные со всей дисковой группы на 24Тб полетели в рай.
Вот тебе и надёжность. (но это было 12 лет назад)

ps: Я уверен что линуксоиды местные не то чтобы не задумываются о версиях прошивок, но и разные диски лепят в группы, и любят lvm с thin provisioning'ом с её грёбаной метадатой.
pps: Ничто так не сохранит данные, как надёжный бэкап. Всегда стоит тестировать технологии перед использованием (да банально попробовать повыдёргивать диски и по-вставлять новые обратно в тот же программный raid md и посмотреть что будет, много интересного можно узнать).

Можно купить отдельный контроллер, как уже советовали выше.

Я детали не знаю, но недавно у чуваков полетела база, они её с ленты пытались восстановить и не восстановили. Это я к тому, что везде могут быть свои нюансы. По-моему рейд вполне себе про сохранность данных. Его суть в том, чтобы дублировать данные, обеспечивая их сохранность при проблемах нижнего слоя. Ну и да, обеспечить сохранность при нулевом даунтайме, так сказать. Понятно, что одно средство обеспечения сохранности не отменяет необходимости других средств, с этим я не спорю.

да банально попробовать повыдёргивать диски и по-вставлять новые обратно в тот же программный raid md и посмотреть что будет, много интересного можно узнать

А подробней можешь расписать, что интересного можно узнать? И не был бы лучше программный рейд в ситуации, которую ты выше описал? Всё же, наверное, там всё с одной стороны протестировано лучше, чем у HP, с другой стороны нет завязок на какие-то проприетарные особенности прошивки диска.

Потому что для того, чтобы перезаписать 1 байт, тебе надо перезаписать целый чанк (или как там оно называется) + прочитать все чанки + записать чанк контроля четности. Чтобы 1 байт прочитать, тебе надо все это прочитать. Выходит НЕМНОГО накладно.

Учитывая ворох кешей, восстанавливать БД из того, что прямо сейчас лежит на диске в момент отключения питания - такая себе задача. «На ленту» БД отправляют специальной процедурой, когда она выгружается в текстовый вид по результатам всех транзакций (или какие у данной БД механизмы), то есть в момент, когда мы 146% уверены, что данные никто не изменяет.

Второй вопрос, что если у тебя деградировавший массив восстанавливается несколько суток, то может быть нахрен такой массив?

Советующие «аппаратный контроллер Адаптек из ближайшего овощного или рыбного отдела» не советуют, что делать если этот контроллер сгорел. Чтобы получить доступ к массиву тебе понадобится точно такой же контроллер с той же версией прошивки. Вы ведь держите еще 2 в ЗИПе и обновляете им прошивки так же, как и рабочим, да? md-raid в этом плане проще.

Tl&dr: чтобы говорить о сохранности данных, надо быть уверенным, что эти данные для начала есть и доступны.

Чтобы получить доступ к массиву тебе понадобится точно такой же контроллер с той же версией прошивки.

Нет.

Вы ведь держите еще 2 в ЗИПе

Да, разумеется.

и обновляете им прошивки так же, как и рабочим, да?

Да. И ещё добавлю, что рейд контроллеры - в принципе весьма надёжная штука.

Чтобы держать в запасе контролер, нужно ещё и сервер держать в запасе? Или как ему обновлять прошивку?

Нет.

не очень хороший ответ, если в прошивке поменяли что-то, что работает с метаданными чуть-чуть иначе.

Прост многие считают, что «я вот поставлю рейд-контроллер и все будет быстро-быстро работать», а на самом деле он скорее превращает PCI-e канал в канал SATA/SAS. Плюс прозрачность для всего этого ncq, который по крайней мере раньше софтовыми слоями ломался (емнип). Не, щтука полезная, если есть задачи, а вот RAID-5/6 – так себе.

я согласен с lenin386. бывает совместимость между моделями одного производителя. плюс платы достаточно надежны. на моей памяти они работали десятилетиями бу. а если уж у тебя 10 инсталяций или больше, т.е. высокие риски, то уж точно найдется пара свободных контроллеров.

У меня 6й на 8 дисках. Пока во всем приятнее ссд.

Отказы и ребилды репетировал успешно.

Но планирую пару лет посидеть без докупок, а потом расширяться зеркальными ссд.

raid6 не популярен только в том смысле, что специфичен. часто его не используют за ненадобностью.

нужно ещё и сервер держать в запасе

конечно нужно сервер держать в запасе :-) Вон lenin386 пишет, что можно и не обновлять, может и можно.

Если тебе надо в отказоустойчивость, то надо держать живую реплику в запасе и переключаться на нее в случае сбоя.

Если тебе надо в доступность, то несколько реплик и балансировщик перед ними.

Если тебе надо в консистентность, то надо бекап этой реплики раз в N часов, по процедуре, которая исключает ее изменение.

То же можно сказать про что угодно, и про любую форму бэкапа в том числе.

Дык, копий должно быть несколько. И иногда, надо тестировать восстановление из бэкапа. Ваш КО.

У меня 6й на 8 дисках.

какую задачу оно решает?

Пока во всем приятнее ссд.

греет лучше помещение? Если идет такое сравнение, какой там объем?

Но планирую пару лет посидеть без докупок, а потом расширяться зеркальными ссд.

а как у тебя решается задача отказа на уровне файловой системы? Ошиблось что-то и стерло файлики просто, ну rm -rf?

и разные диски лепят в группы,

Да, и в оправдание говорят, что одинаковые диски - более вероятно что полетят одновременно. Надо брать разных производителей.

недавно у чуваков полетела база, они её с ленты пытались восстановить и не восстановили

Именно _надёжный_ бэкап. Бэкапы ещё проверяют на консистентность, периодически проводят тестовые восстановления.
Шаман правильно намекает на то, что базу бэкапить нужно механизмами, которые собственно берут её консистентную (задолбало это слово, но по другому никак) копию, то есть ту и в тот момент времени, когда все транзакции завершены. Чтобы восстановилась то рабочая база, а не кусок данных с побитыми транзакциями.
Друг тащится с veritas'а и юзает его (это который veritas -> symantec -> опять veritas). За 10 лет бэкапа на полки и ленточки различными агентами sql'я, hardware vss провайдерами - никаких проблем.

что интересного можно узнать?

Ну например что кунап (а его куча психов стремится пихать везде где только можно, думая что это норм СХД..., то ещё говно)
на 8 дисков, при том что умерли 2 диска, как ни странно, жил и работал.
Ребята, не опытные в никсе (которые пришли на место предыдущих деградантов, не опытных вообще ни в чём), но опытные в энтерпрайзных СХД, решили заменить два диска, а потом постепенно мигрировать на нормальные полки.
В итоге кунап не осилил нормально изъятие битых дисков и добавление новых в массив, и на этом всё.
Когда я смотрел внутрь этого кунапа, пытаясь хоть как-то восстановить,
там внутри было GPT на каждом диске из 5-ти разделов, по одному разделу с каждого диска было собрано в MD,
MD из всех 3-их разделов был разделом, который кунап юзал для хранения, поверх него был LVM с thin provisioning'ом.
MD разъехался, у LVM покоцалась метадата. Нахрен такие программные рейды.
Вот эти вещи нужно знать, чтобы потом не было удивительно :) и больно.

Большие ёмкость и скорость при нивелировании риска отказа носителя.

16тб отказоустойчивых. Ссд дорого. Это же минимум на 32 покупать ради зеркала.

Сверхважное - бэкапы. Отдельно.

Raid5 использовать можно, но с некоторыми оговорками. Во-первых, raid, любой причём - это не замена бекапов. Это просто способ уменьшения времени простоя. Во-вторых raid надо время от времени проверять. В случае софтверного рейда (md-raid) проверять консистентность массива можно небольшими порциями через определённые промежутки времени, чтобы не замедлять производительность. В-третьих, надо следить за состоянием дисков. И в четвёртых для софтверного рейда можно начать вводить новый диск в эксплуатацию без удаления старого, пока он более-менее читается, что значительно повышает шансы на успешное восстановление массива.

У меня 6й на 8 дисках. Пока во всем приятнее ссд.

Что ты с ним делаешь? Для фоток есть смысл так заморачиваться?

Большие скорость

откуда она больше? Тебе чтобы прочитать (!) что-то, надо прочитать весь страйп, то есть сходить на каждый (!) диск и подождать пока головка найдет нужный участок на блине (считаем операцию самого контроля четности бесплатной).

Я понимаю, 16 зеркалом держать - больно. У меня 8+8 (зеркало), построенное в 2013м году. Скоро будет 10 лет, начнет вылетать.

UPD: сейчас посчитал, что ты на 2Тб дисках живешь.

Скоро будет 10 лет, начнет вылетать.

причем, если одна партия, то с интервалом в неделю. вот будет смешно.

Legioner тебе не с рейда надо начинать описание, а с задачи, которую ты решаешь. весь стек описать, чтобы понять приоритеты.

План-банан: если посыпался первый, то комплюктер на включать до момента, когда не приедут из магазина другие на замену вообще всему массиву. А на смешной случай есть еще и backblaze.