Мало данных

Скажем, что вы мало написали о стоимости этих файлов и стоимости минуты простоя.

Кроме того вы сначала говорите о 24-дисковом хранилище, а потом о том что дисков будет 8.

Для RAID-5 и RAID-6 обязательно нужен аппаратный контроллер с батарейкой, иначе будет тормозить и терять данные.

И таки да, RAID-6 неплохой выбор.

24 дисковое хранилище для файлов
Ну и диски планирую WD RED, что скажете ?

wd red для таких задач не подходят, нужны wd se или re.

raid5 - 6(raidz)

raidz2 вполне себе хорошее решение.

диски ред не надо планировать
рейд5 тоже не надо, если не планируешь когда-нибудь данные потерять
аппаратный рейд с батарейкой на ебее можно купить за $100 непользованый

Во первых, диски должны уметь в TLER. WD RE - будет не плохим выбором.

Во вторых, надо понимать, что при выходе из строя одного диска, ты будешь вычитывать весь объём данных, с оставшихся 7ми дисков. Т.е.: пусть у тебя 8 дисков, по 4тб. Следовательно: 4*8=32-4=28тб. - То есть, при выходе из строя одного из дисков, тебе потребуется вычитать 28террабайт. Это во-первых. Во вторых, raidz2, ЕМНИП - не расширяется. То есть, надо понимать, что ты потом уже не добавишь дисков. Будешь или создавать второй raidz2 и потом это дело как-то совокуплять. Или пересоздавать массив. Ну и в третьих, надо понимать, что скорость записи в raid6/raidz2 - существено ниже, зеркальных массивов.

В общем, решай сам. Но я бы использовал только raid10. А в зависимости от важности данных, я бы даже использовал тройное плечо в raid10. Диски WD RE - стоят относительно вменяемых денег, для того чтобы позволить себе уменьшить ёмкость, в обмен, на быстрое восстановление, расширяемость, скорость, простоту.

ну начну с 8, а за год - полтора добавлю еще 16
Это будут бэкапы, приоритет имеют, но не самый высокий
WD Re довольно дорогие конечно чем RED

спасибо за совет, я подумаю
Просто предполагаю, что для хранения файлов raid10 довольно жирно

Для RAID-5 и RAID-6 обязательно нужен аппаратный контроллер с батарейкой, иначе будет тормозить и терять данные.

С дуба рухнул что ли?

Во первых, диски должны уметь в TLER.

TLER - это маркетинговое название SCT ERC от WD. Лучше использовать «общее» название.

Во-вторых, для ZFS SCT ERC неважен.

В третьих, приставка «тера-» не имеет отношения к Земле(терра) :)

Не рухнул

С дуба рухнул что ли?

Разъясните мне мою неправоту.

По моему опыту программный RAID-5 тормозит, потому что подсчёт XOR'ов ложится на центральный процессор. Аппаратный же контроллер эту нагрузку с ЦП снимает.

А батарейка нужна чтобы не потерять данные (на самом деле только уменьшить риск) при внезапном выключении. Где я не прав?

уважаемый, одобряете WD RED или все же лучше переплатить за WD RE
цена примерно WD RE 407 уе
цена примерно WD RED 315 ye

ну и raid6(raidz2) адекватный выбор ?

Raid6, WD RE - под бэкапы нормально. Если есть ИБП и ты сможешь корректно отключить хранилку пока не села батарея, то отдельная батарейка в контроллере не очень важна. Под маловажные бэкапы можно брать что-то и подешевле чем RE (имеется ввиду, если тебя не напрягает что бэкап может не закончиться вовремя при проблемном диске, который не отстрелен из массива и отдаёт/принимает данные мегабайт по 5 в секунду).

аппаратные рейды дешевле 400 баксов хуже чем 6 raid на zfs при наличии оперативы конечно. я конечно тоже за аппаратный raid, но я покупал с марвеловскими чипами от 1000 usd. Благо на тендерах с этим проблем не было. А всё что сейчас дешевле 300 баксов в магазине будет хуже md даже настроенного школьником.

ну начну с 8, а за год - полтора добавлю еще 16

Ну ты запомнил, да, что raid6 - в общем случае расширить нельзя?

WD Re довольно дорогие конечно чем RED

Предлагаю тебе экономию на дисках: можешь взять и RED, главное, убедись, что они умеют в: smartctl -l scterc,70,70 /dev/sdX. А на сэкономленные средства, предлагаю разориться на RAID10. Сможешь расширять массив, не будет больших проблем при пересборке. Ну это как вариант. Можешь ещё вот это прочитать: http://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-not-raidz/

То есть, надо понимать, что ты потом уже не добавишь дисков. Будешь или создавать второй raidz2 и потом это дело как-то совокуплять.

Добавляешь в пул ещё один/два/etc raidz2 vdev.

Ну и в третьих, надо понимать, что скорость записи в raid6/raidz2 - существено ниже, зеркальных массивов.

Вот если бы ты сам ещё понимал, что пишешь.

для ZFS SCT ERC неважен

Распространенное заблуждение. При наличии избыточности лучше пропустить ошибку и восстановить данные в рабочий блок, вместо того, чтобы кряхтеть над сбойным и подозрительным. Только так ZFS будет прозрачно восстанавливать инфу даже на полудохлом диске или легко проведет ребилд массива со сбоящими дисками. Последнее кстати очень важно когда хренобайты переливаются со всего массива на новый диск и это надо сделать как можно быстрее.

raid6 - в общем случае расширить нельзя

В случае использования mdadm можно. Мы не знаем, какой вариант выберет ТС - возможно он не выберет себе дешёвый аппаратный контроллер, который не умеет расширять 6й рейд :)

Реды умеют SCT ERC, не надо пугать человека. Зато они дешевле, тише, холоднее. Если не нужна высокая производительность, это как раз то что надо. RE берут только за скорость, UER, HCL и прочие ынтерпрайзные плюшки.

Тут нужно сразу просчитать группы дисков. Если сможешь закупать большими пачками, то можешь raid6/raidz2, если нет, то raid1/mirror и паковать их в страйпы по вкусу. С raid5/raidz не советую связываться, он как бы устарел.

Не, не... Я не пугаю. Просто на 100%, не уверен, что реды умеют SCT ERC. - Я пробовал, у меня получилось. Но, не уверен, что все диски в линейке это умеют.

RE берут только за скорость

Это да. Стесняюсь подумать, как будет весело, когда raid6 из 12ти дисков будет перестраиваться... - Пока он будет этим заниматься, у него ещё половина дисков посыпется)) Особенно, если включить: SCT ERC. В целом то красные диски - это ОК. И там ещё, в красных, кажется не больше 6-8 штук в одной железке. - Ибо вибрация. Думаю что у RE - сей показатель лучше.

В общем: UER, HCL - не пустые слова, особенно в raid5/6

Добавляешь в пул ещё один/два/etc raidz2 vdev.

Ну это будет куча raid массивов. Оно то так можно. Но как-то не очень красиво.

Вот если бы ты сам ещё понимал, что пишешь.

А что не так? Скорость записи в raid6, уже стала быстрее оной, чем скорость записи в raid10? Да и вообще, мне по нику не положено понимать, в то, что я пишу! - Ты же уже вроде не однократно меня в этом упрекал. Хотя по делу ты многое говоришь. :) Так, что да, пинай в меня. :)

У меня raidz2 из 8+2 редов по 4 тб, сейчас забит на 2/3, регулярно делаю скраб, он длится от 18 до 40 часов, меня это устраивает.

UER актуален больше для raid5/raidz и я считаю, что лучше один дополнительный диск отдать на избыточность, чем переплачивать за ынтерпрайзность. Если конечно не нужна высокая скорость записи или иопсы.

Про вибрацию согласен, в редах только базовая защита, не помню какая. Но они и вибрируют меньше.

По моему опыту программный RAID-5 тормозит, потому что подсчёт XOR'ов ложится на центральный процессор.

Этому опыту много лет уже. Более-менее современные процессоры практически не замечают XOR'а.

Роль батарейки в сервере с программным райдом заменяет UPS.

Есть возможность RE купить - купите RE. Вылезаете из бюджета - без проблем на Red'ах. Только лучше WD Red Pro (они 7200 против 5400 обычных WD Red, побыстрее немного, но и погорячее). Ну и у WD RE гарантия 5 лет против 3х лет у Red'ов.

Да, raidz2 - отличный выбор. После покупки следующих дисков можно сделать страйп из двух raidz2 ;)

Распространенное заблуждение.

Это не заблуждение. Лучше, если есть нормальный бюджет, разумеется, сразу вывалить из массива и купить новый. Но в реалиях всё похуже. Кроме того, ZFS отлично выкидывает из массива диски, если с них ошибки чтения идут, не полагаясь на SCT ERC.

Винты крайне редко умирают быстрой и легкой смертью. Часто они как раз медленно дохнут и в процессе издыхания бывает все что угодно. SCT ERC позволяет быстро пропускать ошибки чтения, т.к. данные будут восстанавливаться из избыточности. Это позволяет быстро сделать бекап или перестроить массив. Можно даже продолжать работать на сяпящемся диске без тормозов. В общем с ним ZFS при правильном использовании почти неубиваемая. Хотя изначально SCT ERC задумывался немного для другого.

Роль батарейки в сервере с программным райдом заменяет UPS

Это другой уровень защиты. Батарейку заменяет конденсатор SSD кеша записи. UPS например никак не спасет от внутреннего замыкания или аварийной остановки системы.

Это другой уровень защиты.

Нет, это как раз то же самое :) В аппаратном RAID-контроллере батарейка защищает кэш. В программном RAID'е UPS защищает данные в RAM ;)

Можно даже продолжать работать на сяпящемся диске без тормозов.

Нельзя. Диск либо полностью отстреливается по таймауту (с включенным SRC ERC), либо тормозит весь массив в худшем случае (с выключенным SRC ERC)

RE берут только за скорость, UER, HCL и прочие ынтерпрайзные плюшки.

В первую очередь за MTBF их берут, потом всё остальное.

MTBF никакой не показатель. Ну может для домохозяек.

Это на хардварных так. Любой софтовый будет пытаться прочитать до упора. И вот если и есть SRC ERC, на хардварном и софтовом диск отстреливается, а массив остается деградированный. Очень «умно», хаха. Потому что там рейд-контроллер или ОС работают сами по себе, не зная ничего о других компонентах, а ZFS это комплексная вещь, для нее работа SRC ERC приведет к тому, что по таймауту не весь диск отстрелится, а просто сбойный блок, который восстановится из копии, а работа массива продолжится без существенных задержек, хотя они будут и выше, чем вообще без сбойного диска. Именно в этом вся разница, ZFS защищает данные до упора, а хардовому контроллеру главное чтобы не тормозило.

В программном RAID'е UPS защищает данные в RAM ;)

О как! Ну тогда объясни, как там UPS защитит RAM без ECC или RAM от внутреннего замыкания или от ресета, а я пока за попкорном сгоняю )))

Ну и у WD RE гарантия 5 лет против 3х лет у Red'ов.

А что это значит? Реально прям, могу отдать убитый диск и дадут новый? :) Всегда интересно было...

Время ребилда 5/6 рейда никого не будет напрягает?

а ZFS это комплексная вещь, для нее работа SRC ERC приведет к тому, что по таймауту не весь диск отстрелится, а просто сбойный блок, который восстановится из копии, а работа массива продолжится без существенных задержек

А можно пруф?

Да нет же... Тут видишь, ребята scrub делают по 18-40 часов. Так, что какой-то там ребилд на недельку - фигня. :)

Ну это будет куча raid массивов. Оно то так можно. Но как-то не очень красиво.

А raid10, как куча raid1 массивов, тебя не смущает?

А что не так? Скорость записи в raid6, уже стала быстрее оной, чем скорость записи в raid10?

То, что raid10 это не зеркало, а страйп зеркал, добавь к одному raid6 ещё один и получишь на запись тот же самый страйп в виде raid60.

Нет, это как раз то же самое

Нет, тебе вроде русским языком сказали кернел паник. Чем там ups поможет?

В первую очередь за MTBF их берут, потом всё остальное.

UER, ты хотел сказать.

Тут видишь, ребята scrub делают по 18-40 часов. Так, что какой-то там ребилд на недельку - фигня. :)

scrub - это низкоприоритетная операция, поэтому в том, что он занимает 18-40 часов в данном конкретном случае нет ничего особенного. Восстановление избыточности aka resilvering будет намного (в несколько раз) быстрее, потому как это критически важная операция, и ее приоритет на уровне остального ввода-вывода.

raid60

Насколько популярен данный вид массива? Реально крутая штука?

А raid10, как куча raid1 массивов, тебя не смущает?

Да тоже не гуд, но одно дело, когда выполняется простое зеркалирование, другое дело когда выполняется xor, и прочие подобные операции, на большом кол-ве дисков.

Это безусловно понятно! Вопрос в том, что представить себе, ребилд 24 ТБ. массива... Сколько оно будет делаться? Как при этом изнасилуется CPU, и насколько упадёт производительность, и без того не особо производительного raid6...

ты же первый мне кричал в 2014, что raid60 никто не использует.

Вопрос стоит иначе - есть ли шанс, что не вылетят еще диски при ребилде.

Насколько популярен данный вид массива? Реально крутая штука?

Весьма. Хитачи dynamic pools рекомендует из raid6 лепить, но можно и из 5, и 10.

но одно дело, когда выполняется простое зеркалирование

Всё едино. Разница в потере места, и чем больший объём тебе нужен, тем больше это ощущается.

ты тогда с умным видом про raid61 задвигал, для тебя это, видимо, одно и то же.

про 60 ты тоже писал, не только про 61. хотя в реальности 61 рейд я соглашусь, я в глаза никогда не видел, как и 60. 0-1-5-6-10, 1 рейд средствами btrfs кстати сделанный мной до сих пор на тендерах у кодеров работает, хотя прошло уже 2,5 года. Я много чуши писал, начитавшись вершков, но увы, получить практику нормальную тупо негде.

про 60 я как раз и писал, что народ использует, а у тебя как обычно - слышал звон, да не знаешь где он.

61 рейд я соглашусь, я в глаза никогда не видел, как и 60.

что бы понять, что это сильно разные вещи, надо всего-лишь владеть азами raid, хотя бы из статьи в педевикии.

но увы, получить практику нормальную тупо негде.

у тебя не в отсутствии практики проблема.

Я предполагаю, что с возрастом накопителей - шансы увеличиваются.

Весьма. Хитачи dynamic pools рекомендует из raid6 лепить

Ок. Спасибо! В самом то деле, весьма интересно. Ибо, я так думаю, думаю, и понимаю что: raid6, для большого массива, явно не подходит. raid10 - тоже в общем то не особо надёжен. А вот raid60, действительно - альтернатива не плохая. Можно ли считать два: md:raid6 поверх которых бежит lvm, raid60?