LINUX.ORG.RU

Raid для хранилища бекапов + шара + диски

 , , , ,


1

2

Всем привет. Планирую построить отдельное 24 дисковое хранилище для файлов. Ежедневный вечерний бекап и файловая шара. Вот стал вопрос о том какой рейд использовать, что скажете насчет raid5 - 6(raidz) ? Дисков будет от 8 штук. Ну и диски планирую WD RED, что скажете ?

Мало данных

Скажем, что вы мало написали о стоимости этих файлов и стоимости минуты простоя.

Кроме того вы сначала говорите о 24-дисковом хранилище, а потом о том что дисков будет 8.

Для RAID-5 и RAID-6 обязательно нужен аппаратный контроллер с батарейкой, иначе будет тормозить и терять данные.

И таки да, RAID-6 неплохой выбор.

Camel ★★★★★ ()

24 дисковое хранилище для файлов
Ну и диски планирую WD RED, что скажете ?

wd red для таких задач не подходят, нужны wd se или re.

raid5 - 6(raidz)

raidz2 вполне себе хорошее решение.

King_Carlo ★★★★★ ()

диски ред не надо планировать
рейд5 тоже не надо, если не планируешь когда-нибудь данные потерять
аппаратный рейд с батарейкой на ебее можно купить за $100 непользованый

imul ★★★★★ ()

Во первых, диски должны уметь в TLER. WD RE - будет не плохим выбором.

Во вторых, надо понимать, что при выходе из строя одного диска, ты будешь вычитывать весь объём данных, с оставшихся 7ми дисков. Т.е.: пусть у тебя 8 дисков, по 4тб. Следовательно: 4*8=32-4=28тб. - То есть, при выходе из строя одного из дисков, тебе потребуется вычитать 28террабайт. Это во-первых. Во вторых, raidz2, ЕМНИП - не расширяется. То есть, надо понимать, что ты потом уже не добавишь дисков. Будешь или создавать второй raidz2 и потом это дело как-то совокуплять. Или пересоздавать массив. Ну и в третьих, надо понимать, что скорость записи в raid6/raidz2 - существено ниже, зеркальных массивов.

В общем, решай сам. Но я бы использовал только raid10. А в зависимости от важности данных, я бы даже использовал тройное плечо в raid10. Диски WD RE - стоят относительно вменяемых денег, для того чтобы позволить себе уменьшить ёмкость, в обмен, на быстрое восстановление, расширяемость, скорость, простоту.

DALDON ★★★★★ ()
Ответ на: Мало данных от Camel

ну начну с 8, а за год - полтора добавлю еще 16
Это будут бэкапы, приоритет имеют, но не самый высокий
WD Re довольно дорогие конечно чем RED

Ien_Shepard ★★ ()
Ответ на: комментарий от DALDON

спасибо за совет, я подумаю
Просто предполагаю, что для хранения файлов raid10 довольно жирно

Ien_Shepard ★★ ()
Ответ на: Мало данных от Camel

Для RAID-5 и RAID-6 обязательно нужен аппаратный контроллер с батарейкой, иначе будет тормозить и терять данные.

С дуба рухнул что ли?

Dimez ★★★★★ ()
Ответ на: комментарий от DALDON

Во первых, диски должны уметь в TLER.

TLER - это маркетинговое название SCT ERC от WD. Лучше использовать «общее» название.

Во-вторых, для ZFS SCT ERC неважен.

В третьих, приставка «тера-» не имеет отношения к Земле(терра) :)

Dimez ★★★★★ ()
Ответ на: комментарий от Dimez

Не рухнул

С дуба рухнул что ли?

Разъясните мне мою неправоту.

По моему опыту программный RAID-5 тормозит, потому что подсчёт XOR'ов ложится на центральный процессор. Аппаратный же контроллер эту нагрузку с ЦП снимает.

А батарейка нужна чтобы не потерять данные (на самом деле только уменьшить риск) при внезапном выключении. Где я не прав?

Camel ★★★★★ ()
Ответ на: комментарий от Dimez

уважаемый, одобряете WD RED или все же лучше переплатить за WD RE
цена примерно WD RE 407 уе
цена примерно WD RED 315 ye

ну и raid6(raidz2) адекватный выбор ?

Ien_Shepard ★★ ()

Raid6, WD RE - под бэкапы нормально. Если есть ИБП и ты сможешь корректно отключить хранилку пока не села батарея, то отдельная батарейка в контроллере не очень важна. Под маловажные бэкапы можно брать что-то и подешевле чем RE (имеется ввиду, если тебя не напрягает что бэкап может не закончиться вовремя при проблемном диске, который не отстрелен из массива и отдаёт/принимает данные мегабайт по 5 в секунду).

NightOperator ★★★ ()
Последнее исправление: NightOperator (всего исправлений: 1)
Ответ на: Не рухнул от Camel

аппаратные рейды дешевле 400 баксов хуже чем 6 raid на zfs при наличии оперативы конечно. я конечно тоже за аппаратный raid, но я покупал с марвеловскими чипами от 1000 usd. Благо на тендерах с этим проблем не было. А всё что сейчас дешевле 300 баксов в магазине будет хуже md даже настроенного школьником.

erzenteded ()
Ответ на: комментарий от Ien_Shepard

ну начну с 8, а за год - полтора добавлю еще 16

Ну ты запомнил, да, что raid6 - в общем случае расширить нельзя?

WD Re довольно дорогие конечно чем RED

Предлагаю тебе экономию на дисках: можешь взять и RED, главное, убедись, что они умеют в: smartctl -l scterc,70,70 /dev/sdX. А на сэкономленные средства, предлагаю разориться на RAID10. Сможешь расширять массив, не будет больших проблем при пересборке. Ну это как вариант. Можешь ещё вот это прочитать: http://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs-not-raidz/

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

То есть, надо понимать, что ты потом уже не добавишь дисков. Будешь или создавать второй raidz2 и потом это дело как-то совокуплять.

Добавляешь в пул ещё один/два/etc raidz2 vdev.

Ну и в третьих, надо понимать, что скорость записи в raid6/raidz2 - существено ниже, зеркальных массивов.

Вот если бы ты сам ещё понимал, что пишешь.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от Dimez

для ZFS SCT ERC неважен

Распространенное заблуждение. При наличии избыточности лучше пропустить ошибку и восстановить данные в рабочий блок, вместо того, чтобы кряхтеть над сбойным и подозрительным. Только так ZFS будет прозрачно восстанавливать инфу даже на полудохлом диске или легко проведет ребилд массива со сбоящими дисками. Последнее кстати очень важно когда хренобайты переливаются со всего массива на новый диск и это надо сделать как можно быстрее.

Lordwind ★★★★★ ()
Ответ на: комментарий от DALDON

raid6 - в общем случае расширить нельзя

В случае использования mdadm можно. Мы не знаем, какой вариант выберет ТС - возможно он не выберет себе дешёвый аппаратный контроллер, который не умеет расширять 6й рейд :)

NightOperator ★★★ ()
Последнее исправление: NightOperator (всего исправлений: 1)
Ответ на: комментарий от DALDON

Реды умеют SCT ERC, не надо пугать человека. Зато они дешевле, тише, холоднее. Если не нужна высокая производительность, это как раз то что надо. RE берут только за скорость, UER, HCL и прочие ынтерпрайзные плюшки.

Lordwind ★★★★★ ()

Тут нужно сразу просчитать группы дисков. Если сможешь закупать большими пачками, то можешь raid6/raidz2, если нет, то raid1/mirror и паковать их в страйпы по вкусу. С raid5/raidz не советую связываться, он как бы устарел.

Lordwind ★★★★★ ()
Ответ на: комментарий от Lordwind

Не, не... Я не пугаю. Просто на 100%, не уверен, что реды умеют SCT ERC. - Я пробовал, у меня получилось. Но, не уверен, что все диски в линейке это умеют.

RE берут только за скорость

Это да. Стесняюсь подумать, как будет весело, когда raid6 из 12ти дисков будет перестраиваться... - Пока он будет этим заниматься, у него ещё половина дисков посыпется)) Особенно, если включить: SCT ERC. В целом то красные диски - это ОК. И там ещё, в красных, кажется не больше 6-8 штук в одной железке. - Ибо вибрация. Думаю что у RE - сей показатель лучше.

В общем: UER, HCL - не пустые слова, особенно в raid5/6

DALDON ★★★★★ ()
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от EvgGad_303

Добавляешь в пул ещё один/два/etc raidz2 vdev.

Ну это будет куча raid массивов. Оно то так можно. Но как-то не очень красиво.

Вот если бы ты сам ещё понимал, что пишешь.

А что не так? Скорость записи в raid6, уже стала быстрее оной, чем скорость записи в raid10? Да и вообще, мне по нику не положено понимать, в то, что я пишу! - Ты же уже вроде не однократно меня в этом упрекал. Хотя по делу ты многое говоришь. :) Так, что да, пинай в меня. :)

DALDON ★★★★★ ()
Последнее исправление: DALDON (всего исправлений: 2)
Ответ на: комментарий от DALDON

У меня raidz2 из 8+2 редов по 4 тб, сейчас забит на 2/3, регулярно делаю скраб, он длится от 18 до 40 часов, меня это устраивает.

UER актуален больше для raid5/raidz и я считаю, что лучше один дополнительный диск отдать на избыточность, чем переплачивать за ынтерпрайзность. Если конечно не нужна высокая скорость записи или иопсы.

Про вибрацию согласен, в редах только базовая защита, не помню какая. Но они и вибрируют меньше.

Lordwind ★★★★★ ()
Ответ на: Не рухнул от Camel

По моему опыту программный RAID-5 тормозит, потому что подсчёт XOR'ов ложится на центральный процессор.

Этому опыту много лет уже. Более-менее современные процессоры практически не замечают XOR'а.

Роль батарейки в сервере с программным райдом заменяет UPS.

Dimez ★★★★★ ()
Ответ на: комментарий от Ien_Shepard

Есть возможность RE купить - купите RE. Вылезаете из бюджета - без проблем на Red'ах. Только лучше WD Red Pro (они 7200 против 5400 обычных WD Red, побыстрее немного, но и погорячее). Ну и у WD RE гарантия 5 лет против 3х лет у Red'ов.

Да, raidz2 - отличный выбор. После покупки следующих дисков можно сделать страйп из двух raidz2 ;)

Dimez ★★★★★ ()
Ответ на: комментарий от Lordwind

Распространенное заблуждение.

Это не заблуждение. Лучше, если есть нормальный бюджет, разумеется, сразу вывалить из массива и купить новый. Но в реалиях всё похуже. Кроме того, ZFS отлично выкидывает из массива диски, если с них ошибки чтения идут, не полагаясь на SCT ERC.

Dimez ★★★★★ ()
Ответ на: комментарий от Dimez

Винты крайне редко умирают быстрой и легкой смертью. Часто они как раз медленно дохнут и в процессе издыхания бывает все что угодно. SCT ERC позволяет быстро пропускать ошибки чтения, т.к. данные будут восстанавливаться из избыточности. Это позволяет быстро сделать бекап или перестроить массив. Можно даже продолжать работать на сяпящемся диске без тормозов. В общем с ним ZFS при правильном использовании почти неубиваемая. Хотя изначально SCT ERC задумывался немного для другого.

Lordwind ★★★★★ ()
Ответ на: комментарий от Dimez

Роль батарейки в сервере с программным райдом заменяет UPS

Это другой уровень защиты. Батарейку заменяет конденсатор SSD кеша записи. UPS например никак не спасет от внутреннего замыкания или аварийной остановки системы.

Lordwind ★★★★★ ()
Ответ на: комментарий от Lordwind

Это другой уровень защиты.

Нет, это как раз то же самое :) В аппаратном RAID-контроллере батарейка защищает кэш. В программном RAID'е UPS защищает данные в RAM ;)

Dimez ★★★★★ ()
Ответ на: комментарий от Lordwind

Можно даже продолжать работать на сяпящемся диске без тормозов.

Нельзя. Диск либо полностью отстреливается по таймауту (с включенным SRC ERC), либо тормозит весь массив в худшем случае (с выключенным SRC ERC)

Dimez ★★★★★ ()
Ответ на: комментарий от Lordwind

RE берут только за скорость, UER, HCL и прочие ынтерпрайзные плюшки.

В первую очередь за MTBF их берут, потом всё остальное.

King_Carlo ★★★★★ ()
Ответ на: комментарий от King_Carlo

MTBF никакой не показатель. Ну может для домохозяек.

Lordwind ★★★★★ ()
Ответ на: комментарий от Dimez

Это на хардварных так. Любой софтовый будет пытаться прочитать до упора. И вот если и есть SRC ERC, на хардварном и софтовом диск отстреливается, а массив остается деградированный. Очень «умно», хаха. Потому что там рейд-контроллер или ОС работают сами по себе, не зная ничего о других компонентах, а ZFS это комплексная вещь, для нее работа SRC ERC приведет к тому, что по таймауту не весь диск отстрелится, а просто сбойный блок, который восстановится из копии, а работа массива продолжится без существенных задержек, хотя они будут и выше, чем вообще без сбойного диска. Именно в этом вся разница, ZFS защищает данные до упора, а хардовому контроллеру главное чтобы не тормозило.

Lordwind ★★★★★ ()
Ответ на: комментарий от Dimez

В программном RAID'е UPS защищает данные в RAM ;)

О как! Ну тогда объясни, как там UPS защитит RAM без ECC или RAM от внутреннего замыкания или от ресета, а я пока за попкорном сгоняю )))

Lordwind ★★★★★ ()
Ответ на: комментарий от Dimez

Ну и у WD RE гарантия 5 лет против 3х лет у Red'ов.

А что это значит? Реально прям, могу отдать убитый диск и дадут новый? :) Всегда интересно было...

DALDON ★★★★★ ()

Время ребилда 5/6 рейда никого не будет напрягает?

dk- ()
Ответ на: комментарий от Lordwind

а ZFS это комплексная вещь, для нее работа SRC ERC приведет к тому, что по таймауту не весь диск отстрелится, а просто сбойный блок, который восстановится из копии, а работа массива продолжится без существенных задержек

А можно пруф?

DALDON ★★★★★ ()
Ответ на: комментарий от dk-

Да нет же... Тут видишь, ребята scrub делают по 18-40 часов. Так, что какой-то там ребилд на недельку - фигня. :)

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

Ну это будет куча raid массивов. Оно то так можно. Но как-то не очень красиво.

А raid10, как куча raid1 массивов, тебя не смущает?

А что не так? Скорость записи в raid6, уже стала быстрее оной, чем скорость записи в raid10?

То, что raid10 это не зеркало, а страйп зеркал, добавь к одному raid6 ещё один и получишь на запись тот же самый страйп в виде raid60.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от Dimez

Нет, это как раз то же самое

Нет, тебе вроде русским языком сказали кернел паник. Чем там ups поможет?

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от King_Carlo

В первую очередь за MTBF их берут, потом всё остальное.

UER, ты хотел сказать.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от DALDON

Тут видишь, ребята scrub делают по 18-40 часов. Так, что какой-то там ребилд на недельку - фигня. :)

scrub - это низкоприоритетная операция, поэтому в том, что он занимает 18-40 часов в данном конкретном случае нет ничего особенного. Восстановление избыточности aka resilvering будет намного (в несколько раз) быстрее, потому как это критически важная операция, и ее приоритет на уровне остального ввода-вывода.

anonymous ()
Ответ на: комментарий от EvgGad_303

raid60

Насколько популярен данный вид массива? Реально крутая штука?

А raid10, как куча raid1 массивов, тебя не смущает?

Да тоже не гуд, но одно дело, когда выполняется простое зеркалирование, другое дело когда выполняется xor, и прочие подобные операции, на большом кол-ве дисков.

DALDON ★★★★★ ()
Ответ на: комментарий от anonymous

Это безусловно понятно! Вопрос в том, что представить себе, ребилд 24 ТБ. массива... Сколько оно будет делаться? Как при этом изнасилуется CPU, и насколько упадёт производительность, и без того не особо производительного raid6...

DALDON ★★★★★ ()
Ответ на: комментарий от EvgGad_303

ты же первый мне кричал в 2014, что raid60 никто не использует.

erzenteded ()
Ответ на: комментарий от DALDON

Вопрос стоит иначе - есть ли шанс, что не вылетят еще диски при ребилде.

dk- ()
Ответ на: комментарий от DALDON

Насколько популярен данный вид массива? Реально крутая штука?

Весьма. Хитачи dynamic pools рекомендует из raid6 лепить, но можно и из 5, и 10.

но одно дело, когда выполняется простое зеркалирование

Всё едино. Разница в потере места, и чем больший объём тебе нужен, тем больше это ощущается.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от erzenteded

ты тогда с умным видом про raid61 задвигал, для тебя это, видимо, одно и то же.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от EvgGad_303

про 60 ты тоже писал, не только про 61. хотя в реальности 61 рейд я соглашусь, я в глаза никогда не видел, как и 60. 0-1-5-6-10, 1 рейд средствами btrfs кстати сделанный мной до сих пор на тендерах у кодеров работает, хотя прошло уже 2,5 года. Я много чуши писал, начитавшись вершков, но увы, получить практику нормальную тупо негде.

erzenteded ()
Ответ на: комментарий от erzenteded

про 60 я как раз и писал, что народ использует, а у тебя как обычно - слышал звон, да не знаешь где он.

61 рейд я соглашусь, я в глаза никогда не видел, как и 60.

что бы понять, что это сильно разные вещи, надо всего-лишь владеть азами raid, хотя бы из статьи в педевикии.

но увы, получить практику нормальную тупо негде.

у тебя не в отсутствии практики проблема.

EvgGad_303 ★★★★★ ()
Ответ на: комментарий от dk-

Я предполагаю, что с возрастом накопителей - шансы увеличиваются.

DALDON ★★★★★ ()
Ответ на: комментарий от EvgGad_303

Весьма. Хитачи dynamic pools рекомендует из raid6 лепить

Ок. Спасибо! В самом то деле, весьма интересно. Ибо, я так думаю, думаю, и понимаю что: raid6, для большого массива, явно не подходит. raid10 - тоже в общем то не особо надёжен. А вот raid60, действительно - альтернатива не плохая. Можно ли считать два: md:raid6 поверх которых бежит lvm, raid60?

DALDON ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.