LINUX.ORG.RU

Вопросы по аппратному RAID-6

 


1

3

Добрый день. Есть вопросы к опытным пользователям такого железа. Буду благодарен за ответы.

1) Когда вылетает один диск - он пищит ? Интересует именно пищание, не рассылка e-mail, алерты и пр.

2) Вот вылетел один диск, мы меняем диск, начинаем восстановление, и обнаруживается ошибка на ещё одном. Он этот ещё один выбраковывает сразу же или по окончанию процесса ребилда массива ?

3) Вообще, смысл в 6-м рейде вместо 5-го, исходя из вашей практики, был хоть раз ? То, что он, теоретически, надёжнее, это понятно. Но не оборачивается ли это на практике какими-то граблями ?

★★★★

Последнее исправление: lenin386 (всего исправлений: 2)

тож интересно услышать про аппаратный..

(но сам бы я не рискнулбы аппаратный поставить, не доверяю я аппаратным...)

user_id_68054 ★★★★★
()

1) Если на контроллере есть спикер - то да, по-умолчанию пищание включено. Но обычно горит красным бэкплейн и пищит он же.

2) Согласно TLER серверные диски при ошибке отключаются очень быстро.

3) На больших объёмах массива - более чем есть. Т.к. вероятность невосстановления при ребилде довольно быстро растёт при использовании raid5 и составляет ЕМНИП порядка 10% при объёме массива порядка 10TB. http://blog.aboutnetapp.ru/archives/975

P.S. Будь логичным, либо пробелы перед всеми знаками препинания ставь (точка и запятая), либо не ставь перед знаком вопроса.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

Хороший ссылка. А то я все слышал звон, да не знал откуда он. А самому считать лень.

Когда станет совсем жалко тратить место на 10й софтовый, прикуплю железный 6й.

Правда вот вопрос:
Насколько чревато десктопные диски с железякой-контроллером пользовать?

dk-
()
Ответ на: комментарий от dk-

Насколько чревато десктопные диски с железякой-контроллером пользовать?

Да просто сейчас пошли такие железяки-контроллеры, которые с десктопными дисками более 8 дисков не могут. Больше - только через экспандер, а экспандер - это только SAS. Нисколько не чревато, также работают абсолютно.

У меня тут один комп. Сейчас там 12 дисков, надо докупить ещё, не знаю пока, сколько получится туда докупить. В связи с таким количеством дисков, да и с возрастом уже имеющихся, RAID5 оставлять уже как-то очково. С другой стороны, надо чётко понимать, как оно работает. Тут дело вот в чём. Вероятностная теория тут не особо применима ИМО. Если диски из одной партии начинают сыпаться, то сыпятся они либо все, либо отказы единичны. Вот у меня так ни разу не было, чтобы умерло два диска. Гибель дисков либо массовая, либо дохнут по одному. Поэтому, если рейд6 будет выбраковывать диски прямо во время ребилда, то при массовом отказе это нифига не поможет - один фиг рейд не соберётся. А при единичном отказе, хватает рейда5. Я верю в принцип «чем проще», тем надёжнее. Рейд6 - это больше движений головами, больше износа, теоретически. Практически - не знаю, спрашиваю. С шестым рейдом дела не имел, и не хочу начинать именно с этой машины, могу поиметь слишком много гимора.

lenin386 ★★★★
() автор топика
Последнее исправление: lenin386 (всего исправлений: 4)
Ответ на: комментарий от anonymous

твой прон АНБ не нужен. ИМХО.

это да (всё верно). но я имею ввиду что RAID-6 может например сломаться (аппаратный контроллер), и тогда можно невозвратно потерять инфу например из-за несовместимости формата.

или другой аспект: вдруг аппаратный RAID-6 не удосужится принять верное решение в чрезвычайной стуации.. (кто там на баги его проверял? кто проверял все возможные виды фэлов?)

user_id_68054 ★★★★★
()
Ответ на: комментарий от user_id_68054

что RAID-6 может например сломаться (аппаратный контроллер), и тогда можно невозвратно потерять инфу например из-за несовместимости формата.

RAID6 не заменяет бэкап. Покупаешь новый сервер ставишь туда старые диски, форматируешь, раскатываешь из бэкапа. И не надо бояться.

sdio ★★★★★
()
Ответ на: комментарий от user_id_68054

RAID-6 может например сломаться (аппаратный контроллер), и тогда можно невозвратно потерять инфу например из-за несовместимости формата

Покупается контроллер такой же фирмы, и всё восстанавливается. Если бы из-за кончины контроллера нельзя было бы восстановить инфу, ими никто не пользовался бы.

lenin386 ★★★★
() автор топика
Ответ на: комментарий от user_id_68054

или другой аспект: вдруг аппаратный RAID-6 не удосужится принять верное решение в чрезвычайной стуации..

Аппаратный контроллер имеет батарейку и оттестирован на предмет ошибок по самое немогу. В случае с ограниченной железкой, это реально. Я считаю гораздо более вероятной ситуацию, когда софварный рейд из-за BSOD-а, подвисания, вырубания чего угодно, начудит делов.

lenin386 ★★★★
() автор топика
Последнее исправление: lenin386 (всего исправлений: 3)
Ответ на: комментарий от dk-

Насколько чревато десктопные диски с железякой-контроллером пользовать?

Десктопные диски от серверных отличаются:

1) URE (Unrecoverable Read Error) или BER (Bit Error Rate), соответственно 10^14 против 0^15 или даже 10^16 (2 порядка!) у серверных

2) ERC (Error recovery control. TLER у WD, CCTL у хитачей и т.д.). Десктопные диски в случае бэд-сектора будут пилиться долго-долго, пытаясь прочитать этот самый сектор, тем самым тормозя весь массив, в отличие от отстрела диска за 7 ЕМНИП секунд.

Ну если на основе этой информации всё ещё захочешь десктопные диски с железным контроллером использовать - обязательно отключи автопарковку :)

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от lenin386

Вероятностная теория тут не особо применима ИМО. Если диски из одной партии начинают сыпаться, то сыпятся они либо все, либо отказы единичны.

Применима. Просто не надо думать, что raid заменяет backup и надо думать, что диски - расходный материал.

Deleted
()
Ответ на: комментарий от lenin386

Аппаратный контроллер имеет батарейку и оттестирован на предмет ошибок по самое немогу. В случае с ограниченной железкой, это реально. Я считаю гораздо более вероятной ситуацию, когда софварный рейд из-за BSOD-а, подвисания, вырубания чего угодно, начудит делов.

Святая простота!!!

Deleted
()

Вообще, смысл в 6-м рейде вместо 5-го, исходя из вашей практики, был хоть раз ?

В моей практие вендор рекомендует использовать именно raid6 при формировании рейд групп. Он опирается на свою статистику граблей, правда это относится к СХД, а не железке для сервера. Но думаю, что смысл тот же.

cipher ★★★★★
()
Ответ на: комментарий от lenin386

Аппаратный контроллер имеет батарейку и оттестирован на предмет ошибок по самое немогу. В случае с ограниченной железкой, это реально. Я считаю гораздо более вероятной ситуацию, когда софварный рейд из-за BSOD-а, подвисания, вырубания чего угодно, начудит делов.

Ты удивишься, но у меня все с точностью до наоборот.

tazhate ★★★★★
()
Последнее исправление: tazhate (всего исправлений: 2)
Ответ на: комментарий от Deleted

Автопарковка везде отключена. В жопу такую экономию ресур... ой! электричества!

dk-
()
Ответ на: комментарий от lenin386

Да просто сейчас пошли такие железяки-контроллеры, которые с десктопными дисками более 8 дисков не могут. Больше - только через экспандер, а экспандер - это только SAS. Нисколько не чревато, также работают абсолютно.

Что-то от меня ускользает смысл этого абзаца. Поясни, пожалуйста?

Deleted
()
Ответ на: комментарий от Deleted

Почитал, что есть URE/BER и какие у них различия у дектопных\серверных.

Возникло некое «сомнение» - а за счет чего же они различаются на порядок-два. Ведь всяко диски клепают на одних и тех же линиях.

dk-
()
Ответ на: комментарий от cipher

В моей практие вендор рекомендует использовать именно raid6 при формировании рейд групп. Он опирается на свою статистику граблей,

Из практики написания подобных рекомендаций:
- Вась, а что написать в спеках к проекту ?
- пиши рейд 5
- а это надежно ?
- ну напиши рейд6.
- ок.
«В качестве хранилища для нашего проекта рекомендуется использование не одиночных дисков, а сетевых хранилищ, обеспечивающих должный уровень быстродействия и надежности, либо рейд массив уровня 6, как обеспечивающий наилучшее соотношение производительности и сохранности. Так же необходимо помнить об обеспечении стабильного питания систем во избежание...»
А народ потом на форумах сидит и меряется у кого рейд круче.

handbrake ★★★
()
Ответ на: комментарий от handbrake

Из практики написания подобных рекомендаций

Вот именно поэтому ты у них не работаешь, и твоё железо не продаётся такими объемами. Там люди всё-таки некоторой статистикой заморачиваются. Но ты можешь и дальше всё отрицать, опираясь на опыт своей конторки.

cipher ★★★★★
()
Ответ на: комментарий от handbrake

это писалось в бааааальшом ынтырпрайзе.

Я оставлю это на совести твоего баааааальшого ынтырпрайза, лично мне кидали статистику по рейдам вендора, который как раз и делает «сетевые хранилища, обеспечивающие должный уровень быстродействия и надежности.» Вообще, я не понял твоей предъявы, ты либо опровергай высказывание, либо соглашайся. А то ляпнул что-то непонятное, которое никак не противоречит моему посту, но вроде бы и в позу встал.

cipher ★★★★★
()
Ответ на: комментарий от cipher

У тебя камент был, а не пост, но не суть. А часто предоставляешь своему вендору информацию о своих конфигурациях хранилищ и статистику замены дисков ?

handbrake ★★★
()
Ответ на: комментарий от dk-

если 6-й рейд реально надежнее 5-го?

Он теоретически надёжнее. Надёжнее ли он в реальности - пытаюсь узнать тут. Давайте, поставим вопрос иначе. У вас, на вашей практике хоть раз не поднимался RAID5 по причине того, что отказал один и диск, и потом ещё один во время восстановления массива ?

lenin386 ★★★★
() автор топика
Ответ на: комментарий от Deleted

С языка снял.

Окей, но по какой причине он пищит ? Разве 6-й рейд считается деградировавшим без одного диска ?

lenin386 ★★★★
() автор топика
Ответ на: комментарий от lenin386

Он теоретически надёжнее. Надёжнее ли он в реальности - пытаюсь узнать тут.

Надёжность - функция вероятности. raid-6 надёжнее raid-5, вне зависимости от чьего-либо мнения и опыта.

King_Carlo ★★★★★
()
Ответ на: комментарий от lenin386

А с чего ему не быть деградировавшим то?

dk-
()
Ответ на: комментарий от dk-

Прекрасная статья

Писаки ламера какого-то. Единственная претензия к RAID5 у него - это скорость восстановления ~сутки. И из-за этого он типа must die. Только паренёк запамятовал привести скорость восстановления «конкурентов». Так, для справки. И свою конфигурацию заодно.

lenin386 ★★★★
() автор топика
Последнее исправление: lenin386 (всего исправлений: 1)
Ответ на: комментарий от Deleted

Что-то от меня ускользает смысл этого абзаца. Поясни, пожалуйста?

А что тут не понятно. Сейчас мода на контроллеры с двумя SSF8087 разъёмами. Через которые ты более 8 SATA дисков не подключишь. А SAS дисков, через экспандер - дофига.

lenin386 ★★★★
() автор топика
Ответ на: комментарий от lenin386

хоть раз не поднимался RAID5 по причине того, что отказал один и диск, и потом ещё один во время восстановления массива ?

Больше чем 1 раз. Аналогично с рейд1,10,6,50,60. Вероятность одновременного выхода 2,3,n-ного диска в массиве из строя - ниочем. Вероятность, что это это случится именно с тобой - 50% - либо случится, либо нет. И чем дольше ты с этим работаешь, тем вероятность этого события ближе к 100%. Я заметил только одну закономерность - чем больше дисков напихано в ОДИН массив - тем больше дисков в ОДНОМ массиве могут выйти из строя.

handbrake ★★★
()
Ответ на: комментарий от handbrake

А часто предоставляешь своему вендору информацию о своих конфигурациях хранилищ и статистику замены дисков ?

А что её предоставлять? Ты сам(или инженер вендора/партнёра) оформляешь кейс на замену диска или чего там ещё. А конфигурация у них с момента покупки имеется.

EvgGad_303 ★★★★★
()
Последнее исправление: EvgGad_303 (всего исправлений: 1)

1) Когда вылетает один диск - он пищит ? Интересует именно пищание, не рассылка e-mail, алерты и пр.

ты издеваешься? Может хоть контроллер скажешь?

darkenshvein ★★★★★
()
Ответ на: комментарий от EvgGad_303

Ага и они ее скрупулезно учитывают. А еще обзванивают и спрашивают «а вы не меняли ли там чего», а то вдруг у нас статистика неверная будет. Но тогда, чтоб уделать конкурентов, всем только в одной лучшей конфигурации продавать и надо, чтобы точно у конечного покупателя не дайбог чего. Не ? :)

handbrake ★★★
()
Ответ на: комментарий от handbrake

Зачем тебе самому что-то менять, если оно на суппорте и всё бесплатно? Статистика ведётся автоматом.

всем только в одной лучшей конфигурации продавать и надо

А какие тебе конфигурации надо от схд? Основные характеристики - кол-во кэша, кол-во дисков и их тип и кол-во бэк- и фронт-энд портов, остальное не ваше дело.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

Не, если со стороны «оно на суппорте» то да, картина такая. Статистика вообще молодец, что автоматом сама по себе ведется. Очень удобно, что ее вести никому не надо, она все сама. Васю, кстати Майло звали, емнип, но не суть.

handbrake ★★★
()
Ответ на: комментарий от handbrake

Так ты и не купишь новую схд без суппорта.

Статистика вообще молодец, что автоматом сама по себе ведется.

В нормальных фирмах всегда ведётся учёт сколько чего и куда ушло на каждом этапе работы с клиентом и вытащить оттуда данные для статистики не составляет труда. Конечным анализом, естественно, люди занимаются.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

Конечным анализом, естественно, люди занимаются.

А то - в несколько стран несколько вагонов/самолетов отгрузил, для следующей партии собрал статистику - на сколько там 5х рейдов больше чем 6х упало.

handbrake ★★★
()
Ответ на: комментарий от lenin386

У вас, на вашей практике хоть раз не поднимался RAID5 по причине того, что отказал один и диск, и потом ещё один во время восстановления массива?

Всякое бывало. Один раз на массиве SUN StorEdge 3510FC одновременно умерли:
- 2 диска (да, был RAID-5)
- 1 контроллер (второй работал)
Данные не спасли, но они и особо никому и не были нужны =)

bigbit ★★★★★
()
Ответ на: комментарий от handbrake

А часто предоставляешь своему вендору информацию о своих конфигурациях хранилищ и статистику замены дисков ?

У них все это и так есть. Массив сам звонит вендору при отказе диска и вызывает инженера для замены.
Любые изменения в конфигурации сначала утверждаются вендором. А конечному потребителю запрещено даже открывать дверцу шкафа.

bigbit ★★★★★
()
Ответ на: комментарий от lenin386

Через экспандер разве sata подключить нельзя? :-)

Deleted
()
Ответ на: комментарий от lenin386

Да, осенью потерялась инфа на некритичном сервере на raid6. При ребилде последовательно вылетели ещё 2 диска.

Deleted
()
Ответ на: комментарий от bigbit

А, оно на полной поддержке, тогда да. Мы также ставим. Статистика «на местах» разумеется есть. Я под вендором производителя имел в виду, а не местную поддержку. Но причем тут оно, это уже аутсорс. Тут вопрос с самостоятельным ковырянием сервера был, где админ еще хозяин своему железу. А массив таки прямо звонит или все-таки по инету шлет ?

handbrake ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.