программный средствами ОС (geom/vinum)

если на контроллере нет своего цпу и кэша => в печь

если рейд дешевле 200баксов то это не рейд. Тем более без батарейки. Обычно софтовые решения лучше отлажены(но не всегда).

С батарейкой.

Чего так дорого берёте, целых 200 $? И зачем батарейка нужна? Хранить кэш недописанных данных?

> Чего так дорого берёте, целых 200 $?

А сколько ж ещё? Примерно так и есть.

> И зачем батарейка нужна? Хранить кэш недописанных данных?

Да. При пропадании питания.

Собственно чем лучше изучать под фряхой GEOM или Vinum, если и то и то учить с нуля?

gmirror :).

Лично я всегда делаю софтовый рейд когда не требуется быстрое дисковое io ибо заипали все эти фастраки, интеловое дерьмо, 3ware итп. Не то чтобы прям часто глючило, но это не та подсистема сервера которой допустимо глючить. Почитайте чейнжлоги к "интеловым" рейдам. Вот пример:

Fixes/Updates
=============
414I - Added the following fixes
1. Fixed Data Loss in LD if other LD rebuilt has medErr in
2. Fixed Invalidiate LD cache after WRITE Policy changes
3. Fixed Silent Data corruption after BBU failure
4. Fixed Data Corruption when running error injection script along with I/O in partially degraded mode 

Мне такой рейд не нужен даже если мне приплатят. А ведь это не самая дешёвая железка была.

> А ведь это не самая дешёвая железка была.
вы про intel srcu42x? и почему была?

потому что я поставил софтовый рейд на сервер :). А рейд отдал тем кому она нужнее :). Не помню к какому это контроллеру, вроде к srczcrx который очень древний(год выхода чипа на котором оно основано 2003).

Ну в общем разочарован я в хардварных рейдах в плане надёжности. Софтовый позволяет как угодно рулиться(что нужно в аварийных ситуациях), а hw тока в пределах того что предусмотрел производитель. Да и батарейка нужна, она приличных денег стоит. Мне непонятно почему надо платить дважды: за рейд и батарейку(особенно когда батарейка баксов 250стоит). Вот материнки даже самые дешёвые с батарейкой идут. Цена ni-mh и li-ion аккумуляторов копейки, а продают по бешеным ценам. Деньги на батарейку есть, просто не люблю учавствовать в разводе.

Короче, имхо, большинство рейдов не стоят своих денег.

Re^2: RAID системой или ....

> потому что я поставил софтовый рейд на сервер :). А рейд отдал тем кому она нужнее :).

> Не помню к какому это контроллеру, вроде к srczcrx который очень древний(год выхода чипа на котором оно основано 2003).

> Ну в общем разочарован я в хардварных рейдах в плане надёжности. Софтовый позволяет как угодно рулиться(что нужно в аварийных ситуациях), а hw тока в пределах того что предусмотрел производитель.

> Да и батарейка нужна, она приличных денег стоит. Мне непонятно почему надо платить дважды: за рейд и батарейку(особенно когда батарейка баксов 250стоит). Вот материнки даже самые дешёвые с батарейкой идут. Цена ni-mh и li-ion аккумуляторов копейки, а продают по бешеным ценам. Деньги на батарейку есть, просто не люблю учавствовать в разводе.

> Короче, имхо, большинство рейдов не стоят своих денег.

вы батарейкой ключ называете?

Короче конвертнул все три массива из "аппаратно-софтового" рейда - VIA, JMICRON, NFORCE в GEOM Mirror восемь часов синхронизации реплик и все ОК! Чем дальше тем больше мне эта система нравится! Последний опыт под лином создать миррор ядром ОС вместо БИОСА привел к стиранию всех данных :( под фряхой прокатило без особых траблов.

> вы батарейкой ключ называете?

какой нах ключ? если не знал, рейду нормальному нужна батарейка, например, такая: http://www.amazon.com/3Ware-Battery-Backup-Unit-BBU-9500S-01/dp/B0007W2IX8

Называется это BBU, что это такое найдешь в гугле.

Теперь вопрос: что есть ключ? :)

> Теперь вопрос: что есть ключ? :)

На некоторых топовых интелловских мат. платах raid-контроллер уже распаян на плате, но для его активации нужен ключ (этакая таблетка, как на домофоне). Стоит она, естественно, столько же, сколько и контроллер. Такой вот маркетинговый прием :(.

А вообще, зря Вы так про аппаратный raid. При серьезной нагрузке на сервер он здорово выручает. Да и надежность гораздо выше, чем у программного.

> При серьезной нагрузке на сервер он здорово выручает. Если нагрузка на диск то да. Опять-таки, software raid5 у меня на чтение выдавал 90метров в секунду. А вообще raid5 гавно и по надёжности и по скорости записи.

> а и надежность гораздо выше, чем у программного. эээ, батенька, кто вам такое сказал? я в этом треде уже приводил типичный чейнлог от производителя рейда. Я софтовый ну очень много где использую, не было у меня проблем, разве что с тем что через atacontrol делаются, gmirror и dm_raid1 пашут заипись. Тока в dm_raid5 была бага пол года назад неприятная и иногда по мелочи фиксят, больше с ошибками не сталкивался.

> Если нагрузка на диск то да.

Как раз если все упирается в производительность дисков, тип raid мало значения имеет. А вот если у Вас процессор/память загружены, то преимущества аппаратного raid в плане производительности становятся очевидными. Я уж не говорю про кэш аппаратного контроллера, который на определенных задачах может в разы поднять производительность дисковой подсистемы на запись.

> Опять-таки, software raid5 у меня на чтение выдавал 90 метров в секунду.

Очень редко на сервере важна скорость последовательного чтения/записи. Гораздо большее значение имеют IOPs - число обращений к дисковой подсистеме в секунду.

> А вообще raid5 гавно и по надёжности

Кто Вам такое сказал? :) На нормальном контроллере raid5 не хуже с точки зрения надежности, чем raid10, например. Оба гарантированно выдерживают вылет одного диска. А рассчитывать на то, что raid10 выдержит вылет второго, если тот окажется в другой страйп-группе никто в здравом уме не будет. Ну и потом, в нормальном корпусе вероятность одновременного вылета двух дисков достаточно низка, чтобы ей пренебречь, а использование hotspare позволяет снизить до минимума время функционирования raid в критическом состоянии :). Если же у Вас больше десятка дисков, то никто не мешает Вам использовать raid6 :).

> и по скорости записи.

Тут соглашусь, но, опять-таки - все относительно. Конечно, под базу данных с высокой нагрузкой на запись использовать raid5 странно.

> эээ, батенька, кто вам такое сказал? я в этом треде уже приводил типичный чейнлог от производителя рейда. Я софтовый ну очень много где использую, не было у меня проблем, разве что с тем что через atacontrol делаются, gmirror и dm_raid1 пашут заипись. Тока в dm_raid5 была бага пол года назад неприятная и иногда по мелочи фиксят, больше с ошибками не сталкивался.

Попробуйте немного подумать :). А заодно вспомнить win-модемы и win-принтеры :). В двух словах - при использовании аппаратного raid все операции с дисками не зависят от cpu и приложений, которые на нем выполняются. Это означает, что Вы можете быть спокойны относительно целостности массива в случае нестабильной работы системы, высокой загрузке cpu и т. п. Кроме того, подумайте, что будет, например, если в Вашем сервере накроется блок(и) питания/ups? Или случится kernel panic? В случае аппаратного контроллера данные кеша сохранятся (разумеется, если bbu установлен) и целостность массива не пострадает.

Аргумент - "я использую xxx много лет и у меня не было проблем..." вообще не выдерживает никакой критики :). У меня есть знакомый, держащий корпаративную почту на raid0 и, когда ему говорят о ненадежности такой системы, отвечает подобным образом :).

А что вы будете делать когда у вас сгорит ваш аппаратный RAID контроллер купленный х лет назад и вы не сможете найти новый (такойже) ??? Где гарантия совместимости форматов того что есть на рынке сейчас (ну кроме наверное мирроринга - там все банально тупо) и того что будет завтра??? Кто обещает что один и тот же вендор не поменяет формат тогоже страйпа или райда5 (с информацией о четности проблем гораздо больше) через пол года? Кто вообще знает как и по каким алгоритмам аппаратный раид считает эти блоки четности и как он их хранит??? Даже если софтовый рейд и упадет то напрягшись можно восстановить массив до уровня грязной ФС да и формат записи там в случае опен-сорса известен. А про загрузку проца и памяти на сбалонсированном сервере (еще и данных) при сегодняшних-то мощностях.... не лукавте и попросите свое руководство вап процессор нормальный купить, а не швырять бабки на ветер

Насколько понимаю тему то в описаный девайсах (у автора темы) если ядро свалится в аут то данные не которые раид записать не успел так и не будут записаны... Вообще по отношению цена/надежность аппаратный рейд штука очень о и очень сомнительная ИМХО и не лишенная своих недостатков которые делают её еще более сомнительной

> А что вы будете делать когда у вас сгорит ваш аппаратный RAID контроллер купленный х лет назад и вы не сможете найти новый (такойже) ???

Вообще-то на серверное оборудование дается приличная гарантия (3-5 лет). В течение которой замена сгоревшего контроллера - головная боль поставщика. А через 3-5 лет Вам на 99% понадобится новый сервер и новый контроллер.

> Где гарантия совместимости форматов того что есть на рынке сейчас (ну кроме наверное мирроринга - там все банально тупо) и того что будет завтра???

Вы много можете привести примеров смены вендором формата COD за последние 15 лет?

> Даже если софтовый рейд и упадет то напрягшись можно восстановить массив до уровня грязной ФС да и формат записи там в случае опен-сорса известен.

Сколько времени у Вас займет эта операция? Вы не переоцениваете свои силы? И дадут ли пользователи Вам это время? В случае аппаратного raid'а обычно хватает средств самого контроллера. А вообще, сама постановка вопроса неправильная. Нужно думать не о том, как собрать развалившийся массив (в 99% случаев быстрее и дешевле восстановиться из бэкапа), а о том, как не допустить развала. И вот тут аппаратные raid'ы на высоте.

> А про загрузку проца и памяти на сбалонсированном сервере (еще и данных) при сегодняшних-то мощностях.... не лукавте и попросите свое руководство вап процессор нормальный купить, а не швырять бабки на ветер

Дело не в мощностях и постоянной нагрузке. Обсчет raid'а - задача, близкая к realtime. Что, согласитесь, реализовать силами обычной OS и CPU мало реально. А значит, любая блокировка в софте может выйти боком для массива.

> если ядро свалится в аут то данные не которые раид записать не успел так и не будут записаны...

Почему Вы так решили? В кеш контроллера запись происходит практически мгновенно, все, что произошло после этого события, уже не влияет на сохранность данных.

> Вообще по отношению цена/надежность аппаратный рейд штука очень о и очень сомнительная ИМХО и не лишенная своих недостатков которые делают её еще более сомнительной

Я обычно не люблю смешивать обсуждение тех. вопросов с финансовыми. Но в данном случае стоимость контроллера ($300-800) составляет довольно незначительную долю от стоимости сервера ($3500-10000). Понятно, что речь идет о серверах с серьезной дисковой подсистемой. Соглашусь, что если Вы собираете сервер с зеркалом, то возможностей того же mdadm хватит за глаза.

>Вы много можете привести примеров смены вендором формата COD за последние 15 лет

Promise, Intel, IBM когда и что непомню но лично погорел

PS Вообщето афтор имел ввиду наверное то что на материнках сейчас ставят - тогда уж точно системой... А тут я вижу многим просто поумничать охота, идите лучше работайте.

> Promise, Intel, IBM когда и что непомню но лично погорел

Promise не принято упоминать в приличном обществе ;). Intel никогда своих контроллеров не делал - они просто сменили OEM-поставщика со всеми вытекающими... Про IBM, честно говоря, не в курсе, возможно. Но у брэндов обычно нет проблем достать аналогичный контроллер даже через xxx лет, так что это не проблема ;).

> Вообще-то автор имел ввиду наверное то, что на материнках сейчас ставят - тогда уж точно системой...

Вы вообще за темой следите? Дискуссия идет относительно аппаратных контроллеров. Аналоги ICH*R - полностью софтовые. Естественно, в этом случае лучше системный raid.

> А тут я вижу многим просто поумничать охота, идите лучше работайте.

Спасибо за совет :)). И Вам того же ;).

> Сколько времени у Вас займет эта операция? Вы не переоцениваете свои силы?

Я другой ананимуз, но не переоцениваю.

> Вообще-то на серверное оборудование дается приличная гарантия (3-5 лет). В юношестве когда работал в дц насмотрелся на дядек с брэндовым железом. Спасибо, не надо. Чтобы была хоть какая-то гарантия надо ещё и SLA к серверу. Кстати, многие продавцы железа типа stss указывают ремонтные сроки 30дней. В пиписку такой сервис, я лучше соберу самосборную помойку, если что на совке все запчасти в тот же день куплю. Кстати, видел случай как 8 из 10 новых интеловых серверов отправились обратно из-за памяти. Это не слухи, я видел эти машины. Хде тут надёжность? Вообще я щупал много железа. И супермикро и дел и hp интель(то что руками щупал, то что удалённо админил указывать не буду) и итп. Так вот один дорогущий дел при холодном запуске не находит диски. Пустячок а неприятно. Если они даже такие проблемы решить не могут то почему вы решили что это всё таак надёжно? Да, кстати, по поводу надёжности ОС. У меня ни разу не падало, надпись kernel painic вижу тока на битом железе. Наверно потому что перед запуском сервера пару дней гоняю стресс-тесты на той ОС которую собираюсь использовать.

> Я другой ананимуз, но не переоцениваю.

Хм. если это правда - снимаю шляпу, Вы специалист экстра-класса, без шуток. Если не секрет, сколько Вам понадобится (приблизительно, с точностью до порядка) времени, чтобы поднять raid5, созданный из 5 винчестеров с помощью mdadm, с двумя вылетевшими дисками?

> Чтобы была хоть какая-то гарантия надо ещё и SLA к серверу. Кстати, многие продавцы железа типа stss указывают ремонтные сроки 30дней.

SLA вещь, конечно, хорошая. Но ведь условия гарантии - это вопрос выбора поставщика, разве нет? Я например, обычно закупаюсь в Тринити (СПб) - вообще никаких проблем, все решается очень оперативно и качественно. Заметьте, это обычная стандартная 3-х летняя гарантия, входящая в стоимость сервера. Уверен, есть и другие конторы с такой же политикой. Если все совсем плохо - кто мешает Вам купить ЗИП?

> В пиписку такой сервис, я лучше соберу самосборную помойку, если что на совке все запчасти в тот же день куплю.

Хм. А если Вы в отпуске будете? Или в командировке? Мне, например, однажды пришлось перезапускать сервер с мобильного телефона через IPMI, находясь в автобусе Питер-Рига (остановился из-за перегрева - накрылся кондиционер в серверной). Вы на совке соберете сервер с нормальным удаленным мониторингом, оповещением и т. п.?

> Кстати, видел случай как 8 из 10 новых интеловых серверов отправились обратно из-за памяти. Это не слухи, я видел эти машины.

Я в курсе :). Сам с такими вещами сталкивался :(. Только вот в этом случае это были проблемы поставщика, а если бы Вы купили это на совке?

> Хде тут надёжность? Вообще я щупал много железа. И супермикро и дел и hp интель(то что руками щупал, то что удалённо админил указывать не буду) и итп. Так вот один дорогущий дел при холодном запуске не находит диски. Пустячок а неприятно.

Косяки бывают у всех - это очевидно. Разница в частоте их возникновения и последствиях. Вы хотите сказать, что Dell не решила Вам эту проблему?

> Если они даже такие проблемы решить не могут то почему вы решили что это всё таак надёжно?

Надежна не конкретная железка. Надежность определяется совокупностью железа/сервиса/персонала. Приобретая нормальное серверное железо в нормальной фирме Вы, во-первых, существенно снижаете частоту возникновения косяков, во-вторых, к Вашим услугам в случае проблем квалифицированный персонал фирмы, у которой Вы купили сервер, через руки которого такие машины проходят сотнями, и склад с комплектующими. Именно это и определяет ту "надежность", которую я имел ввиду.

> Да, кстати, по поводу надёжности ОС. У меня ни разу не падало, надпись kernel painic вижу тока на битом железе. Наверно потому что перед запуском сервера пару дней гоняю стресс-тесты на той ОС которую собираюсь использовать.

Поздравляю. Тут я с Вами солидарен. Только помимо OS на машине еще крутятся приложения. А еще есть DOS-атаки и т. п. Ну и, как мы выяснили с Вами ранее, к сожалению, встречается битое железо. Особенно если покупать его "на совке".

абсолютно согласен с анонимом anonymous (*) (14.05.2008 14:24:36) Кроилрово приводит к попадалову. Нужно всегда считать, что стоит дороже, железо или данные на нем. На системе хранения данных экономить нельзя - боком выйдет! Неоднократно сталкивался с выходом из строя дисков в софтовом и аппаратном рэйдах - о софтовом не может быть и речи! Использую тот же LVM только на дисках, презентованых с Hitach USP100, AMS1000 и т.д., где физически диски зазеркалированы или raid5 (6) На обычных сказевых дисках - только и ТОЛЬКО аппаратное зеркало.