LINUX.ORG.RU
ФорумTalks

RAID-0 на большом числе HDD (6+)

 


2

2

Не критично, не необходимо, но порой очень не хватает капец быстрого и емкого (5+ Тб) массива. С хоть какими-то иопсами.
Соотношение «реально нужно» к «подрочить» - 35\75.

Пока есть 3х1тб RAID-0 из ST1000VX000. Винты крутые, быстрые, на одной пластине, тихие, не греются. Кто-то на лоре советовал - респект ему.

Но этого объема не всегда хватает. И иопсов хочется больше. Трансформация файла в несколько тб в другую геометрическую проекцию - это ад и израиль. И 96гб рамы не спасают.

Пока вижу два варианта:
Или докупить 2-3 самых дешевых ссд по терабайту (типа какого https://www.computeruniverse.ru/products/90638357/ocz-trion-150.asp) или добить число винтов до 6-8 шт (по свободным слотам).

ssd 512гб nvme под систему и наиболее частый кейс работы с сырьем - уже есть. Хватает, это покрывает большинство реальных регулярных практических задач.

Вариант с винтами:
++1. Винты, даже такие мелкие (не оптимальная цена за 1тб) - это более универсальный инструмент (закончив этот изврат их можно использовать полезнее).
++2. Объема 8х1тб мне точно хватит даже под будущие замороченные проекты.
--3. Таки это не ссд. Но я не настолько освоил производство денег, чтоб покупать терабайты и терабайты ссд.
--4. Экстремально дешевые ссд могут оказаться совсем говном в плане предсказуемости и стибильности.

Вариант с ссд:
++1. Таки +1-2тб ссд (тоже в нулевке) - было круто.
--2. Без нулевки на винтах не обойтись. Ибо место. Будет три уровня хранения данных. Будет гемор «не учел объем, не влезло на третий день записи»
--3. Цена.

Пока склоняюсь к докупке винтов.
У кого-нибудь есть мысли на счет это дибилизма?

PS
Сохранность данных на нулевом рейде не критична! Может рассыпаться по расписанию раз в неделю. Плевать.

PPS
Кэширование и сжатие рамы не рассматривается. Ведь это потребует целого исследования, интерпретации результатов и т.п. Смысла нет.



Последнее исправление: dk- (всего исправлений: 2)

SAN в виде iSCSI over RDMA это твой выбор.

steemandlinux ★★★★★
()
Ответ на: комментарий от dk-

fuckraid под линуксом и вендой работает совершенно по разному. Там из одинакового только метаданные. Под линуксом даже прошивка перехватывающая int13h не нужна чтобы говномассив от говноконтроллера запустить через dmraid.

steemandlinux ★★★★★
()
Ответ на: комментарий от dk-

Так спроси у разработчиков своей софтины, как оно там работает.

sudopacman ★★★★★
()

Так а чего сам не соберёшь отдельную коробку по типу того же qnap? Корпуса похожие есть в продаже, поставить freenas/napp-it/etc и получить nas с гуем.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

Но зачем? Прямой доступ из хоста, без сетей и прочих абстракций - быстрее. А хранилка в микросервере отдельном и так уже есть.

dk-
() автор топика

35\75

Чуров, перелогиньтесь

По теме, будет падение иопсов при 10+ дисках из-за вибрации, если нет хороших корзин или винты без защиты от вибрации, то эффект можешь словить и на меньшем числе. Загугли эпичный видос, как чел на стойку орет и скорость падает.

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

Загугли эпичный видос, как чел на стойку орет и скорость падает.

А можно ссылку, загуглить не получилось.

Behem0th ★★★★★
()
Ответ на: комментарий от Lordwind

Спасибо. Даже не задумывался никогда о таком, но у меня и задач похожих не было.

Behem0th ★★★★★
()
Ответ на: комментарий от Deleted

Слушай, вот возвращаясь к вопросам о времени ребилда, высокой вероятности сбойного блока при большом числе емких дисков и т.п.

Вопрос примерно такой:
8х3тб RAID-6. Без HS (такие контроллеры уж слишком дорого), но с реальным запасным дисков в ящике и репетицией отказа.

Что мне грозит при умеренно плохом сценарии? Вот ребилда, скажем. Таки словлю битые блоки, несколько файлов получат повреждение. Так? Имхо, это грустно, но не критично. Да и нет и у меня реального требования (и бюджета на это), чтоб обеспечивать точность каждого бита железобетонную. Даже память то не ЕЦЦ.

Так вот, кроме конца света, что не столь страшное мне грозит?

И правильно ли понимаю, что контроллеры хотя бы уровня LSI 9261-8i (Fujitsu D2616, нашел тут б\у с гарантией и тест-драйвом за 20к руб.) умеют что-то типа фонового перемещения холодных данных туда сюда?

К чему этот изврат с шестеркой?
Ну таки экономичнее десятки, шустренько (в теории), 10гбит сеть у меня уже вопрос времени просто (может к НГ себе подарю).

dk-
() автор топика
Ответ на: комментарий от dk-

Ты сначала озвучь, что хочешь от raid6 и куда именно ставить собрался.

Без HS (такие контроллеры уж слишком дорого)

Да все контроллеры так умеют.

Вот ребилда, скажем. Таки словлю битые блоки, несколько файлов получат повреждение. Так?

В случае RAID5 при отказе одного диска на остальных остаётся RAID0. В случае RAID6 при отказе двух дисков на остальных остаётся RAID0. Про RAID0 ниже.

В случае RAID0 при отказе одного диска ВЕСЬ массив разваливается и вся информация теряется. При проскакивании ошибки IO - массив, в зависимости от реализации, скорее всего разваливается и вся информация теряется (ну т.е. она лежит на дисках, но восстанавливается вручную и с геморроем)

Deleted
()
Ответ на: комментарий от Deleted

Р6-1 = Р5.
Р5-1 = Р0.
Ребилд Р0 - уже жопа тотальная.
А затем все умерло и идем бухать.
Это понятно.

Ну блин.
Вот железка, вот отрепетированный отказ. Вот купленные в разных местах, в разное время диски из разных партий. Вот запасной диск. Вот нормальный БП и УПС. Вот хост-хранилка, которая только хранит и ничего не делает.

Мне с дивана кажется, что ситуация одновременных факапов с вылетом кучи трех дисков - ну капец маловероятно. А еще может пожар случиться, или ограбят, или набухаюсь и с балкона выкину.

Хочу же я быструю хранилку, под будущую 10гбе на меди. И чуть больше места, чем с Р10.

Еще важно, чтоб контроллер не забывал алерты слать, если диск умер :)
Ладно микросервер то - он начинает красным светиться. Специально поставил так, чтоб видно было.

В догонку:
Иопсы на 10гбе же явно заметно шустрее, чем на 1гбе?

Есть и другой кейс, пока точно не решил:
Может и в рабочем хосте это поставлю. Вместо сабжевой нулевки. Типа и шустренько и не опасно сильно. И с ССД несравнимо по цене :)

Таки гонять туда сюда каждый этап бэкапа иногда напрягает.

dk-
() автор топика
Ответ на: комментарий от reprimand

У меня по 1тб. Же. По одной пластине. Меньше уже нету вроде.

Гарантию 3 года дают. Имхо, для не Ъ дисков очень даже Ъ. Цена радует. Скорость радует. В начале за 210мбайт.

dk-
() автор топика
Ответ на: комментарий от dk-

Мне с дивана кажется, что ситуация одновременных факапов с вылетом кучи трех дисков - ну капец маловероятно.

Двух, дядь, двух. На третьем достаточно ОДНОЙ ошибки IO. Даже «запланированной» из-за UER.

Если тебе хранилка, то зачем тебе контроллер? Поставь HBA (если набортных SATA не хватает), памяти, засунь туда сколько угодно дисков, запихни ZFS, для скорости и IOPS'ов подопри SSD и офигенно.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

HBA - это к внешней полке? Дорого, геморно, менее универсально, в кладовку не спрячешь.

И админ нужен. А я не люблю пользоваться тем в чем вообще не секу. Имхо тут иной уровень, а не закрытость ос.

Про плановую ошибку и р0:
Таки, статистически, сабжевый массив 6(8)х регулярно будет коцать часть данных?)

dk-
() автор топика
Ответ на: комментарий от dk-

HBA - это к внешней полке?

HBA - это Host Bus Adapter. Контроллер, который просто добавляет высокопроизводительные порты в систему.

А я не люблю пользоваться тем в чем вообще не секу.

Ну вот и начнёшь сечь. К слову, ветку по NAS'ам на ixbt ведёт вообще директор по развитию.

Deleted
()
Ответ на: комментарий от dk-

не, я понял что у тебя по 1 тб, я ищу такой же диск с такими же статами и преимуществами, но с низким объемом

reprimand ★★★★★
()
Ответ на: комментарий от reprimand

Имхо, анриал. Смысл их делать? Не ну есть новые винты по 500. Но он уже дно ведь. Походу там у же не выбраковка, а отключённое)

dk-
() автор топика
Ответ на: комментарий от Deleted

Это да :)

Я, в воспаленном бреду, понимал так:
Каждый винт, статистически, выдает одну неустранимую ошибку на раз в 10E14 (глянул спеку интересующего винта). Комбинаторику я учил давно, но сдается мне, что для массива из 10 винтов такая ошибка лезет уже раз в 10 чаще? Т.е. чем больше винтов собирать в один массив, тем, статистически, быстрее вылезет жопа.

Это как из 300 винтов с гарантией три года каждый - в первый год вылетит три.

Или я вообще чертов наркоман?

dk-
() автор топика
Ответ на: комментарий от dk-

В первый год вылетит один. Не три.

dk-
() автор топика
Ответ на: комментарий от dk-

Комбинаторику я учил давно, но сдается мне, что для массива из 10 винтов такая ошибка лезет уже раз в 10 чаще?

Я тоже. Вроде бы почти складывается.

Или я вообще чертов наркоман?

В точку :)

Неустранимые ошибки страшны для массива только в degraded состоянии, когда у тебя вместо Redundant - RAID0. При нормальной работе неустранимые ошибки без проблем исправляются контроллером по данным с других дисков.

Deleted
()
Ответ на: комментарий от Deleted

Мои волосы стали чуть менее нешелковистыми.

dk-
() автор топика
Ответ на: комментарий от dk-

Не факт, если конвертируемый источник и результат будут на одном «диске»(рэйд-группа в данном случае), то может получится быстрее сливать результат на внешнее устройство.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от Deleted

Сцуко!) тут, панимаишь (ц), мнением ценным интересуешься. А он все бугуртит от слешей.

На тебе слешей в запас: \\\\\\\\\\\\

dk-
() автор топика

Собрал софтовый R0 на 4 х ST2000VX000. По минимальной планке на стоящую задачу хватает. Но хочу позже добавить еще 2-4.

dk-
() автор топика
Ответ на: комментарий от Deleted

Меня тут посетила гениальная мысль:

Верно ли я понимаю, что R6 побезопаснее R10, в том смысле, что у него есть контрольные суммы для разруливания ситуаций когда диск отдает какую-то херь, тогда как в R10 нужно просто подкидывать монетку какое зеркало более правильное?

dk-
() автор топика
Ответ на: комментарий от dk-

Зависит от реализации. Но в основном да.

Deleted
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.