LINUX.ORG.RU

RAID массив на 24 SAS диска

 ,


0

3

Други, подскажите, никогда не сталкивался с таким количеством дисков при построении рейда.

Максимум делал на 10ти дисках.

Но щас возникла необходимость создать Raid массив на 24х SAS 3.5’ дисках.

И я щас пытаюсь понять на каком оборудовании такое лучше собрать.

До этого я имел дело только с софтверными рейдами, через mdadm, которые прекрасно себя показывали. Жёсткие диски подрубал напрямую в мать, просто брал матери с достаточным количеством разъемов. И до этого случая всегда собирал на SATA дисках, а щас возникла необходимость сделать на SAS из-за более высоких скоростей и duplex режима.

Но для этого случая материнок с таким количеством SAS портов, как я понимаю, нет, во всяком случае я не нашел.

Знающие люди, дайте совет, как лучше собирать такую машину? И на чем?



Последнее исправление: ITdreamer (всего исправлений: 1)

Варианта два:

  1. HBA controller

  2. RAID controller + RAID expander

Современные RAID контроллеры часто (не не всегда) поддерживают режим HBA, так что сможешь попробовать оба варианта.

По скорости смотри datasheet к контроллеру.

soomrack ★★★★
()
Ответ на: комментарий от targitaj

Спасибо большое за помощь

Почитал про HBA

Подскажите, я правильно понимаю, что HBA это не рейд контроллер как таковой?

Т.е. если я беру HBA я буду видеть в системе все диски по отдельности, а дальше уже с помощью mdadm собираю массив?

Так?

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

если я беру HBA я буду видеть в системе все диски по отдельности

Да. И дальше делай с ними что хочешь. RAID, CEPH, DRBD etc. Любую хрень. Принципиальная в современных условиях разница между «аппаратным» рейдом и hba - это наличие у рейда набортного кэша с батарейкой. Оно переживает аварийную потерю питания. При построении системы на HBA учитывай риски потерия питания в процессе записи на носитель.

targitaj ★★★★★
()
Последнее исправление: targitaj (всего исправлений: 1)
Ответ на: комментарий от targitaj

У нас все серваки обязательно на хороших упсах висят, так что с электричеством норм.

Вот это как раз здорово, что hba даёт возможность просто увидеть диски, потому что я всегда строил рейды на mdadm понимая что проще и лучше использовать процессорные мощности системы и оперативки, чем контроллера и кэша платы рейд контроллера.

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

Не забудь выделить диски под hot spare. При таком количестве шпинделей ребилды будут длиться сутками и неделями. Надо очень хорошо подумать что именно применить. Может вообще 10. Или 50. Если из RAID выбирать. Мне кажется какой-нибудь 6 может захлебнуться.

targitaj ★★★★★
()
Ответ на: комментарий от targitaj

А вот тут подробнее, если можно.

Hot spare, это что, напомни плиз?

Я собирался именно Raid 6 собирать.

До сего момента у нас всегда были Raid 6, но обычно на 8-10 дисках. А на 24х я не пробовал.

Честно сказать к RAID 10 отношусь скептически, т.к. смущает возможность хоть и вылета 2х дисков, но по одному из каждой половины, в отличие от 2х любых в рейд 6. Кстати на моей практике за 12 лет пару раз было что отваливались 2 диска. Но Слава Богу, все норм обходилось.

ITdreamer
() автор топика

Но щас возникла необходимость создать Raid массив на 24х SAS 3.5’ дисках.

А зачем делать массив на таком большом количестве дисков? Откуда именно такая необходимость? Не проблема XY ли это?

JFI: raid10 из 8 штук 15krpm ещё более 10 лет назад заруливал (причём с отрывом) 1 ssd intel x25-e. Сейчас IOPSы одиночного ssd подросли на несколько порядков.

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 3)

Но щас возникла необходимость создать Raid массив на 24х SAS 3.5’ дисках.

Не надо так делать. Откуда такая идея возникла вообще?

firkax ★★★★★
()

Нужна дисковая полка с двумя sas экспандерами типа такой: https://www.aicipc.com/en/productdetail/46. У таких полок внутри уже готовая проводка для питания каждого диска и для подключения первого sas порта каждого диска к первому экспандеру, а второго sas порта каждого диска ко второму экспандеру. Ну и вентиляторы для охлаждения этого всего.

Нужно два sas hba контроллера для подключения к первому и второму sas экспандерам полки. В результате у хоста до каждого диска два независимых маршрута. Поэтому на хосте надо настроить multipathing.

Массив можно собрать средствами mdadm или lvm raid volumes. Raid10 2x12, raid50 3x8, raid60 6x4. Хорошими считаются конфигурации у которых полезный размер страйпа имеет степень двойки. Для raid5 это 3, 5, 9. Для raid6 это 4, 6, 10.

iliyap ★★★★★
()
Ответ на: комментарий от targitaj

Принципиальная в современных условиях разница между «аппаратным» рейдом и hba - это наличие у рейда набортного кэша с батарейкой. Оно переживает аварийную потерю питания.

Всё гораздо сложнее чем вышесказанное. В частности при наличии батарейки HW RAID controller будет подтверждать flush’ы мгновенно, что радикально ускоряет DB-like workloads. На самом деле я не знаю ни одной ситуации когда SW RAID был бы быстрее. По гибкости с ним тягаться трудно, это да.

bugfixer ★★★★
()
Последнее исправление: bugfixer (всего исправлений: 1)
Ответ на: комментарий от targitaj

В нашем случае это именно большое файлохранилище с возможность постоянного чтения и периодической записи в соотношении где-то 80/20. И одновременной работе с сервером от 10 до 30 рабочих станций.

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

Если будешь колхозить, то совет про обдув очень дельный. В обычных десктопах на контроллеры я вешал маленький вентилятор, который притягивал обычными пластиковыми стяжками к его радиатору, обычно радиатор имеет зазор с платой по краям и соотв. можно просунуть стяжку.

soomrack ★★★★
()
Ответ на: комментарий от pekmop1024

Плюсую. Кстати, в «правильной» конфигурации туда «спереди» как раз 24 диска и влезают, и ещё «сзади» несколько слотов остаётся (которые обычно под OS используют).

bugfixer ★★★★
()
Ответ на: комментарий от ITdreamer

А как ещё по вашему можно создать массив на 350тб?

Я, кстати, не знаю как Вы собрались выйти на 350TB с 24 sff дисками. Последний раз когда я смотрел (давненько правда было - года 3-4 назад) HP предлагал макс 12TB диски. Ну, и про необходимую избыточность не забываем.

bugfixer ★★★★
()

3.5’ дисках.

Упс. Виноват. Невнимательно прочитал. Забудьте про «24 диска в морду DL380» - корзину искать придётся по любому.

ПыСы. Ну, и если уж совсем занудствовать - метровые диски это «ого-го» ;)

HP предлагал макс 12TB диски.

И снова память сыграла со мной злую шутку - эти были lff…

bugfixer ★★★★
()
Ответ на: комментарий от soomrack

Возвращаясь к вопросу про охлаждение. Подскажите

Я взял Adaptec SmartHBA 2100-24i

Судя по размеру самого радиатора на него поместится только 40x40 мм

Рекомендация производителя что воздушный поток в районе карты должен быть не менее 200 LFM, вентиляторы на 40мм дают в основном поток 8 СFM. И вот тут я слегка запутался. Что это за единицы? И вообще хватит ли вентилятора 40x40мм?

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

LFM это скорость потока. Поток это CFM. CFM разделить на площадь (в квадратных футах) будет LFM.

Но как это поможет не знаю. Производитель нормирует скорость обдува всего контроллера (примерно 1 метр/секунду). А вентилятор будет дуть только на радиатор.

40x40 мм это 0.017 кв. фута, 8 CFM на выходе с вентилятора как бы 470 LFM, но это на радиатор. Хватит ли остальной плате? И нужно ли остальной плате...

mky ★★★★★
()
Ответ на: комментарий от ITdreamer

Да, приколхозь то, что есть, и смотри на температуру. Скорее всего будет вполне достаточно и радиатор будет не горячим, а теплым.\

А если будет недостаточно, то можно один вентилятор поверх другого поставить. Такая стопка 40x40.

soomrack ★★★★
()
Последнее исправление: soomrack (всего исправлений: 1)

Ребята, последовал вашим советам и обзавелся следующими железками:

Adaptec SmartHBA 2100-24i (6 входов SFF-8643) Корпус 24 диска серверный RSC-4EG2 (внутри 2 отдельных бэкплейна на 12 дисков каждый, по 3 выхода SFF-8087 на каждом бэкплейте) 24 диска SAS Seagate ST16000NM004J

На каждом бэкплейне распаяно по 3 коннектора SSF-8087. Итого 24 диска, по 12 дисков на каждый бэкплейт. Я наивно полагал, что и каждый выход SFF-8087 соотвествует своей четверке дисков, оказалось нет.

Затык возник в следующем.

Если подключить все 6 выходов SFF-8087 на обоих бэкплейтах, к 6 входам на Adaptec SmartHBA 2100-24i, то, к моему удивлению диски не определяются. т.е. Adaptec SmartHBA 2100-24i пишет что ничего не подключено к нему.

Если я подключаю 3 выхода SFF-8087 от одного бэкплейта, к 3 входам на Adaptec SmartHBA 2100-24i, то диски также не определяются. Adaptec SmartHBA 2100-24i пишет что ничего не подключено к нему.

Если я подключаю 1 выход SFF-8087 от одного бэкплейта, к 1 входу на Adaptec SmartHBA 2100-24i. т.е. подключаю одним проводом,то диски подключенные к этому бэкплейту определяются нормально. Т.е. 12 дисков я вижу.

Если я подключаю по одному выходу SFF-8087 с каждого бэкплейта, на Adaptec SmartHBA 2100-24i, то диски также не определяются.

При этом подключение отдельно каждого бэкплейта по одному проводу к Adaptec SmartHBA 2100-24i работает, и диски от этого бэкплейта видятся. Если подключить одновременно по одному проводу каждый бэкплейт, то нет.

Понять закономерность я никак не могу. И как мне сделать, чтобы виделись все 24 диска, тоже. Подскажите, может кто сталкивался или есть какая особенность при подключении к Adaptec SmartHBA 2100-24i или еще что? И почему контроллер видит все 12 дисков подключенных к бэкплейту, а не 4, хотя провод подключения один, а распаяных выходов SFF-8087 на бэкплейте 3? Может их не надо подключать все 3, не пойму. В общем помогите разобраться.

ITdreamer
() автор топика
Последнее исправление: ITdreamer (всего исправлений: 4)
Ответ на: комментарий от ITdreamer

Оох, ты вступил на скользкую дорожку HCL (контроллер может быть несовместим с бэкплейнами, и бэкплейны с дисками)

Прошивка контроллера актуальная?

Почему я не нахожу спецификации корпуса RSC-4EG2 на официальном сайте https://www.aicipc.com/en/solutions/170-1419? Он такой старый, что ушёл в EOL? На сайтах продавцов я вижу, что корпус SAS2/SATA3 (что может быть неправда), а диски у тебя SAS3.

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от Dimez

Прошивка контроллера да. Поставил самую свежую.

Корпус, старой модели 2013-2014 годов.

У меня диски SAS3, но если в бэкплейнах SAS2, то почему они видятся, правда не во всех конфигурациях подключения, что интересного и мне не понятно?

Бэкплейн согласно инструкции BKP-SAS3-12EG

ITdreamer
() автор топика
Последнее исправление: ITdreamer (всего исправлений: 2)
Ответ на: комментарий от ITdreamer

Бэкплейн согласно инструкции BKP-SAS3-12EG

CN2 - CN4:
SAS Port (CN2: downlink, CN3 & CN4: uplink)

Меня смущает uplink/downlink в pdf.

https://hardforum.com/threads/sas-controller-expander-questions.1742200/

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от Dimez

Разобрался!!!

Наводка про uplink и downlink оказалась верная!

А именно, если соединить CN2 (downlink) общим кабелем, который идет в комплекте. А остальные входы на обоих плейтах подсоединить к контроллеру, то все ок, он будет видеть все диски.

Я правда все равно так и не понял, что значит uplink и downlink. Но хотя бы все заработало, уже отлично ))

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

По идее связь между бекплейнами нужна как раз чтобы до каждого диска было два маршрута – первый порт диска подключён к экспандеру «своего» бекплейна, второй порт диска подключён к экспандеру «соседнего» бекплейна.

У тебя диски двухпортовые. На системе диски в lsscsi не дублируются? Если дублируются, то надо настроить multipath.

iliyap ★★★★★
()

Ребята, такой вопрос кто как решал вопрос, когда корпус весит много очень и обычные направляющие телескопические просто не удержат сервак, если выдвинуть его на полную.

Посоветуйте что-нибудь, кто сталкивался.

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

Что такое «обычные» направляющие? H5521T200005 от производителя корпуса или что-то неродное? Хотя, если AIC имеет одну модель рельсов что для 2U, что для 4U, может и промахнулись с нагрузкой.

Так, у них на сайте для корпуса на 36 отсеков значатся рельсы H5521T100002, может они прочнее, а может нет.

Найти тумбочку попрочнее и прикрутить сервер на высоте тумбочки, перед вытаскиванием сервера подставлять тумбочку.

mky ★★★★★
()
Ответ на: комментарий от mky

Направляющие те, что шли в комплекте с корпусом. Но они ничем не отличаются от тех что идут в комплекте с 1,2 и 3u.

Но они точно не выдержат. Корпус по грубой прикидке весит 30-40 кг. Если его выдвинуть на полную, а это почти 1м. Рычаг получается приличный, да и несложно посчитать какое будет усилие на рельсы, когда их полностью выдвинем.

В задвинутом состоянии проблемы нет. Только если выдвинуть.

Решение пока только одно. Если нужно выдвигать, то подставлять упор снизу.

Вторую пару рельс не получится приделать. Конструктивно они там не предусмотрены. И приколхозить тоже не вариант.

Так что пока так))

ITdreamer
() автор топика

Ещё один вопрос.

Кто как решал вопрос с охлаждением дисков в корпусах с такой плотностью и расположением дисков?

У меня в простое температура 49-55 градусов на всех дисках. При этом в серверной относительно прохладно 18 градусов. Внутри корпуса два 140мм вентилятора, но как то получается не хватает их судя по температуре дисков.

Пока есть мысль приделать спереди три 140мм вентилятора на фронтальную планку, но как-то есть подозрение, что это может не сильно помочь.

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

Не уверен, что здесь есть владельцы именно такого корпуса, поэтому вам решать где размещать вентиляторы.

Но, прежде чем колхозить вентиляторы нужно смотреть, а есть ли вобще проход для воздуха, встречал корзины, у которых бэкплейн почти полностью перекрывает поток воздуха, там ничего не сделать.

Когда то давно в каком-то корпусе колхозил воздуховод из картона, чтобы возух шёл куда надо. Картон+клей самый простой и быстрый вариант, ИМХО.

mky ★★★★★
()
Ответ на: комментарий от mky

Вот в том то и дело. Что кроме этого варианта особо ничего придумать и не могу. Да бэкплейт перекрывает почти все, так и есть. Но по идее это во всех подобных корпусах.

ITdreamer
() автор топика
Ответ на: комментарий от ITdreamer

Ну тут вопрос в количестве отверстий в бекплейте, если их там достаточно и они правильно распределены, то бекплейт может способствовать более равномерному распределению воздуха. Хотя логичнее было бы направить воздух вдоль бекплейна, но так мало где делают.

mky ★★★★★
()