LINUX.ORG.RU

Выбор Infiniband или Ethernet 802.3ad

 , ,


0

1

Привет всем.

Есть проблемка, нужен относительно быстрый storage с интерконнектом для 3-5 серверов. Придумали взять или infiniband, или несколько линков в 802.3ad(или какой другой bonding в линуксе). Поскольку IB-свитчи стоят, как новая тачка, а я нищеброд, взлетит ли storage, например, с несколькими двухпортовыми HBA? Вопрос плана, не будут ли они конфликтовать, и может ли быть более одного HBA в системе?

Возможно, беспроблемнее будет взять сетевки с несколькими портами, свитч, умеющий 802.3ad, и собрать на нем, но предположительно более рабочее? Если так, то какие свитчи умеют реально собирать группы по 8 портов? Из личной практики, а не из буклетов вендора.

Спасибо :-)

Ответ на: комментарий от anonymous

Желаемые? Чем быстрее, тем лучше. Понятно, что 802.3ad с потенциалом в 8Гбит/с хуже IB FDR с 56Гбит/с. Но хочется как-то с меньшим геморроем.

Ты прав, вопрос поставлен криво.

Правильнее, пожалуй, будет: Что менее проблемно: 3 IB HBA в одном сервере и по 1 в каждом клиенте, или по 4/8 портов в 802.3ad/bonding'е?

ii343hbka ★★★
() автор топика
Ответ на: комментарий от ii343hbka

что-то я не понимаю, что такое 3 IB HBA

IB — это infiniband, это про сеть
HBA — это host bus adapter, это про подключение дисков к серверу

anonymous
()
Ответ на: комментарий от ii343hbka

а вообще, тебе надо нарисовать схему: сервер, клиенты, нужную требуемую скорость передачи данных от сервера к каждому клиенту и обратно; затем понять суммарную скорость приема/отдачи данных на сервере; и уже затем подбирать железо

а так на это:

Желаемые? Чем быстрее, тем лучше.

можно ответить только: «чем дороже/круче, тем лучше»

anonymous
()

IB вроде эзернет только на лэйтенси обыгрывает?

В любом случае можно взять ib карточку и пока бомжуете, использовать её в эзернет режиме.

pon4ik ★★★★★
()
Ответ на: комментарий от ii343hbka

IB без свитча это будет геморрой: лапша из проводов и лапша из сетевых портов и их настроек в режиме точка-точка

anonymous
()
Ответ на: комментарий от pon4ik

еще же скорость

хотя я читал, что IPoIB сильно медленнее канальной этого самого IB

ii343hbka ★★★
() автор топика

Наверное самым быстрым и дешевым будет прямой SAS.

Возможно, беспроблемнее будет взять сетевки с несколькими портами, свитч, умеющий 802.3ad, и собрать на нем, но предположительно более рабочее? Если так, то какие свитчи умеют реально собирать группы по 8 портов? Из личной практики, а не из буклетов вендора.

Забудь о lacp. iscsi, как и fc - mpio. Там round-robin балансирует линки.

stave ★★★★★
()
Ответ на: комментарий от stave

прямой SAS не вариант, мне бы что-то вроде NFS для всех тачек сразу

я поэтому про IB и подумал, из-за NFS over RDMA

вопрос только взлетят ли 3 IB сетевушки в одном сервере

ii343hbka ★★★
() автор топика

IB б/у из США. 56 гбит свитч не очень дорого стоит.

steemandlinux ★★★★★
()

Чисто ради любопытства, а в серверах pcie-линий хватит, чтобы IB не уперся в ширину шины?

pekmop1024 ★★★★★
()
Ответ на: комментарий от NiTr0

емнип, когда давно собирал линки в bonding в линуксе, там было что-то про xor линков, и между двумя клиентам скорость почти линейно росла
я про это

ii343hbka ★★★
() автор топика

б/у IB получается интересней, чем 10GBe.
По задержкам IB опять же интересней.
Но коммутировать проще всего гигабитный ethernet, т.к. провода дармовые и могут быть довольно длинными.

Deleted
()
Ответ на: комментарий от ii343hbka

свичи round-robin не умеют. т.е. 1 поток (либо в худжем случае все на один хост) литься будет в один порт.

NiTr0 ★★★★★
()

Starage какого вендора? Зачем городить и прикручивать SAS, если можно взять HBA?

anonymous
()
Ответ на: комментарий от iliyap

Наверное тебе предлагают не прямой SAS, а коммутируемый.

Неважно, какой SAS - прямой, или коммутируемый. У автора задача заключается в том, чтобы обеспечить видимость одного тома сториджа с нескольких серверов. Следовательно, в случае SAS требуется кластерная FS со всеми вытекающими. Впрочем, тоже самое справедливо и для iSCSI поверх 1GbEthernet/10GbEvernet/IB. Но там возможна та же NFS, в отличие от варианта с SAS.

Serge10 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.