LINUX.ORG.RU

Выбор сети для SAN. Infiniband?

 , , , ,


0

1

Под новый офис планируем серверы для отказоустойчивых сервисов. Пара микро-кластеров на Proxmox и оффтопике отдельно. Серверы будут от Supermicro однозначно.

HA виртуалки лучше и красивше разворачиваются когда есть SAN. Поэтому еще будет отказоустойчивый SAN. Тут будет либо 2 сервера просто с репликацией, либо есть решения у Supermicro на двойной сервер, где общая полка с винтами, но остальное железо дублируется.

У Supermicro есть решения серверов с предустановленными 56 Гбит/с FDR Infiniband контроллерами (Mellanox ConnectX 3).

Почитал про них, но дела с Infiniband до этого не имел, поэтому спросить у сообщества. Может какие советы будут.

У меня в планах брать сервера с контроллерами Infiniband + сетевуху с 2 портами SFP+ для связи с остальной сетью. Ну и плюс коммутаторы Infiniband, навроде Mellanox SX6012. Т.е. межсерверное взаимодействие и связь с SAN через Infiniband сеть, а связь с клиентской сетью через SFP+ порты на коммутаторы ядра сети от каждого сервера отдельно.

Еще есть желание иметь возможность обходного маршрута (на случай например выхода из строя Infiniband сетевухи) доступа к SAN не через Infiniband, а через коммутаторы клиентской сети (те, которые через SFP+). Вроде как можно Infiniband коммутаторы подключить к SFP+ портам через специальный кабель-трансивер?


Что-то похожее запилил оракл в своей exadata.
Я бы SAN всё же на FC делал просто потому, что он распространён. И когда захочется какой-нибудь отдельный сторадж, то там это будет.

cipher ★★★★★
()

Еще есть желание иметь возможность обходного маршрута (на случай например выхода из строя Infiniband сетевухи)...Вроде как можно Infiniband коммутаторы подключить к SFP+ портам через специальный кабель-трансивер?

что-то не припомню таких. тут или ib свич с бриджем встроенным типа 4036E или dual-port hca/две штуки hca.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от cipher

xsigo, оно не только для exadata. офигенская штука как сеть(fc+ethernet) внутри датацентра.

EvgGad_303 ★★★★★
()

InfiniBand вполне хорошее и надёжное решение для подобного. На прошлом месте работы не было с ним проблем.

sT331h0rs3 ★★★★★
()
Ответ на: комментарий от cipher

Я бы SAN всё же на FC делал просто потому, что он распространён. И когда захочется какой-нибудь отдельный сторадж, то там это будет.

Мне бы даже привычнее было бы с FC. Но кажется IB выглядит перспективнее.

Есть в общем-то даже FCoIB (FC over Infiniband). А отдельные стораджи сейчас вполне с IB идут тоже.

nstorm
() автор топика
Ответ на: комментарий от EvgGad_303

С Ораклом, если честно неприятная история взаимоотношений, еще со времен SUNа. Стоят их интегрированные решения сейчас (3 сервака + сторадж). Денег стоили кучу по тем временам. Не смотря на расширенный контракт поддержки, с ней полная беда возникла. Умершую плашку оперативки пол года меняли, винты не докупить, т.к. они уже не выпускаются (что-то «левое» поставить тоже нельзя).

что-то не припомню таких. тут или ib свич с бриджем встроенным типа 4036E или dual-port hca/две штуки hca.

Ну вроде как Mellanox со своих свитчей позволяет кабелем QSFP->4xSFP+ подключаться. Только надо чтобы сеть в Ethernet режиме работала, и лицензию на Ethernet Gateway для свитча вроде как прикупить нужно.

nstorm
() автор топика
Ответ на: комментарий от sT331h0rs3

У вас оно чисто в режиме Infiniband работало для связи с SAN? Или ЛВС по нему тоже работала? Через что?

А то ж там вариантов - IPoIB, EoIB, Ethernet mode... =/

nstorm
() автор топика
Ответ на: комментарий от nstorm

У вас оно чисто в режиме Infiniband работало для связи с SAN?

Да.

sT331h0rs3 ★★★★★
()
Ответ на: комментарий от nstorm

С Ораклом, если честно неприятная история взаимоотношений,

Почему-то очень часто слышу это именно из России. Многое от представительства или местных партнёров зависит. Когда я работал в суппорте сана у нас на локальном складе гайки для всех клиентов имелись, если чего и не было, то на следующий день до обеда уже на столе лежало.

винты не докупить, т.к. они уже не выпускаются

с расширенной поддержкой можно, по-крайней мере в европах и если вообще есть на складах, только ценник не гуманный совсем.

Ну вроде как Mellanox со своих свитчей позволяет кабелем QSFP->4xSFP+ подключаться.

надо посмотреть будет.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

Может быть да, попалось такое представительство. Может ситуацию и можно было поменять выбором другого партнёра, но как говорится, осадок уже остался.

А на счет кабелей, если интересно будет: http://ru.mellanox.com/page/products_dyn?product_family=183&mtag=cables_c...

Плюс их технология VPI вроде как позволяет завязываться с Ethernet:

Virtual Protocol Interconnect (VPI) supporting InfiniBand and Ethernet connectivity provide the highest performing and most flexible interconnect solution for PCI Express Gen3 servers. VPI simplifies system development by serving multiple fabrics with one hardware design. VPI simplifies today network by enabling one platform to run both InfiniBand and Ethernet subnets on the same chassis.

nstorm
() автор топика
Ответ на: комментарий от nstorm

но как говорится, осадок уже остался.

У нас в стране так ibm когда-то накосячил с поддержкой и теперь его стороной стараются обходить :D

Плюс их технология VPI вроде как позволяет завязываться с Ethernet:

oracle virtual network aka xsigo это и использует.

EvgGad_303 ★★★★★
()

HA виртуалки лучше и красивше разворачиваются когда есть SAN

А я помню болезненный переезд на local storages! Речь о Xen, правда. Но все равно лучше сначала тесты погонять. Перед покупкой IB ;)

anonymous
()
Ответ на: комментарий от anonymous

На локальном сторадже, а точнее это называется DAS, не организовать HA, если не организовать репликацию на другие серверы кластера. С SAN как бы ясно - все имеют доступ к одинаковому набору данных. А с локальным нужно или кластерную ФС или DRDB использовать и т.п.

nstorm
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.