Расскажите нубу про InfiniBand

В основном это хрень для быстрого и низколатентного залезания в память другого сервера (RDMA)

Можно. Есть даже протокол IPoIB - обычная сеть через инфинибэнд с ip-шниками.

По простому: Эта фигня кроме поддержки обычного TCP/IP имеет собственный сетевой стек, позволяющий напрямую копировать участок памяти из одного узла в участок памяти другого, без использования промежуточных буферов и ЦПУ. За это его любят в HPC. Но если программы не умеют использовать этот специфичный стек/API, то и смыла в нём нет.

Мн бы файловую шару гонять меж 2-3 хостов.

Мн бы файловую шару гонять меж 2-3 хостов.

Тогда он тебе не нужен. То что ты предложил - старьё, его можно на ebay/ali купить дешевле, но не забывай о коммутаторе и кабелях.

Можно ли без коммутатора: не уверен, такое оборудование для двух узлов не покупают.

Эта фигня кроме поддержки обычного TCP/IP имеет собственный сетевой стек, позволяющий напрямую копировать участок памяти из одного узла в участок памяти другого, без использования промежуточных буферов и ЦПУ.

Извини, не удержался :)

На болиде F1 можно возить картошку, но недолго и только по очень хорошим дорогам, помимо этого можно принимать участие в соревнованиях «Formula 1».

Лучше и не скажешь. Но я тупо не знал, как по простому это объяснить. :)

Платы и кабели по 30. Куда дешевле?
Но свичи от штуки. Что капец.

Скажи что купить уже!)

Деньги ляжку жгут что ли? :)

Не знаю, я не могу давать полноценные советы, я ещё не работал с IB, к сожалению. Хотя хочу попробовать.

Упорись и собери AiO, к примеру.

Или лучше опиши свою ситуацию не с т.з. «какую сетевую карту купить, хочу гонять быстро файлы по SMB», а с «у меня такие-то задачи, какое лучше программное/аппаратное решение выбрать?»

Смотря сколько денег. 1к тратить не буду. 200-300 - легко. Больше - надо подумать и уговаривать жабу.

AiO

Это что? Гуглится всякая хрень игровая.

Задача

Есть 2 микросервера (данные на 10х рейдах. т.е. тезис «твои диски медленнее все равно» - бред). И есть рабочая станция с супер-быстрым ссд и 0-м рейдом на 4 быстрых дисках. Еще есть флешки со скоростями чтения от 130 мбайт\с.
Иногда нужно гонять несколько сот гб файлов туда сюда. В один поток. Одним пользователем. Файлы относительно крупные (от 20мб).

Сеть в 1гбит для этого тупо медленная. Да, я могу 40 минут подождать пока скидывается съемка на хранилище. Но не хочу. А еще, иногда, хочу работать с файлами прямо на хранилище, не таская их туда-сюда. Тут, конечно, иопсы важнее гигибит, но и от последних толк есть.

Ну и просто «хочется». Желательно на меди. Но даже вариант с короткими LC рассмотрел бы. (Только этот вариант в деньги не влазит)

Пока вижу такое «решение»:
- двухпортовая 10г сетевка в рабочую станцию
- одно(ну или двух) портовая сетевка в микросерверы
- интернет по этой сети гонять не нужно, обычный гигабит в свич, а из свича в роутер есть на всех хостах.

В конце концов, это вложение в железо оно очень надолго. А равы все растут и растут. Уже и 80мб на файл - не экзотика.

Это что? Гуглится всякая хрень игровая.

Сервер «всё в одном» на ESXi, где рабочая станция и насы - виртуалки. Сложен в настройке, единая точка отказа.

Пока вижу такое «решение»:

В принципе, при трёх двухпортовых сетевухах хорошее решение для трёх узлов. Соединение типа «каждый с каждым», файлы гонять по ftp, максимально быстрый обмен, но поработать с файлами прямо на хранилище не получится. Минус только один - нерасширяемое при добавлении четвёртого узла без 10gbase свича.

Если не надо быстро перегонять данные между насами, то туда можно однопортовые сетевухи поставить и соединить через комп.

Была попытка хранилище держать с рабочим компом. Вынес. И точки отказа разные и проще некоторым коллегам давать доступ к тачке (под тяжелые задачи).

10gbe таки дорого. Мне в каждой теме советуют «IB за копейки». Вон вижу дешевые карты и кабели. Но непонятно обязателен ли свич. А то он кило денег стоит.

Не обязателен. На тринити говорят, что можно вообще кольцо организовать из серверов.

Блин, что то я вообще туплю, на infiniband-а строят и 2/3D сети/торы. Так что карта с картой должны соединяться.

Если решишь на Infiniband, то смотри NFS over RDMA, тогда будешь использовать его возможности.

Ешё вспомнил про http://dislab.org/interconnect.html :)

Если решишь на Infiniband, то смотри NFS over RDMA, тогда будешь использовать его возможности.

Автор темы - вендузятник, какой ему NFS over RDMA?

https://technet.microsoft.com/ru-ru/library/jj134210.aspx

Объясню совсем по простому. InfiniBand не для нубов.

Не факт, что на однпоточном скачивании smb multichannel будет работать, поэтому и не предлагал. Ну и samba пока rdma и multichannel не поддерживает, т.е. ТСу все микросерверы надо будет переустанавливать на winserver 2012r2.

что то подозрительно дешево http://www.ebay.com/itm/Mellanox-Voltaire-VLT-30011-InfiniBand-36x-40G-Port-Q...

а виртуалки по iscsi гонять нормально будет ?

iSCSI over RDMA есть под венду?

Не знаю.

т.е. ТСу все микросерверы надо будет переустанавливать на winserver 2012r2.

Хотя может так и так стоит winserver 2012r2? ;)

Нет. Там пирачу 8й. Кстати, последняя пиратка из всего софта моего. Остальное легальное. (и фотошоп, да)

ты интерфейс то у 2012 видел? хуже восьмерки.

Слушай, для колхозников поясни, что есть iscsi. Ну не могу понять. Это что-то типа монитрования тома из другой системы в свою систему? Но не «сетевым диском» (в терминологии офтопа), а типа как локальный?

Там пирачу 8й.

Бедняжка :-))

ты интерфейс то у 2012 видел? хуже восьмерки.

Ставил в виртуалку для просмотра. Тормозит заметно больше, чем win2k8r2. Интерфейс - да, жесть.

Да. NAS это сетевые «папки» по smb или nfs, а SAN - подключаемые по сети блочные устройства.

К NAS к одному ресурсу можно подключаться одновременно, а к SAN - только один потребитель, если не используется кластерная FS, а то данным кирдык.

Притом iSCSI можно использовать так же как RAID.

Поищи под венду клиент iSCSI over RDMA. Правда 2008-ю на сервере придется отправить в утиль.

Да у меня нет таких Ъ задач. Плюс, если в какой-то технологии что-то даже осоновное не понимаешь, шансы на факап растут резко.

Виртуалки я использую. Целую одну. Из нее хожу на торговые площадки и в интернет-банки.

на правах слоупока:

http://serverfault.com/questions/678532/connect-two-infiniband-cards-to-each-...

ну вот купил 2 карточки, вот тест iperf.

iperf3 -c 10.3.3.2
Connecting to host 10.3.3.2, port 5201
[ 4] local 10.3.3.3 port 60141 connected to 10.3.3.2 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 389 MBytes 3.27 Gbits/sec 19 475 KBytes
[ 4] 1.00-2.00 sec 381 MBytes 3.20 Gbits/sec 0 525 KBytes
[ 4] 2.00-3.00 sec 396 MBytes 3.32 Gbits/sec 3 410 KBytes
[ 4] 3.00-4.00 sec 386 MBytes 3.24 Gbits/sec 0 440 KBytes
[ 4] 4.00-5.00 sec 396 MBytes 3.32 Gbits/sec 0 473 KBytes
[ 4] 5.00-6.00 sec 398 MBytes 3.34 Gbits/sec 0 504 KBytes
[ 4] 6.00-7.00 sec 400 MBytes 3.35 Gbits/sec 1 379 KBytes
[ 4] 7.00-8.00 sec 397 MBytes 3.33 Gbits/sec 0 445 KBytes
[ 4] 8.00-9.00 sec 392 MBytes 3.29 Gbits/sec 0 488 KBytes
[ 4] 9.00-10.00 sec 392 MBytes 3.29 Gbits/sec 0 514 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 3.84 GBytes 3.29 Gbits/sec 23 sender
[ 4] 0.00-10.00 sec 3.84 GBytes 3.29 Gbits/sec receiver


кто скажет почему не 40gbit ? И может кто популярно объяснить что вообще такое rdma и где его пременить ?
Сейчас я офтоп ставлю на iscsi и хочу потестить иопсы и скрость

Какие и почем?! И где?

rdma

Оно, вроде как, для кластеров и т.п.

Вот такие 2 штуки Qlogic Infiniband QLE7340 40Gbps
Я в Украине живу и тут нашел продавца через интернет

ну то что rdma для кластеров, это я знаю, хотелось бы примеров парочку услышать, + есть еще какой то iscsi over rdma(ib) вроде, что бы не поднимать сетку на infiniband( по крайней мере я так думаю). Вот только чего то скорость выше 3 gb не поднимается на тестах, а карточка на 40 же ((

Ну порядок цены? Или совсем не рыночно дешево вышло?

Инфы в инете мало ((
вот протестил fio на iops на таргете 40к на инициаторе 35к, тест отличный (тестирую ssd intel). Только вот в kvm windows на инициаторе, что то тесты не очень, по типус скорость чтения сначала 150мбайт а потом 10мбайт и iops случайный тест 3 iops выдает, хотя может я не правильно target настроил(поставил openmediavault и там без всяких настроек запустил чисто для теста)

вышло 2800 грн

8 886.30 в рублях

Хм. Бесплатно просто! По сравнению с 10гбе.

Я правильно понял, что на передаче файлов между хостами удалось выжать 3 гбита?

пока это iperf тест, передачу позже потестю

Вот повысил mtu до 65520

Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 10.3.3.2, TCP port 5001
TCP window size: 4.00 MByte (default)
------------------------------------------------------------
[ 5] local 10.3.3.3 port 51106 connected with 10.3.3.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 5] 0.0- 1.0 sec 427 MBytes 3.58 Gbits/sec
[ 5] 1.0- 2.0 sec 462 MBytes 3.87 Gbits/sec
[ 5] 2.0- 3.0 sec 459 MBytes 3.85 Gbits/sec
[ 5] 3.0- 4.0 sec 453 MBytes 3.80 Gbits/sec
[ 5] 4.0- 5.0 sec 453 MBytes 3.80 Gbits/sec
[ 5] 5.0- 6.0 sec 449 MBytes 3.77 Gbits/sec
[ 5] 6.0- 7.0 sec 447 MBytes 3.75 Gbits/sec
[ 5] 7.0- 8.0 sec 447 MBytes 3.75 Gbits/sec
[ 5] 8.0- 9.0 sec 449 MBytes 3.77 Gbits/sec
[ 5] 9.0-10.0 sec 448 MBytes 3.75 Gbits/sec
[ 5] 0.0-10.0 sec 4.39 GBytes 3.77 Gbits/sec
[ 4] local 10.3.3.3 port 5001 connected with 10.3.3.2 port 41400
[ 4] 0.0- 1.0 sec 703 MBytes 5.90 Gbits/sec
[ 4] 1.0- 2.0 sec 704 MBytes 5.91 Gbits/sec
[ 4] 2.0- 3.0 sec 705 MBytes 5.91 Gbits/sec
[ 4] 3.0- 4.0 sec 705 MBytes 5.91 Gbits/sec
[ 4] 4.0- 5.0 sec 705 MBytes 5.91 Gbits/sec
[ 4] 5.0- 6.0 sec 706 MBytes 5.92 Gbits/sec
[ 4] 6.0- 7.0 sec 705 MBytes 5.92 Gbits/sec
[ 4] 7.0- 8.0 sec 705 MBytes 5.91 Gbits/sec
[ 4] 8.0- 9.0 sec 705 MBytes 5.91 Gbits/sec
[ 4] 9.0-10.0 sec 704 MBytes 5.91 Gbits/sec
[ 4] 0.0-10.0 sec 6.88 GBytes 5.91 Gbits/sec

чего то с одной карты на другую разные значения дает(( с одной постоянно больше чем с другой

Все равно неплохо

10gbe таки дорого

Тебя обманывают, https://market.yandex.ru/product/10975882?hid=91088&suggest=1

юзай ib_send_bw

и это не дорого для дома?

это что такое ?

это утилита для измерения скорости чистого IB, вместо iperf, который измеряет скорость EthOverIB

спасибо, попробую. А можете рассказать чем отличаются режимы работы datagram и connected и какой лучше где использовать ?

Я выше верно понял, что офтоп в это умеет?

А с какими параметрами гоняешь iperf? Там ЕМНИП можно ( и нужно ) размер пакетов повысить, раз увеличил MTU

Плюс у тебя вроде как размер окна разный с разных сторон, это тоже меняется параметрами. Может версии iperf разные?

connected — общение только между двумя точками
datagram — можно посылать/принимать данные от разных точек
почти как в TCP, только свойство гарантированности доставки здесь выделено в отдельное: Reliable/Unreliable и таким образом возможны 4 комбинации: RC, UC, RD, UD

использовать исходя из задачи приложения: если нужен поток упорядоченных данных, то CONNECTED, если отдельные сообщения, то DATAGRAM

еще не проверял, на днях затестю на 2012ом