Поддержка InfiniBand в ядре Linux

Дык кому надо - тем и ядро нежалко пропатчить для получения поддержки, так что об отсутствии поддержки как таковой говорить несовсем верно.

Так никто и не говорит, что нет поддержки как таковой. Поддержка есть, но частичная, а обещают полную.

Об этом сообщалось уже в конце января:
http://www.linux.org.ru/jump-message.jsp?msgid=775078

Расскажите в кратце что это такое? И какие преимущества, у меня пока кластер (Lam-mpi) на NFS крутится обычном, какие фичи я получу когда перееду на сабж?

2LX:

> ...у меня пока кластер (Lam-mpi) на NFS крутится

Строго говоря, NFS -- софт, а тут речь идет о железе.

И железо, надо сказать, ОЧЕНЬ вкусное! Например, там можно на аппаратном уровне открыть окно к памяти на другом хосте; не скажу за ЛАМ просто не знаю), а MPICH эту штуку уже несклько лет поддерживает.

При этом все довольно стабильно, хотя и несколько гемморойно в настройках, но по субъективным оценкам гораздо стабильнее того же Долфина.

Хотя до NUMAlink, конечно, далеко.

Одно замечание, возможно, для России не справедливое: в Германии цены на сие чудо различаются в разы, в зависимости от продавца. Дешевле всего мы купили непосредственно у InfiniCon (http://www.infiniconsys.com), реселлеры просили почти в 5(!) раз дороже.

А что вы брали?

Я что то не особо фтыкаю, что нужно взять, чтобы объединить в одну сетку несколько узлов через Infiniband вместо езернета.

Достаточно для этого воткнуть в каждый узел по InfiniServ 7000 или 9000 и соединить через свич InfinIO 3000 или 9024?

2anonymous (*) (26.03.2005 23:39:23):

> Достаточно для этого воткнуть в каждый узел по InfiniServ 7000 или 9000 и соединить через свич InfinIO 3000 или 9024?

Вроде, да... Но -- не в курсе.

Я эту штуку не ставил -- только участвовал в переговорах про цену (вместе с челом, который все ставить должен был) и говорил, как девелопер -- "да" или "нет". Чел давно слинял, а система -- жива!

Подозрительно все это как то.

На этом http://www.infiniconsys.com даже цен нет!

И предложений по tca тоже нет. Только hca да ioswitch.

В москве видел только платки hca по ~250 долларей.

Короче, позорное предложение по этой технике...

Мы говорили непосредственно с неким директором InfiniCon; он случайно оказался проездом в Германии и заехал к нам. Вот сейчас передо мной лежит его визитка, Kevin J. Holohan, Director. Business Development

Про цены плохо помню -- типа, платки были порядка $1000, а свитч вообще не помню. Реселлеры нам платки по $5000 предлагали.

Это же не йезернет!!!

ну так йезернет и стоит по 20 дооларей за платку + 300 за свич.

А тут, похоже, железа и нет совсем к продаже. Одни слюни по поводу "мы туда и сюда и там и тут у нас все круто"...

подожжем, посмотрим, что там дале буде...

Хотя вот двухканальные платки по ~1000 и в Москве есть.

http://pcpart.price.ru/bin/price/prodlist?pnam=+Infiniband&fair=1&pla...

2anonymous (*) (27.03.2005 3:05:37):

> А тут, похоже, железа и нет совсем к продаже. Одни слюни ...

Ты немного не въезжаешь ;)

ЕСТЬ железо. Просто оно ТЕБЕ не нужно:

Это никак не замена йезернету. Это -- для совершенно другого, типа, HPC кластеры клепать, у кого денег на Алтиксы нет.

Или Алтиксы -- тоже "одни слюни"?

Какой ты, однако, нешуточный специалист, уважаю, но, человек не может знать столь много, понимаешь, о чём я,..

Да ну, обещают вообще странное, какие-то IP over infiniband (ну нафига?!) и тп.
MPI это конечно да, но с правильными патчами MPI и сейчас у нас работает, например (и давно, и на 2.4 в том числе)

Только у этого infiniband помнится есть затык с количеством нод которые можно соединить, вроде 32? Поэтому сейчас от них отказываются кое какие конторы, предпочитают гигабитные эзернеты насколько это только возможно.
Но вообще DMA с хоста на хост, это конечно удобно, спору нет.

>Только у этого infiniband помнится есть затык с количеством нод которые можно соединить, вроде 32? Поэтому сейчас от них отказываются кое какие конторы, предпочитают гигабитные эзернеты насколько это только возможно.

Гигабитом InfiniBand не заменишь, конечно можно поменять, но тогда кластер более десятка узлов можешь выкинуть ибо производительность в бльшинстве задач упадет раза в 2, а то и больше и будешь запускать задачу на каждом узле отдельно. InfiniBand, myrinet, sci и прочее просто нельзя сравнивать с ethernet по цене, потому где вполне устраивает ethernet другое не поставят Главная разница между ними даже не пропускная способность (хотя и тут гигабит проигрывает в среднем раза в 4), а латентность, которая отличается на порядок-два

Про latency конечно никто не спорит и это действительно очень важно, однако легкость добавления новой ноды с эзернетом vs новой ноды с ib/myrinet/sci/elan совсем более другая (и не только из-за цены). Поэтому некоторые большие инсталляции тяготеют к отказам (не полным, разумеется) от этих (ну которые не ethernet) технологий.

> Главная разница между ними даже не пропускная способность (хотя и тут гигабит проигрывает в среднем раза в 4), а латентность, которая отличается на порядок-два

скоро 10Gb ethernet станет массовым, а там и 100Gb подоспеет...

Массовость понятие относитеьлное. Знаешь, пока что на просторах экс СССР можно говорить о массовости лишь 100 мегабит.
Особенно, если учесть что кроме Москвы есть еще и другие города и даже страны.

Решив проблему с bandwidth используя 10gige, проблема с latency остается, а это намного важнее.

> Массовость понятие относитеьлное. Знаешь, пока что на просторах экс СССР можно говорить о массовости лишь 100 мегабит. Особенно, если учесть что кроме Москвы есть еще и другие города и даже страны.

богатенький западный потребитель оплатит разработку и внедрение технологий, ну и поимеет HDTV в реал-тайм по сети на заказ, а все кому нужны кластера соответственно дешёвые скорострельные LAN, а вот про Россию в контексте "массовости" лучше не вспоминать вообще - основной массе россиян лучше дать дешёвую качественную водку, жрачку и тряпки, новые технологии им нах не нужны.

> Решив проблему с bandwidth используя 10gige, проблема с latency остается, а это намного важнее.

ну я надеюсь, что она (latency) линейно уменьшается с ростом bandwidth. Если рост bandwidth происходит за счёт разгона клоков, то и latency за счёт роста клоков падает также (???), вроде бы преобразование оптика-лепездричество и обратно настолько шустро, что big iron даже во внутренних шинах уже давно заимело оптику

Там все не так просто, если в ib я могу закинуть прямо в память нужного мне хоста нужные данные и потом его пнуть что вот мол они - пошел работать, то в ethernet мне нуна сформировать настоящий ip пакет, потом его заслать (arp-discovery в том числе, если неповезло), ... та сторона его должна принять, потом проверить пакет, скопировать (zero copy tcp receive у нас нету, тока send), потом только обработать...

а чего у вас зерокопи нет?
про арп-дискавери смеялся )).

> Там все не так просто, если в ib я могу закинуть прямо в память нужного мне хоста нужные данные и потом его пнуть что вот мол они - пошел работать, то в ethernet мне нуна сформировать настоящий ip пакет, потом его заслать (arp-discovery в том числе, если неповезло), ... та сторона его должна принять, потом проверить пакет, скопировать (zero copy tcp receive у нас нету, тока send), потом только обработать...

тааа, фигня, нехай энтим (проверить пакет, обработать) чип на интерфейсе занимается, и tcp/ip стек тоже он разруливает, в эпоху чипов с миллиардами вентилей на борту это - семечки

> тааа, фигня, нехай энтим (проверить пакет, обработать) чип на интерфейсе занимается, и tcp/ip стек тоже он разруливает, в эпоху чипов с миллиардами вентилей на борту это - семечки

Только это будет стоить почти столько же, сколько и специализированные решения (IB, Myrinet и т.п.).

P.S. Подскажите, пожалуйста, где лучше почитать сравнение решений IB/Myri/etc?

Коротко но по делу...

http://www.t-platforms.ru/clusters/communications.html

да дело не в пакете надо переключать привилегии - ситемный вызов а системный вызов в линуксе это уже нескольо мс, в то время как если писать напрямую впамять( или что то же в шину пси) то это измеряется мкс или даже наносек.

> Коротко но по делу...

Спасибо.

хех, а в инфинибенд данные из сети в память процесса силой мысли попадают что-ли? драйверок к интерфейсу по-любому нужен, а где драйвер, там и сискол. К тому если ума палата, то в случае с ethernet можно tcp/ip стек послать подальше и пакеты разруливать самому.

anonymous (*) (30.03.2005 13:04:46):

> хех, а в инфинибенд данные из сети в память процесса силой мысли попадают что-ли? драйверок к интерфейсу по-любому нужен, а где драйвер, там и сискол. К тому если ума палата, то в случае с ethernet можно tcp/ip стек послать подальше и пакеты разруливать самому.

Дык -- не в пакетах дело!

Факт: в процессе моих экспериментов над кластером из 16 двухголовых писюков (ок, не совсем писюков -- двухголовые ксеоны в стойке по 16 штук) выяснилось, что оптимизированный под infiniBand mpich дает лучшее масштабирование, если я запускаю 8 нитей на РАЗНЫХ хостах, по сравнению с 4x2. Мне так и объяснили: с точки зрения организации всего процесса, предоставляемое InfiniBand окошко оказывается эффективнее shared memory.

Скорее всего, глупость (в смысле принципиального предела) -- но факт: _сейчас_ это -- _так_.