LINUX.ORG.RU

Поддержка InfiniBand в ядре Linux


0

0

По утверждению роланда Драера (Roland Dreier), старшего программного инженера компании "Topspin Communications", уже в ближайшее время ядро Linux получит полную поддержку высокоскоростной сетевой технологии InfiniBand, которая используется в кластерах. По его словам, работа над поддержкой протокола сохранения и API кластеризации InfiniBand в Linux практически завершена.
В последнем стабильном ядре Linux - 2.6.11 - присутствует лишь частичная поддержка InfiniBand.

>>> Подробности



Проверено: Shaman007 ()

Re: Поддержка InfiniBand в ядре Linux

Дык кому надо - тем и ядро нежалко пропатчить для получения поддержки, так что об отсутствии поддержки как таковой говорить несовсем верно.

green ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от green

Re: Поддержка InfiniBand в ядре Linux

Так никто и не говорит, что нет поддержки как таковой. Поддержка есть, но частичная, а обещают полную.

Sirko ()

Re: Поддержка InfiniBand в ядре Linux

Расскажите в кратце что это такое? И какие преимущества, у меня пока кластер (Lam-mpi) на NFS крутится обычном, какие фичи я получу когда перееду на сабж?

LX ★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от LX

Re: Поддержка InfiniBand в ядре Linux

2LX:

> ...у меня пока кластер (Lam-mpi) на NFS крутится

Строго говоря, NFS -- софт, а тут речь идет о железе.

И железо, надо сказать, ОЧЕНЬ вкусное! Например, там можно на аппаратном уровне открыть окно к памяти на другом хосте; не скажу за ЛАМ просто не знаю), а MPICH эту штуку уже несклько лет поддерживает.

При этом все довольно стабильно, хотя и несколько гемморойно в настройках, но по субъективным оценкам гораздо стабильнее того же Долфина.

Хотя до NUMAlink, конечно, далеко.

Одно замечание, возможно, для России не справедливое: в Германии цены на сие чудо различаются в разы, в зависимости от продавца. Дешевле всего мы купили непосредственно у InfiniCon (http://www.infiniconsys.com), реселлеры просили почти в 5(!) раз дороже.

Die-Hard ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от Die-Hard

Re: Поддержка InfiniBand в ядре Linux

А что вы брали?

Я что то не особо фтыкаю, что нужно взять, чтобы объединить в одну сетку несколько узлов через Infiniband вместо езернета.

Достаточно для этого воткнуть в каждый узел по InfiniServ 7000 или 9000 и соединить через свич InfinIO 3000 или 9024?

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

2anonymous (*) (26.03.2005 23:39:23):

> Достаточно для этого воткнуть в каждый узел по InfiniServ 7000 или 9000 и соединить через свич InfinIO 3000 или 9024?

Вроде, да... Но -- не в курсе.

Я эту штуку не ставил -- только участвовал в переговорах про цену (вместе с челом, который все ставить должен был) и говорил, как девелопер -- "да" или "нет". Чел давно слинял, а система -- жива!

Die-Hard ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от Die-Hard

Re: Поддержка InfiniBand в ядре Linux

Подозрительно все это как то.

На этом http://www.infiniconsys.com даже цен нет!

И предложений по tca тоже нет. Только hca да ioswitch.

В москве видел только платки hca по ~250 долларей.

Короче, позорное предложение по этой технике...

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

Мы говорили непосредственно с неким директором InfiniCon; он случайно оказался проездом в Германии и заехал к нам. Вот сейчас передо мной лежит его визитка, Kevin J. Holohan, Director. Business Development

Про цены плохо помню -- типа, платки были порядка $1000, а свитч вообще не помню. Реселлеры нам платки по $5000 предлагали.

Это же не йезернет!!!

Die-Hard ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от Die-Hard

Re: Поддержка InfiniBand в ядре Linux

ну так йезернет и стоит по 20 дооларей за платку + 300 за свич.

А тут, похоже, железа и нет совсем к продаже. Одни слюни по поводу "мы туда и сюда и там и тут у нас все круто"...

подожжем, посмотрим, что там дале буде...

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

2anonymous (*) (27.03.2005 3:05:37):

> А тут, похоже, железа и нет совсем к продаже. Одни слюни ...

Ты немного не въезжаешь ;)

ЕСТЬ железо. Просто оно ТЕБЕ не нужно:

Это никак не замена йезернету. Это -- для совершенно другого, типа, HPC кластеры клепать, у кого денег на Алтиксы нет.

Или Алтиксы -- тоже "одни слюни"?

Die-Hard ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от Die-Hard

Re: Поддержка InfiniBand в ядре Linux

Какой ты, однако, нешуточный специалист, уважаю, но, человек не может знать столь много, понимаешь, о чём я,..

MiracleMan ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от Sirko

Re: Поддержка InfiniBand в ядре Linux

Да ну, обещают вообще странное, какие-то IP over infiniband (ну нафига?!) и тп.
MPI это конечно да, но с правильными патчами MPI и сейчас у нас работает, например (и давно, и на 2.4 в том числе)

Только у этого infiniband помнится есть затык с количеством нод которые можно соединить, вроде 32? Поэтому сейчас от них отказываются кое какие конторы, предпочитают гигабитные эзернеты насколько это только возможно.
Но вообще DMA с хоста на хост, это конечно удобно, спору нет.

green ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от green

Re: Поддержка InfiniBand в ядре Linux

>Только у этого infiniband помнится есть затык с количеством нод которые можно соединить, вроде 32? Поэтому сейчас от них отказываются кое какие конторы, предпочитают гигабитные эзернеты насколько это только возможно.

Гигабитом InfiniBand не заменишь, конечно можно поменять, но тогда кластер более десятка узлов можешь выкинуть ибо производительность в бльшинстве задач упадет раза в 2, а то и больше и будешь запускать задачу на каждом узле отдельно. InfiniBand, myrinet, sci и прочее просто нельзя сравнивать с ethernet по цене, потому где вполне устраивает ethernet другое не поставят Главная разница между ними даже не пропускная способность (хотя и тут гигабит проигрывает в среднем раза в 4), а латентность, которая отличается на порядок-два

Dubrovsky ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от Dubrovsky

Re: Поддержка InfiniBand в ядре Linux

Про latency конечно никто не спорит и это действительно очень важно, однако легкость добавления новой ноды с эзернетом vs новой ноды с ib/myrinet/sci/elan совсем более другая (и не только из-за цены). Поэтому некоторые большие инсталляции тяготеют к отказам (не полным, разумеется) от этих (ну которые не ethernet) технологий.

green ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от Dubrovsky

Re: Поддержка InfiniBand в ядре Linux

> Главная разница между ними даже не пропускная способность (хотя и тут гигабит проигрывает в среднем раза в 4), а латентность, которая отличается на порядок-два

скоро 10Gb ethernet станет массовым, а там и 100Gb подоспеет...

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

Массовость понятие относитеьлное. Знаешь, пока что на просторах экс СССР можно говорить о массовости лишь 100 мегабит.
Особенно, если учесть что кроме Москвы есть еще и другие города и даже страны.

sergom ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

Решив проблему с bandwidth используя 10gige, проблема с latency остается, а это намного важнее.

green ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от sergom

Re: Поддержка InfiniBand в ядре Linux

> Массовость понятие относитеьлное. Знаешь, пока что на просторах экс СССР можно говорить о массовости лишь 100 мегабит. Особенно, если учесть что кроме Москвы есть еще и другие города и даже страны.

богатенький западный потребитель оплатит разработку и внедрение технологий, ну и поимеет HDTV в реал-тайм по сети на заказ, а все кому нужны кластера соответственно дешёвые скорострельные LAN, а вот про Россию в контексте "массовости" лучше не вспоминать вообще - основной массе россиян лучше дать дешёвую качественную водку, жрачку и тряпки, новые технологии им нах не нужны.

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от green

Re: Поддержка InfiniBand в ядре Linux

> Решив проблему с bandwidth используя 10gige, проблема с latency остается, а это намного важнее.

ну я надеюсь, что она (latency) линейно уменьшается с ростом bandwidth. Если рост bandwidth происходит за счёт разгона клоков, то и latency за счёт роста клоков падает также (???), вроде бы преобразование оптика-лепездричество и обратно настолько шустро, что big iron даже во внутренних шинах уже давно заимело оптику

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

Там все не так просто, если в ib я могу закинуть прямо в память нужного мне хоста нужные данные и потом его пнуть что вот мол они - пошел работать, то в ethernet мне нуна сформировать настоящий ip пакет, потом его заслать (arp-discovery в том числе, если неповезло), ... та сторона его должна принять, потом проверить пакет, скопировать (zero copy tcp receive у нас нету, тока send), потом только обработать...

green ★★★★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от green

Re: Поддержка InfiniBand в ядре Linux

> Там все не так просто, если в ib я могу закинуть прямо в память нужного мне хоста нужные данные и потом его пнуть что вот мол они - пошел работать, то в ethernet мне нуна сформировать настоящий ip пакет, потом его заслать (arp-discovery в том числе, если неповезло), ... та сторона его должна принять, потом проверить пакет, скопировать (zero copy tcp receive у нас нету, тока send), потом только обработать...

тааа, фигня, нехай энтим (проверить пакет, обработать) чип на интерфейсе занимается, и tcp/ip стек тоже он разруливает, в эпоху чипов с миллиардами вентилей на борту это - семечки

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

> тааа, фигня, нехай энтим (проверить пакет, обработать) чип на интерфейсе занимается, и tcp/ip стек тоже он разруливает, в эпоху чипов с миллиардами вентилей на борту это - семечки

Только это будет стоить почти столько же, сколько и специализированные решения (IB, Myrinet и т.п.).

P.S. Подскажите, пожалуйста, где лучше почитать сравнение решений IB/Myri/etc?

lumag ★★ ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от green

Re: Поддержка InfiniBand в ядре Linux

да дело не в пакете надо переключать привилегии - ситемный вызов а системный вызов в линуксе это уже нескольо мс, в то время как если писать напрямую впамять( или что то же в шину пси) то это измеряется мкс или даже наносек.

anonymous ()
Ответ на: Re: от sS

Re:

> Коротко но по делу...

Спасибо.

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

хех, а в инфинибенд данные из сети в память процесса силой мысли попадают что-ли? драйверок к интерфейсу по-любому нужен, а где драйвер, там и сискол. К тому если ума палата, то в случае с ethernet можно tcp/ip стек послать подальше и пакеты разруливать самому.

anonymous ()
Ответ на: Re: Поддержка InfiniBand в ядре Linux от anonymous

Re: Поддержка InfiniBand в ядре Linux

anonymous (*) (30.03.2005 13:04:46):

> хех, а в инфинибенд данные из сети в память процесса силой мысли попадают что-ли? драйверок к интерфейсу по-любому нужен, а где драйвер, там и сискол. К тому если ума палата, то в случае с ethernet можно tcp/ip стек послать подальше и пакеты разруливать самому.

Дык -- не в пакетах дело!

Факт: в процессе моих экспериментов над кластером из 16 двухголовых писюков (ок, не совсем писюков -- двухголовые ксеоны в стойке по 16 штук) выяснилось, что оптимизированный под infiniBand mpich дает лучшее масштабирование, если я запускаю 8 нитей на РАЗНЫХ хостах, по сравнению с 4x2. Мне так и объяснили: с точки зрения организации всего процесса, предоставляемое InfiniBand окошко оказывается эффективнее shared memory.

Скорее всего, глупость (в смысле принципиального предела) -- но факт: _сейчас_ это -- _так_.

Die-Hard ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.