LINUX.ORG.RU
 

Проблемы масштабируемости Linux.


0

0

Были недавно обнаружены инженерами SGI, которые запустили Linux на 4096-процессорной системе. По их словам конфигурация по-умолчанию ядра Linux не позволяет работать на подобном оборудовании из-за слишком большого количества ядерных потоков, создаваемых для каждого процессора для повышения производительности, поэтому инженерам SGI потребовалось приложить поистине титанические усилия для решения этой проблемы - увеличить лимит на максимальное количество процессов в системе.

Так же были обнаружены проблемы при включении дополнительных модулей - это отнимало слишком много времени в waitpid(), для решения этой задачи были предложены несколько вариантов.

Поэтому если у вас есть 4096-процессорная система, для запуска Linux вам необходимо применить один или два небольших патча.

>>> Подробности

** ()
Проверено: Shaman007 (20.04.2007 13:20:02)

[#] Ответ на: Re: Проблемы масштабируемости Linux. от dragon_djanic 20.04.2007 16:51:13  

Re: Проблемы масштабируемости Linux.

>Под мои 8192 процессора не патчится :-(

у меня 65536 процессоров - всё нормально патчится, и дум-3 не тормозит теперь :-)

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от signal 20.04.2007 15:16:25  

Re: Проблемы масштабируемости Linux.

>Успокойся - тут тоже наверняка кластер.

А сходить к ним на сайт слабО ?

SGI Altix это NUMA(NUMAflex) по жизни.

Стандартный Altix 4700 поддерживает 512 процов (1024 ядер) и 128Тб памяти "из коробки". Ну а нестандартный в каких то 4 жалких раза больше ;)

***** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от My_quest 20.04.2007 16:18:42  

Re: Проблемы фреймов.

> интересно, и радует, что угу, > Linux все более совершенствуется и занимает достойное место на майнфреймах.. что мейнфреймы совершенствуются и не загимают место на погосте только за счёт... ну, этого из 6-ти букв. GNU/Linux-а.

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Anonymous 20.04.2007 15:43:19  
Lockywolf

Re: Проблемы масштабируемости Linux.

>>http://www.sgi.com оклемалась

ничего она не оклемалась.

Ирикс сдох, вообще, SGI=Silicon Graphics Inc.

А теперь смотрим, какие у них продукты.

И где там Graphics?

*** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Lockywolf 20.04.2007 17:40:51  

Re: Проблемы масштабируемости Linux.

>Ирикс сдох, вообще, SGI=Silicon Graphics Inc.

>А теперь смотрим, какие у них продукты.

>И где там Graphics?

ДеЦкий сад :)

"На заборе x@й написано а там дрова лежат" (с) чей не помню ...

Идём на http://www.sgi.com/ и смотрим Our Focus раздел...

***** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от rtc 20.04.2007 14:07:22  

Re: Проблемы масштабируемости Linux.

>Solaris

а что, кто нибудь запускал соляру на таких машинах? насколько мне известно никто не запускал.

>_вообще_ не масштабируется на подобном уровне

масштабируется и запускается - это совсем не одно и тоже. насколько мне известно, сги использует линакс на своих биг айронс начиная с ядра 2.4.х, однако спустя ГОДЫ, при портировании уже 2.6.х на ниагару, были обнаружены серьезные баги связанные как раз с масштабируемостью. общепризнанный факт, что соляра под большой нагрузкой работает там, где линакс благополучно загибается.

>Почитайте на досуге перепалку инженера Sun Jeff Bonwick (автора SLAB memory allocator, btw) и David Miller (sparc maintainer в Linux).

там нет ничего, кроме брызг слюны David Miller-а. джеф, конечно немного перегибает, но у него в блоге по крайней мере нет ни крэпов ни фригингов.

* ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Lockywolf 20.04.2007 17:40:51  

Re: Проблемы масштабируемости Linux.

>Ирикс сдох, вообще, SGI=Silicon Graphics Inc.

от этой расшифровки они официально отказались еще в конце прошлого века, когда занялись системами хранения, неграфическими числодробилками и серверами- и вообще- причем тут название? Дейли Телеграф тоже сдох?

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от aydef 20.04.2007 18:22:14  

Re: Проблемы масштабируемости Linux.

>сги использует линакс на своих биг айронс начиная с ядра 2.4.х, однако спустя ГОДЫ, при портировании уже 2.6.х на ниагару, были обнаружены серьезные баги связанные как раз с масштабируемостью.

"сги использует линакс на своих биг айронс" начиная с ядра 2.0.хz- и таки да, никаких неразрешимых проблем не замечает...

**** ()
[#]  

Re: Проблемы масштабируемости Linux.

Не вижу никакого смысла в такой масштабируемости. Такое количество процессоров в SMP или даже в NUMA неэффективно.

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от sS 20.04.2007 17:38:59  

Re: Проблемы масштабируемости Linux.

2 sS: Ну на самом деле он и стандартный больше, просто пока SGIвцы растянули 1 имидж только на 1028 проца, остальное приходится партиционировать и использовать NUMALink как интерконнект, вот сейчас до 4096 довели. Правда им бы научиться нагорячую удалять процы, чтобы можно было менять битые в такой системе.

()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от BrandStorm 20.04.2007 19:18:12  

Re: Проблемы масштабируемости Linux.

>Правда им бы научиться нагорячую удалять процы, чтобы можно было менять битые в такой системе.

а они не умеют? патч для горячей замены процессоров в Linux черти когда был.

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от rtc 20.04.2007 14:07:22  
klalafuda

Re: Проблемы масштабируемости Linux.

> Для тех, кто в танке - ирония новости в том, что для запуска Linux на такой системе потребовалось всего лишь изменить лимит на максимально-допустимое количество процессоров.

ирония новости в том, что автор, который собственно запостил эту новость хотя и должен по-идее разбираться в том, что в ней чёрным по белому написано, упорно делает вид, что ничего в этом не понимает :-/

читаем пост - это не новость - ещё раз. в нём простым техническим англицким языком - замечу, вежливым! без флейма - описана суть проблемы. for these who knows.

// wbr

*## ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от signal 20.04.2007 15:09:41  

Re: Проблемы масштабируемости Linux.

>>Просто ради интереса: укажите компьютеры с числом процессоров, скажем >1024, работающие под Солярой.

>Топовые SunFire 15k в полной комплектации вроде

Нет. Даже 20k до стольки не грэйдятся. Это точно.

()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Anonymous 20.04.2007 19:27:25  

Re: Проблемы масштабируемости Linux.

>Правда им бы научиться нагорячую удалять процы, чтобы можно было менять битые в такой системе.

>а они не умеют? патч для горячей замены процессоров в Linux черти когда был

Представляю, не долекое будущее, человек с логотипом SGI на кепке и фонариком в руке заходит в гигантский ангар чтобы найти и заменить 65000 битый процессор :-)

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 19:05:21  
Aceler

Re: Проблемы масштабируемости Linux.

> Не вижу никакого смысла в такой масштабируемости.

На будущее. Решают проблемы заранее.

***** ()
[#] Ответ на: Re: Проблемы фреймов. от anonymous 20.04.2007 17:39:46  

Re: Проблемы фреймов.

>ну, этого из 6-ти букв. GNU/Linux-а

Из шести букв, говорите.. Linux? Ну-ну.. Вам, наверное, виднее..

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от atrus 20.04.2007 16:43:26  
Gharik

Re: Проблемы масштабируемости Linux.

> Вот радуют меня инженеры из SGI. Вместо того, чтобы, как Sun'овцы фигнёй страдать и с лицензиями воевать. Тихонько делают что надо. Увеличивают масштабирование, портируют xfs. И не жужжат.

А этих жареный петух уже клюнул в ягодицы, по полной программе, вот и результат. Ещё годик-другой и у Торвальдса будет от Санок процентов 25 акций, попомните мои слова.

# ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 19:05:21  
Gharik

Re: Проблемы масштабируемости Linux.

> Не вижу никакого смысла в такой масштабируемости. Такое количество процессоров в SMP или даже в NUMA неэффективно.

Ну ещё бы, сидячим на мамой подаренном p-133 и не понять всей прелести работы на большом железе.

# ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Gharik 20.04.2007 23:34:38  
signal

Re: Проблемы масштабируемости Linux.

>Ещё годик-другой и у Торвальдса будет от Санок процентов 25 акций, >попомните мои слова.

[продолжительный хохот]

Еще годик-другой и запросто может начаться 3я мировая :)

()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от max-super 20.04.2007 22:15:32  

Re: Проблемы масштабируемости Linux.

>Нет. Даже 20k до стольки не грэйдятся. Это точно.

AFAIK

20k - 36 процессоров 25К - 72 ....

Только фокус в том что вышеуказанные санки и толстые альтиксы позиционируются для немного различных задач...

***** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 22:18:42  
marsijanin

Re: Проблемы масштабируемости Linux.

>Представляю, не долекое будущее, человек с логотипом SGI на кепке и фонариком в руке заходит в гигантский ангар чтобы найти и заменить 65000 битый процессор :-)

Не чел под электронным (ня мюзонным) микроскопом нейтронным паяльником с тахионным жалом чинит регистр протца квантового . . . ведь возможность их горячего ремонта уже сколько лет поддерживается, начиная так с ветки 3.2.х

** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от marsijanin 21.04.2007 0:35:30  

Re: Проблемы масштабируемости Linux.

>Не чел под электронным (ня мюзонным) микроскопом нейтронным паяльником с тахионным жалом чинит регистр протца квантового . . . ведь возможность их горячего ремонта уже сколько лет поддерживается, начиная так с ветки 3.2.х

Вероятность того что в скором будующем, выйдет Linux 3.2.x --> 0

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от signal 20.04.2007 23:47:26  
Gharik

Re: Проблемы масштабируемости Linux.

> [продолжительный хохот]

Подвезли наконец? ;)

> Еще годик-другой и запросто может начаться 3я мировая :)

Ну, не гони, лучшие специалисты сходятся на 2013 году и никак не ранее.

# ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 21.04.2007 2:53:46  
Gharik

Re: Проблемы масштабируемости Linux.

> Вероятность того что в скором будующем, выйдет Linux 3.2.x --> 0

Угу, тоже мне, астролог-практикант. Седом по мейкфайлу пройтись слабо чтоль?

# ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от marsijanin 21.04.2007 0:35:30  

Re: Проблемы масштабируемости Linux.

"CPU Hotswap for Linux kernel 2.4.1"
http://www.linux.org.ru/profile/Anonymous/view-news.jsp?year=2001&month=2...

ЗЫ
"Ужасные предсказания от Microsoft"
"Ужасные предсказания от Линуса Торвальдса"
"Opera научилась понимать различные кодировки русского!"
"Новый суперкомпьютер на базе Linux"
В последнее время стало особенно модно создавать суперкомпьютеры на базе Linux...."(о кластере на 512 одноядерных нод)

обожаю старые новости на LORе...

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Anonymous 21.04.2007 13:22:01  

Re: Проблемы масштабируемости Linux.

может, ввести на LOR рубрику "в этот день ** лет назад" и, допустим, каждую субботу помещать туда какую-нибудь новость за ту же неделю какого нибудь года?..

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Anonymous 21.04.2007 13:36:22  
zHACKa

Re: Проблемы масштабируемости Linux.

>может, ввести на LOR рубрику "в этот день ** лет назад" и, допустим, каждую субботу помещать туда какую-нибудь новость за ту же неделю какого нибудь года?..

+1

* ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от zHACKa 21.04.2007 22:40:39  

Re: Проблемы масштабируемости Linux.

> А по делу - дык давно было известно, что линукс на больших тачилах да под нагрузкой хуже Солярки себя ведёт, ну так то поправят, не сегодня - так в недалёком будущем.

> общепризнанный факт, что соляра под большой нагрузкой работает там, где линакс благополучно загибается.

wiki.opennet.ru? Так это я писал. Серьёзно. А я - ламер.

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от My_quest 20.04.2007 16:18:42  

Re: Проблемы масштабируемости Linux.

мой краснаглазый друк,

так, чтоп ты знал. на mainframe базовой ОС всегда была, есть, и будет OS/3xx, она же zOS, и R9 - пророк Её. принцип совсем другой, чем на потомках пишущих машинок.

* ()
[#]  

Re: Проблемы масштабируемости Linux.

В Висте таких проблем нет.

Bluesman

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от sS 21.04.2007 0:21:07  

Re: Проблемы масштабируемости Linux.

Правильно ты "K" :)

12k - 36 US3, US4
15k - 72 US3, US4
20k - 36 US3, US4, US4+
25k - 72 US3, US4, US4+

А по сути 12к-25к это одна и та-же машина. Да, US4 & US4+ - двухядерные, так что процессоров получается 144 максимум.

()