LINUX.ORG.RU

Проблемы масштабируемости Linux.


0

0

Были недавно обнаружены инженерами SGI, которые запустили Linux на 4096-процессорной системе. По их словам конфигурация по-умолчанию ядра Linux не позволяет работать на подобном оборудовании из-за слишком большого количества ядерных потоков, создаваемых для каждого процессора для повышения производительности, поэтому инженерам SGI потребовалось приложить поистине титанические усилия для решения этой проблемы - увеличить лимит на максимальное количество процессов в системе.

Так же были обнаружены проблемы при включении дополнительных модулей - это отнимало слишком много времени в waitpid(), для решения этой задачи были предложены несколько вариантов.

Поэтому если у вас есть 4096-процессорная система, для запуска Linux вам необходимо применить один или два небольших патча.

>>> Подробности

★★

Проверено: Shaman007 ()

Ответ на: комментарий от dragon_djanic

>Под мои 8192 процессора не патчится :-(

у меня 65536 процессоров - всё нормально патчится, и дум-3 не тормозит теперь :-)

anonymous
()
Ответ на: комментарий от signal

>Успокойся - тут тоже наверняка кластер.

А сходить к ним на сайт слабО ?

SGI Altix это NUMA(NUMAflex) по жизни.

Стандартный Altix 4700 поддерживает 512 процов (1024 ядер) и 128Тб памяти "из коробки". Ну а нестандартный в каких то 4 жалких раза больше ;)

sS ★★★★★
()
Ответ на: комментарий от My_quest

> интересно, и радует, что угу, > Linux все более совершенствуется и занимает достойное место на майнфреймах.. что мейнфреймы совершенствуются и не загимают место на погосте только за счёт... ну, этого из 6-ти букв. GNU/Linux-а.

anonymous
()
Ответ на: комментарий от Lockywolf

>Ирикс сдох, вообще, SGI=Silicon Graphics Inc.

>А теперь смотрим, какие у них продукты.

>И где там Graphics?

ДеЦкий сад :)

"На заборе x@й написано а там дрова лежат" (с) чей не помню ...

Идём на http://www.sgi.com/ и смотрим Our Focus раздел...

sS ★★★★★
()
Ответ на: комментарий от rtc

>Solaris

а что, кто нибудь запускал соляру на таких машинах? насколько мне известно никто не запускал.

>_вообще_ не масштабируется на подобном уровне

масштабируется и запускается - это совсем не одно и тоже. насколько мне известно, сги использует линакс на своих биг айронс начиная с ядра 2.4.х, однако спустя ГОДЫ, при портировании уже 2.6.х на ниагару, были обнаружены серьезные баги связанные как раз с масштабируемостью. общепризнанный факт, что соляра под большой нагрузкой работает там, где линакс благополучно загибается.

>Почитайте на досуге перепалку инженера Sun Jeff Bonwick (автора SLAB memory allocator, btw) и David Miller (sparc maintainer в Linux).

там нет ничего, кроме брызг слюны David Miller-а. джеф, конечно немного перегибает, но у него в блоге по крайней мере нет ни крэпов ни фригингов.

aydef
()
Ответ на: комментарий от Lockywolf

>Ирикс сдох, вообще, SGI=Silicon Graphics Inc.

от этой расшифровки они официально отказались еще в конце прошлого века, когда занялись системами хранения, неграфическими числодробилками и серверами- и вообще- причем тут название? Дейли Телеграф тоже сдох?

Anonymous ★★★★★
()
Ответ на: комментарий от aydef

>сги использует линакс на своих биг айронс начиная с ядра 2.4.х, однако спустя ГОДЫ, при портировании уже 2.6.х на ниагару, были обнаружены серьезные баги связанные как раз с масштабируемостью.

"сги использует линакс на своих биг айронс" начиная с ядра 2.0.хz- и таки да, никаких неразрешимых проблем не замечает...

Anonymous ★★★★★
()

Не вижу никакого смысла в такой масштабируемости. Такое количество процессоров в SMP или даже в NUMA неэффективно.

anonymous
()
Ответ на: комментарий от sS

2 sS: Ну на самом деле он и стандартный больше, просто пока SGIвцы растянули 1 имидж только на 1028 проца, остальное приходится партиционировать и использовать NUMALink как интерконнект, вот сейчас до 4096 довели. Правда им бы научиться нагорячую удалять процы, чтобы можно было менять битые в такой системе.

BrandStorm
()
Ответ на: комментарий от BrandStorm

>Правда им бы научиться нагорячую удалять процы, чтобы можно было менять битые в такой системе.

а они не умеют? патч для горячей замены процессоров в Linux черти когда был.

Anonymous ★★★★★
()
Ответ на: комментарий от rtc

> Для тех, кто в танке - ирония новости в том, что для запуска Linux на такой системе потребовалось всего лишь изменить лимит на максимально-допустимое количество процессоров.

ирония новости в том, что автор, который собственно запостил эту новость хотя и должен по-идее разбираться в том, что в ней чёрным по белому написано, упорно делает вид, что ничего в этом не понимает :-/

читаем пост - это не новость - ещё раз. в нём простым техническим англицким языком - замечу, вежливым! без флейма - описана суть проблемы. for these who knows.

// wbr

klalafuda ★☆☆
()
Ответ на: комментарий от signal

>>Просто ради интереса: укажите компьютеры с числом процессоров, скажем >1024, работающие под Солярой.

>Топовые SunFire 15k в полной комплектации вроде

Нет. Даже 20k до стольки не грэйдятся. Это точно.

max-super
()
Ответ на: комментарий от Anonymous

>Правда им бы научиться нагорячую удалять процы, чтобы можно было менять битые в такой системе.

>а они не умеют? патч для горячей замены процессоров в Linux черти когда был

Представляю, не долекое будущее, человек с логотипом SGI на кепке и фонариком в руке заходит в гигантский ангар чтобы найти и заменить 65000 битый процессор :-)

anonymous
()
Ответ на: комментарий от anonymous

> Не вижу никакого смысла в такой масштабируемости.

На будущее. Решают проблемы заранее.

Aceler ★★★★★
()
Ответ на: комментарий от anonymous

>ну, этого из 6-ти букв. GNU/Linux-а

Из шести букв, говорите.. Linux? Ну-ну.. Вам, наверное, виднее..

My_quest ★★★★★
()
Ответ на: комментарий от atrus

> Вот радуют меня инженеры из SGI. Вместо того, чтобы, как Sun'овцы фигнёй страдать и с лицензиями воевать. Тихонько делают что надо. Увеличивают масштабирование, портируют xfs. И не жужжат.

А этих жареный петух уже клюнул в ягодицы, по полной программе, вот и результат. Ещё годик-другой и у Торвальдса будет от Санок процентов 25 акций, попомните мои слова.

Gharik
()
Ответ на: комментарий от anonymous

> Не вижу никакого смысла в такой масштабируемости. Такое количество процессоров в SMP или даже в NUMA неэффективно.

Ну ещё бы, сидячим на мамой подаренном p-133 и не понять всей прелести работы на большом железе.

Gharik
()
Ответ на: комментарий от Gharik

>Ещё годик-другой и у Торвальдса будет от Санок процентов 25 акций, >попомните мои слова.

[продолжительный хохот]

Еще годик-другой и запросто может начаться 3я мировая :)

signal
()
Ответ на: комментарий от max-super

>Нет. Даже 20k до стольки не грэйдятся. Это точно.

AFAIK

20k - 36 процессоров 25К - 72 ....

Только фокус в том что вышеуказанные санки и толстые альтиксы позиционируются для немного различных задач...

sS ★★★★★
()
Ответ на: комментарий от anonymous

>Представляю, не долекое будущее, человек с логотипом SGI на кепке и фонариком в руке заходит в гигантский ангар чтобы найти и заменить 65000 битый процессор :-)

Не чел под электронным (ня мюзонным) микроскопом нейтронным паяльником с тахионным жалом чинит регистр протца квантового . . . ведь возможность их горячего ремонта уже сколько лет поддерживается, начиная так с ветки 3.2.х

marsijanin ★★
()
Ответ на: комментарий от marsijanin

>Не чел под электронным (ня мюзонным) микроскопом нейтронным паяльником с тахионным жалом чинит регистр протца квантового . . . ведь возможность их горячего ремонта уже сколько лет поддерживается, начиная так с ветки 3.2.х

Вероятность того что в скором будующем, выйдет Linux 3.2.x --> 0

anonymous
()
Ответ на: комментарий от signal

> [продолжительный хохот]

Подвезли наконец? ;)

> Еще годик-другой и запросто может начаться 3я мировая :)

Ну, не гони, лучшие специалисты сходятся на 2013 году и никак не ранее.

Gharik
()
Ответ на: комментарий от anonymous

> Вероятность того что в скором будующем, выйдет Linux 3.2.x --> 0

Угу, тоже мне, астролог-практикант. Седом по мейкфайлу пройтись слабо чтоль?

Gharik
()
Ответ на: комментарий от marsijanin

"CPU Hotswap for Linux kernel 2.4.1"
http://www.linux.org.ru/profile/Anonymous/view-news.jsp?year=2001&month=2...

ЗЫ
"Ужасные предсказания от Microsoft"
"Ужасные предсказания от Линуса Торвальдса"
"Opera научилась понимать различные кодировки русского!"
"Новый суперкомпьютер на базе Linux"
В последнее время стало особенно модно создавать суперкомпьютеры на базе Linux...."(о кластере на 512 одноядерных нод)

обожаю старые новости на LORе...

Anonymous ★★★★★
()
Ответ на: комментарий от Anonymous

может, ввести на LOR рубрику "в этот день ** лет назад" и, допустим, каждую субботу помещать туда какую-нибудь новость за ту же неделю какого нибудь года?..

Anonymous ★★★★★
()
Ответ на: комментарий от Anonymous

>может, ввести на LOR рубрику "в этот день ** лет назад" и, допустим, каждую субботу помещать туда какую-нибудь новость за ту же неделю какого нибудь года?..

+1

zHACKa
()
Ответ на: комментарий от zHACKa

> А по делу - дык давно было известно, что линукс на больших тачилах да под нагрузкой хуже Солярки себя ведёт, ну так то поправят, не сегодня - так в недалёком будущем.

> общепризнанный факт, что соляра под большой нагрузкой работает там, где линакс благополучно загибается.

wiki.opennet.ru? Так это я писал. Серьёзно. А я - ламер.

anonymous
()
Ответ на: комментарий от My_quest

мой краснаглазый друк,

так, чтоп ты знал. на mainframe базовой ОС всегда была, есть, и будет OS/3xx, она же zOS, и R9 - пророк Её. принцип совсем другой, чем на потомках пишущих машинок.

Oldmann
()

В Висте таких проблем нет.

Bluesman

anonymous
()
Ответ на: комментарий от sS

Правильно ты "K" :)

12k - 36 US3, US4
15k - 72 US3, US4
20k - 36 US3, US4, US4+
25k - 72 US3, US4, US4+

А по сути 12к-25к это одна и та-же машина. Да, US4 & US4+ - двухядерные, так что процессоров получается 144 максимум.

serg_junior
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.