LINUX.ORG.RU
 

Проблемы масштабируемости Linux.


0

0

Были недавно обнаружены инженерами SGI, которые запустили Linux на 4096-процессорной системе. По их словам конфигурация по-умолчанию ядра Linux не позволяет работать на подобном оборудовании из-за слишком большого количества ядерных потоков, создаваемых для каждого процессора для повышения производительности, поэтому инженерам SGI потребовалось приложить поистине титанические усилия для решения этой проблемы - увеличить лимит на максимальное количество процессов в системе.

Так же были обнаружены проблемы при включении дополнительных модулей - это отнимало слишком много времени в waitpid(), для решения этой задачи были предложены несколько вариантов.

Поэтому если у вас есть 4096-процессорная система, для запуска Linux вам необходимо применить один или два небольших патча.

>>> Подробности

** ()
Проверено: Shaman007 (20.04.2007 13:20:02)

[#]  
Dimez

Re: Проблемы масштабируемости Linux.

А ведь действительно, будет куча процессов [migration/n] [ksoftirqd/n] [events/n] [kblockd/n] [aio/n] etc/n для каждого процессора? Этак чтобы получить список процессов и найти в нём нужное - надо будет приделывать дополнительные ключи к ps ;)

***** ()
[#]  

Re: Проблемы масштабируемости Linux.

Да, я тоже на своем буке томоза заметил :(

anonymous ()
[#]  

Re: Проблемы масштабируемости Linux.

придется поставить пару патчей на мой КПК :(

()
[#]  

Re: Проблемы масштабируемости Linux.

>>Поэтому если у вас есть 4096-процессорная система, для запуска Linux вам необходимо применить один или два небольших патча.

Горе мне. Завтра как раз собирался купить такую систему, теперь придётся остановится на жалком core 2 duo)

()
[#]  

Re: Проблемы масштабируемости Linux.

>Поэтому если у вас есть 4096-процессорная система, для запуска Linux вам необходимо применить один или два небольших патча.

Да у меня на крыше этих процессоров целых 100 000 000...

С Уважением, Карлсон :)

()
[#]  

Re: Проблемы масштабируемости Linux.

Система из 6 букв которая не работает без патчей?

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 13:36:23  
Art_Navsegda

Re: Проблемы масштабируемости Linux.

>Система из 6 букв которая не работает без патчей?

Linux - 5 букв :( Windows - 7 букв :) Irix - 4 буквы Solaris - 7 букв FreeBSD - 7 букв OpenBSD - 7 букв NetBSD - 6 букв... Я УГАДАЛ ?!!!

()
[#]  

Re: Проблемы масштабируемости Linux.

тогда как IBM решает подобные проблемы на своих мейнфреймах?? или я недопонял чего ?

()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от madstorm 20.04.2007 13:31:25  

Re: Проблемы масштабируемости Linux.

а я голову ломал почему мои электронные наручные часы отстают :(

anonymous ()
[#]  
Gharik

Re: Проблемы масштабируемости Linux.

Дык в чём проблема, они же сами признавались, что на этот Зюзероутер Зюзя водружена почётно и с помпой. А этот огрызок от Новеля что хочешь затормозит, пропорционально числу процессоров - сунешь 8192, ещё в 2 раза медленнее модули подгружаться будут.

А по делу - дык давно было известно, что линукс на больших тачилах да под нагрузкой хуже Солярки себя ведёт, ну так то поправят, не сегодня - так в недалёком будущем.

# ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Gharik 20.04.2007 14:00:50  

Re: Проблемы масштабируемости Linux.

>>А по делу - дык давно было известно, что линукс на больших тачилах да под нагрузкой хуже Солярки себя ведёт

Не верю я тебе, анонимусам верю) Анонимус хотел сказать , но постеснялся почему-то.

>>Система из 6 букв которая не работает без патчей?

Я скажу : виста на 4096-ти процессорах всех зарулит красивым интерфейсом.

()
[#]  

Re: Проблемы масштабируемости Linux.

Блин!!! 4096 процессоров! Интересно, на каком предельном количестве процев пускали оффтопик и что из этого получилось?

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Gharik 20.04.2007 14:00:50  

Re: Проблемы масштабируемости Linux.

>А по делу - дык давно было известно, что линукс на больших тачилах да под нагрузкой хуже Солярки себя ведёт, ну так то поправят, не сегодня - так в недалёком будущем.

Для тех, кто в танке - ирония новости в том, что для запуска Linux на такой системе потребовалось всего лишь изменить лимит на максимально-допустимое количество процессоров.

Solaris _вообще_ не масштабируется на подобном уровне. Почитайте на досуге перепалку инженера Sun Jeff Bonwick (автора SLAB memory allocator, btw) и David Miller (sparc maintainer в Linux).

http://blogs.sun.com/bonwick/entry/solaris_inside

http://vger.kernel.org/~davem/cgi-bin/blog.cgi/2007/04/10#bonwick_scalability

http://vger.kernel.org/~davem/cgi-bin/blog.cgi/2007/04/10#more_solaris_fud

** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Gharik 20.04.2007 14:00:50  

Re: Проблемы масштабируемости Linux.

> А по делу - дык давно было известно, что линукс на больших тачилах да под нагрузкой хуже Солярки себя ведёт, ну так то поправят, не сегодня - так в недалёком будущем.

Просто ради интереса: укажите компьютеры с числом процессоров, скажем 1024, работающие под Солярой.

***** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от vh 20.04.2007 13:51:00  
dimag

Re: Проблемы масштабируемости Linux.

> тогда как IBM решает подобные проблемы на своих мейнфреймах?? или я недопонял чего ?

А они не гоняют все в одном кернеле, а запускают много Линух ВМ. Тогда к каждой ВМ требования как десктопу.

* ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от rtc 20.04.2007 14:07:22  

Re: Проблемы масштабируемости Linux.

>максимально-допустимое количество процессоров.

Гм, процессоров или процессов?

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от annoynimous 20.04.2007 14:12:49  
vada

Re: Проблемы масштабируемости Linux.

>Просто ради интереса: укажите компьютеры с числом процессоров, скажем 1024, работающие под Солярой.

Саныч! Скажим... А что они солярку обижают! :(
Чего пристали то? Про солярку топик?

:)

Это конечно плохо что без бубна не получилось но 4 тыщах просессоров запустить, но ведь запустили! Так что новость скорее позитивная чем негативная. Типа, напильником подпилили, и все в шоколоаде!

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Gharik 20.04.2007 14:00:50  
dragon_djanic

Re: Проблемы масштабируемости Linux.

>Дык в чём проблема, они же сами признавались, что на этот Зюзероутер Зюзя водружена почётно и с помпой. А этот огрызок от Новеля что хочешь затормозит, пропорционально числу процессоров - сунешь 8192, ещё в 2 раза медленнее модули подгружаться будут.

Слишком много букф.., я нипомамаю =)

** ()
[#]  
lester_dev

Re: Проблемы масштабируемости Linux.

>Поэтому если у вас есть 4096-процессорная система, для запуска Linux вам необходимо применить один или два небольших патча.

от спасибо, а я дурак изовсех сил клянул свою машинку, думал 3985-й процессор нагнулся!

***** ()
[#]  

Re: Проблемы масштабируемости Linux.

Дома как раз такая стоит ))) А че? Соляра не обламывается

()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 14:33:10  

Re: Проблемы масштабируемости Linux.

>Гм, процессоров или процессов?

Процессов (максимальное по умолчанию 32768).

** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от rtc 20.04.2007 14:07:22  
dragon_djanic

Re: Проблемы масштабируемости Linux.

>Для тех, кто в танке - ирония новости в том, что для запуска Linux на такой системе потребовалось всего лишь изменить лимит на максимально-допустимое количество процессоров.

>Solaris _вообще_ не масштабируется на подобном уровне. Почитайте на досуге перепалку инженера Sun Jeff Bonwick (автора SLAB memory allocator, btw) и David Miller (sparc maintainer в Linux).

А зачем тогда патчи, если изменить лимит на максимально-допустимое количество процессоров можно в $ make menuconfig при сборке ядра?

Насчет Солярки не знаю.. Вот, что написано для 9-тки:

Ниже перечислены некоторые возможности масштабирования и поддержки в операционной системе Solaris 9 "тяжелых" систем и приложений: один миллион одновременно работающих процессов в одной системе;

до 128 процессоров в одной системе и до 848 процессоров в кластере; до 576 Гбайт физической оперативной памяти в одной системе; более четырех миллиардов сетевых соединений; файловые системы размером до 252 Тбайт с использованием Sun StorEdge QFS; 128-разрядная IP-адресация IPv6; 64-разрядная виртуальная машина Java

** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от vh 20.04.2007 13:51:00  
signal

Re: Проблемы масштабируемости Linux.

>тогда как IBM решает подобные проблемы на своих мейнфреймах??

Установкой AIX :)

()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от dragon_djanic 20.04.2007 15:00:56  

Re: Проблемы масштабируемости Linux.

> до 128 процессоров в одной системе и до 848 процессоров в кластере

Абалдеть.. тут пускают на 4096 процессорах _в_одной_системе_, а солярка хвастается 128-ю. 848 кластеров - промолчу.

смотрите http://top500.org/stats/28/os/ - солярка крутится аж на пяти машинах из 500-та! Вот это действительно масштабируемость! Никто и рядом не стоял.

anonymous ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от annoynimous 20.04.2007 14:12:49  
signal

Re: Проблемы масштабируемости Linux.

>Просто ради интереса: укажите компьютеры с числом процессоров, скажем >1024, работающие под Солярой.

Топовые SunFire 15k в полной комплектации вроде

()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 15:09:01  
signal

Re: Проблемы масштабируемости Linux.

>Абалдеть.. тут пускают на 4096 процессорах _в_одной_системе_, а солярка >хвастается 128-ю. 848 кластеров - промолчу.

Успокойся - тут тоже наверняка кластер. Просто один инстанс ОС всем рулит.

>смотрите http://top500.org/stats/28/os/ - солярка крутится аж на пяти >машинах из 500-та!

Там тоже основная масса - кластерные реализации.

> Вот это действительно масштабируемость! Никто и рядом не стоял.

Маштабируемость в солярке _линейна_ те грубо говоря поставив 4 процессора вместо двух получишь двукратный прирост скорости. В линуксе же она скачет.

()
[#]  

Re: Проблемы масштабируемости Linux.

А где этот патч скачать можно? И перестанет ли тогда дум тормозить на моих 65536-ти процессорах?

* ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от dragon_djanic 20.04.2007 15:00:56  

Re: Проблемы масштабируемости Linux.

>>Solaris _вообще_ не масштабируется на подобном уровне.

>А зачем тогда патчи, если изменить лимит на максимально-допустимое количество процессоров можно в $ make menuconfig при сборке ядра?

Процессов, не процессоров. Это можно изменить даже через /proc (/proc/sys/kernel/threads-max), но только после загрузки userspace, но по умолчанию только ядерных стартут около десятка на каждый процессор, поэтому SGI'шная машина просто не могла стартовать, и они увеличили этот лимит патчем в одну строчку, может быть еще изменили алгоритм вычисления pidhash_shift.

>Насчет Солярки не знаю.. Вот, что написано для 9-тки:

>Ниже перечислены некоторые возможности масштабирования и поддержки в операционной системе Solaris 9 "тяжелых" систем и приложений: один миллион одновременно работающих процессов в одной системе;

>до 128 процессоров в одной системе и до 848 процессоров в кластере; до 576 Гбайт физической оперативной памяти в одной системе; более четырех миллиардов сетевых соединений; файловые системы размером до 252 Тбайт с использованием Sun StorEdge QFS; 128-разрядная IP-адресация IPv6; 64-разрядная виртуальная машина Java

И? В Linux максимальное количество процессов определяется только изменяемой из userspace переменной и количеством физической памяти (не более половины оной может быть использовано для создания task_struct).

Более 4 миллиардов сетевых соединений наверняка идет из максимального 32 значения... Что само по себе странно, если в качестве ключа используется локальный IP адрес, удаленный IP aдрес и порты - как в Linux.

** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от rtc 20.04.2007 15:23:35  

Re: Проблемы масштабируемости Linux.

>Более 4 миллиардов сетевых соединений наверняка идет из максимального 32 значения...

... 32-битного ...

** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от rtc 20.04.2007 14:07:22  

Re: Проблемы масштабируемости Linux.

>Для тех, кто в танке - ирония новости в том, что для запуска Linux на такой системе потребовалось всего лишь изменить лимит на максимально-допустимое количество процессоров.

самая соль новости в том, что http://www.sgi.com оклемалась и снова вместо кластеров ставит рекорды по количеству процессоров в одной системе;
ну а в Linux - никто не сомневался.

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Anonymous 20.04.2007 15:43:19  
FiXer

Re: Проблемы масштабируемости Linux.

>Поэтому если у вас есть 4096-процессорная система, для запуска Linux вам необходимо применить один или два небольших патча.

Чорт, а патчи тоже по ссылке? Тормоза в Quake 4 задолбали ;(

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 14:06:23  

Re: Проблемы масштабируемости Linux.

> Интересно, на каком предельном количестве процев пускали оффтопик и что из этого получилось?
Вряд ли на очень большом - никаких денег на лицензию не хватит. :)

anonymous ()
[#]  

Re: Проблемы масштабируемости Linux.

непременно воспользуюсь.. вот только 4094 процессора завтра куплю.. А если серьезно, то интересно, и радует, что Linux все более совершенствуется и занимает достойное место на майнфреймах..

**** ()
[#]  

Re: Проблемы масштабируемости Linux.

А выражение, "поистине титанические усилия", в новости, лучше взять в кавычки, а то ведь действительно можно поверить, что совершен титанический прорыв.

anonymous ()
[#]  

Re: Проблемы масштабируемости Linux.

Под мои 8192 процессора не патчится :-(

anonymous ()
[#]  
atrus

Re: Проблемы масштабируемости Linux.

Вот радуют меня инженеры из SGI. Вместо того, чтобы, как Sun'овцы фигнёй страдать и с лицензиями воевать. Тихонько делают что надо. Увеличивают масштабирование, портируют xfs. И не жужжат.

***** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 16:32:09  

Re: Проблемы масштабируемости Linux.

>Под мои 8192 процессора не патчится :-(

зря смеетесь- 4094 ядра- это сейчас меньше пятисот PS3- и то-ли еще будет...

**** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от anonymous 20.04.2007 16:32:09  
dragon_djanic

Re: Проблемы масштабируемости Linux.

>Под мои 8192 процессора не патчится :-(

Ты отстал и патча нет из-за старости все (даже домохозяйки) уже юзают 16384 поцессорные машины...

** ()
[#]  

Re: Проблемы масштабируемости Linux.

а nptl им поюзать не вариант было?

* ()
[#]  
Zubok

Re: Проблемы масштабируемости Linux.

Усилия титанические, а патчи небольшие :)

***** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от Zubok 20.04.2007 17:11:28  
atrus

Re: Проблемы масштабируемости Linux.

> Усилия титанические, а патчи небольшие :)

Настоящие хакеры. Много думали и небольшими, но меткими изменениями решили проблему. :)

***** ()
[#] Ответ на: Re: Проблемы масштабируемости Linux. от signal 20.04.2007 15:16:25  

Re: Проблемы масштабируемости Linux.

> Успокойся - тут тоже наверняка кластер. Просто один инстанс ОС всем рулит.

По-моему нет, написано "on a 4096-CPU machine"

***** ()
[#]  

Re: Проблемы масштабируемости Linux.

>Поэтому если у вас есть 4096-процессорная система

Вот если б парни всей земли да по рублю бы мне смогли...

* ()