Посоветуйте что выбрать: сервер или кластер

Еще информация нужна.

1. "...уже распараллеленные программы не нашей разработки. Второй вид --- программы нашей разработки, за распараллеливание которых ещё никто не брался." -- модель распараллеливания? MPI, OpenMP, просто треды?

2. Насколько предполагаемые вычисления требовательны к ПСП (пропускная способность памяти)? Это ОЧЕНЬ критично при выборе.

>Я правильно понимаю, что одна нода кластера не может обращаться к памяти в другой ноде?

Это не совсем так. Существуют программные реализации DSM (distributed shared memory) которые позволяют представить кластер как SMP машину. Например http://www.kerrighed.org/wiki/index.php/Main_Page

>1. Есть ли разница в скоростях параллельных вычислений на столь небольшом уровне (16 ядер вроде не так уж и много) между кластером и сервером?

Это зависит от задачи. Есть задачи которые будут быстрее считаться на кластере а есть те что будут быстрее считаться на машине с общей памятью. Это зависит от того, как задача обращается к памяти.

>2. Какая система предпочтительнее без учёта и с учётом программ второго вида?

В вашем случае _проще_ взять большую SMP машину. Кластер настраивать и эксплуатировать без опыта всё же немного сложнее.

Но лучше на ваших же задачах попросить у тех же T-платформ машину на тест.

>3. Какого поставщика вы порекомендуете?

С именем/опытом в HPC и на того,на котрого денег хватит (IBM,HP,Dell или те же T-Платформы)

>5. Похоже, скоро выйдут шестиядерные процессоры от Intel. Может быть, это вызовет падение цен в конце года. Стоит ли в связи с этим подождать с покупкой до зимы?

Особо сильного падения цен в этом сегменте не бывает. Как правило падают в цене современные(на данный момент) топовые модели процессоров с "заоблачных" до "в пределах разумного" ;)

>6. Насколько сильно у серверов и кластеров различаются такие показатели как энергопотребление и требования к охлаждению?

Исходите из числа процессоров и их TPD. Вообще же это легко считается. Потребление компонентов известно.

Но по любому система кондиционирования с некоторым запасом must have.

> Однако, похоже, что можно купить кластер той же производительности за меньшие деньги.

Вот в это верится с трудом. Разве что производительность мерить суммарными терафлопсами, а под "кластером" понимать несколько десктопов с гигабитным свичем...

В вашем случае почти однозначно СМП сервер. Конечно, если ваши задачи не _очень_ специфические.

>Вот в это верится с трудом.

Как раз легко если вспомнить сколько стоит топовый 8-и сокетник ;)

Согласен почти со всем, написанным sS, пара комментариев:

>>Я правильно понимаю, что одна нода кластера не может обращаться к памяти в другой ноде?

> Это не совсем так. Существуют программные реализации DSM (distributed shared memory) которые позволяют представить кластер как SMP машину.

Ну, софтварная DSM -- игрушка... Серьезные DSM делаются на специальном железе и стОят очень дорого.

>>3. Какого поставщика вы порекомендуете?

>С именем/опытом в HPC и на того,на котрого денег хватит (IBM,HP,Dell или те же T-Платформы)

Я бы сюда добавил SGI, и заметил бы, что IBM и HP встанут при прочих равных дороже, а Dell только выходит на этот рынок в качестве серьезного игрока и пока предлагает не очень привлекательные решения. Про Т-Платформы ничего не могу сказать кроме того, что кластер http://parallel.ru/cluster/skif_msu.html произвел на меня удручающее впечатление.

> модель распараллеливания?

MPI

> Насколько предполагаемые вычисления требовательны к ПСП (пропускная способность памяти)?

Увы, я не настолько хорошо разбираюсь в этой области, чтобы дать ответ на этот вопрос. Но попробую поспрашивать у других сотрудников. Я так понимаю, если требования велики, то сервер предпочтительнее?

> под "кластером" понимать несколько десктопов с гигабитным свичем...

Да, это я и имел в виду. Десктопная конфигурация без монитора и прочей периферии, объединённые в одну быструю сеть. А есть другие разумные варианты для столь небольшого узла?

>Десктопная конфигурация без монитора и прочей периферии, объединённые в одну быструю сеть. А есть другие разумные варианты для столь небольшого узла?

Это довольно неудобно в плане администрирования.

Стоечный вариант из 1U узлов и 1U IB/GigE-свитчей куда привлекательней и занимает куда меньше места.

Хотя если вам достаточно обыкновенного гигабитного езернета тогда действительно можно съэкономить кучу денег. Кстати из какой области ваши задачи ? Не геофизика часом ?

>Я бы сюда добавил SGI

Не знаю насколько они доступны на сегодня в России. В своё время SGI ушла с нашего рынка (по крайней мере как прямой поставщик)

>Про Т-Платформы ничего не могу сказать кроме того, что кластер http://parallel.ru/cluster/skif_msu.html произвел на меня удручающее впечатление.

Конкретно по этому что либо сказать трудно. Хотя сами Т-платформовцы им были довольны, а вот более мелкие решения у них вполне ничего. Особенно по соотношению цена/производительность. Дешевле только по-серому ввезти компоненты в страну и собрать на коленке ;)

> Хотя если вам достаточно обыкновенного гигабитного езернета тогда действительно можно съэкономить кучу денег.

На самом деле не знаю. Беглое гугление показывает, что, вероятно, будет достаточно: http://www.iop.org/EJ/abstract/1748-0221/1/06/P06001

> Our results show that the speed increase from additional slave PCs is nearly linear up to 10 processors.

Наверное, в случае серверной конфигурации коэффициент будет другой, но и линейный рост уже хорошо. Можно совет как это оценить?

> Кстати из какой области ваши задачи ?

Расчёт реакторов. Основная программа --- MCNP.

>> модель распараллеливания? >MPI

Тогда вобщем-то и кластер может подойти.

>Расчёт реакторов. Основная программа --- MCNP.

Монте-Карло ?

Метод отлично параллелится даже на небыстрой сети. Гигабита достаточно. Хотя я всё же смотрел бы стоечную конфигурацию.

Понятно. Похоже, решающими факторами здесь будет соотношения цены, сложности настройки и скорости работ программ второго вида (это прежде всего TRIGEX если кому интересно).

sS и Die-Hard, спасибо за помощь.

http://helmer.sfe.se/

Возможно, в вашем случае, действительно, подойдет дешевый кластер.

Ситуация на рынке меняется очень быстро и непредсказуемо. Если время терпит, рекомендую подождать немного: к концу года Интел обещает прорыв, возможно, сразу станут доступны производительные процы. В любом случае АМД снизит цены на К10 настолько, что на них можно будет посмотреть.

Мое мнение:

В данный момент вам подойдут, наверное, Ксеоны. Выгоды от Оптеронов на ваших задачах, наверное, не будет, а они дороже, и медленнее. СМП на Ксеонах на 16 ядер можно реально найти только 7300, а это не для чтслогрызов, так что только Оптероны 8000 серии, не берите Бакселону (4-х ядерные Опретоны), она своих денег не стОит пока.

Видимо, кластер из двух-чеырех четырехъядерных Harpertown'ов (ксеоны 5400 серии) будет для вас оптимален. Двухъядерники от Интела не советую: они в конце концов дороже встанут.

>...если требования велики, то сервер предпочтительнее?

Тогда АМД предпочтительнее :) и, следовательно, кластер встанет дешевле.

> Стоечный вариант из 1U узлов и 1U IB/GigE-свитчей куда привлекательней и занимает куда меньше места.

Да ну -- запихивать в стойку четыре-восемь узлов... И стойки денег стОят, и добираться туда сложнее, и с охлаждением проблемы могут быть...

>> Про Т-Платформы ничего не могу сказать кроме того, что кластер http://parallel.ru/cluster/skif_msu.html произвел на меня удручающее впечатление.

> Конкретно по этому что либо сказать трудно. Хотя сами Т-платформовцы им были довольны, ...

Они довольны своими железными коробками "T-blade", которые не совсем блейд, но очень узкие. Они запихнули туда харпертовны на сибургах и говорят, что никто больше в мире такие блейды не делает.

Спорное решение. Блейд вообще для экономящих, а у них даже не настоящие блейды. Мощный вентилятор тоже комфорта не доставляет...

А кластер -- ужас. 12 мегабайт диска на ядро на отдельной железяке, которая отзывается через ИБ с явно ущербной топологией. Только 8 нормальных нод (с 4 ГБ/корку памяти), и те почти без локального диска, а бОльшая часть нод вообще бездисковая с одним гигом на корку.

Короче, этот кластер годится только для того , чтобы рекорды линпаком ставить.

Кстати, по слухам от инсайдеров, ЕГО СОБИРАЮТСЯ НА ВИНДОВС ПЕРЕВОДИТЬ!

купите штук 10-15 PS3 и сделайте кластер. Будет очень сильно дешевле и если вычисления не целочисленные - быстрее.

>Они довольны своими железными коробками "T-blade", которые не совсем блейд, но очень узкие. Они запихнули туда харпертовны на сибургах и говорят, что никто больше в мире такие блейды не делает.

Мне они несколько иное говорили ;)

>Спорное решение. Блейд вообще для экономящих, а у них даже не настоящие блейды.

Что такое "настоящие блейды" ? ;)

Их решение это 1Tфлопс запихнутый в 5U В данном случае они исходили из заданных размеров помещения и возможностей по подводу электрической мощности (они были весьма ограниченны, через один фидер это было подвести невозможно)

> Мощный вентилятор тоже комфорта не доставляет...

Кому ? В серверных где стоит HPC железо живут только микробы в ограниченном количестве.

>А кластер -- ужас. 12 мегабайт диска на ядро на отдельной железяке, которая отзывается через ИБ с явно ущербной топологией. Только 8 нормальных нод (с 4 ГБ/корку памяти), и те почти без локального диска, а бОльшая часть нод вообще бездисковая с одним гигом на корку.

Это как раз нормальный гибрид под _разные_ задачи. Память легко можно нарастить. Кстати для огромного числа задач 1 Гб на ядро это вообще overkill Кстати сейчас у них задействован только один порт из ConnectX 2-х портовок, я себе кстати тоже присматриваю апгрейд на аналогичные.

Например на моих задачах _в_среднем_ требуется 100Мб на ядро хотя есть задачи и 10Мб на ядро а есть и 2Гб на ядро

>Кстати, по слухам от инсайдеров, ЕГО СОБИРАЮТСЯ НА ВИНДОВС ПЕРЕВОДИТЬ!

По слухам инсайдеров на нём идут контрактые работы по обсчёту лекарств. Так что переведут если он того пожелает.

PS: У меня у самого стоят их T-ForgeHB на оптеронах. Свои задачи они решают на 120%. Помещение где они стоят примерно 3x4 метра правда напряга с подводом мощности нет, питаюсь от 3-х фаз ;)

Опять же плясать ведь надо от задач и реальности. У меня например основная проблема при расширении это поставить еще один кондёр (внутренний модуль) в мою каморку (физически места нет на единственной капитальной стене)

>купите штук 10-15 PS3 и сделайте кластер. Будет очень сильно дешевле и если вычисления не целочисленные - быстрее.

1) Портировать стороннее ПО под этот чудо-процессор кто будет ? Пушкин ? ;)
2) Зачем нужно быстрое целочисленное вычисление при моделировании физических процессов ? Там плавучка нужна причём с двойной точностью
3) Прикладникам нужно готовое решение а не конструктор из магазина "собери сам"
4) hint: "сильно дешевле" это аргумент для пионера, который 3 года копил свои кровные на любимую игрушку. В госконторах есть фиксированное количество денег. Задача состоит в том, чтобы за это количество купить максимально-
 а)  безгеморройное в плане эксплуатации
 б)  быстрое
 в)  долгоиграющее в плане эксплуатации (не в смысле сломается а в смысле не устареет морально как можно дольше)
 г)  расширябельное (как следствие п. в) )
 решение

Причём как правило перекачать съэкономленные деньги в зарплату не получается. Разве что в какое нибудь другое железа, да и то в последнее время с бо-о-о-ольшими проблемами.

> И стойки денег стОят, и добираться туда сложнее,и с охлаждением проблемы могут быть...

ну $200 это не деньги. Потом есть открытые 22U стойки куда эти 4-8 (и даже больше) узлов со свитчами и UPS-ами легко влезут. По площади она занимет места столько сколько 2 башни стоящие рядом.

Кстати лазать в стойку проще чем в башни стоящие в ряд ;) У меня было и то и другое ;)

> Что такое "настоящие блейды" ? ;)

Ну, тут я, наверное, не прав -- пусть будут "настоящими".

> Их решение это 1Tфлопс запихнутый в 5U В данном случае они исходили из заданных размеров помещения и возможностей по подводу электрической мощности (они были весьма ограниченны, через один фидер это было подвести невозможно).

Да я ничего против не имею -- творческий подход! Насколько он востребован -- вопрос другой. Конечно, их попросили, они сделали, молодцы, но вряд ли такое решение будет широко востребованно в мире...

> В серверных где стоит HPC железо живут только микробы в ограниченном количестве.

Я -- не микроб! Но тоже приходится там время проводить...

> Это как раз нормальный гибрид под _разные_ задачи.

Гибрид-то нормальный, но дешевый...

Если бы памяти на все ноды раза в 2 накинуть, диску раз в 100, да поставить Квадрикс вместо ИБ, было бы нормально. А так -- какой смысл был собирать этого монстра в единый кластер?

Я на похожем работаю (как пользователь) -- чуть поменьше по ядрам (3000), но по прочим параметрам сбалансирован. Жутко неудобно! Постоянно все валится, масштабирование отвратительно, отклик файловой системы непредсказуем...

> ...только один порт из ConnectX 2-х портовок...

Угу, и 6x144 дырки в свичах на 633 ноды... 864/2 = 432 ноды -- теоретический максимум того, что могут обеспечить эти свичи в Full Fat Tree в качестве роутеров только _первого_ уровня! То есть, никакой это не "суперкомпьютер", а слабосвязанный кластер чудовищного размера.

> Например на моих задачах _в_среднем_ требуется 100Мб на ядро хотя есть задачи и 10Мб на ядро а есть и 2Гб на ядро

Ваш кластер, все же, специально под ваши задачи заточен, наверное. А такой монстр, как ты правильно заметил, "гибрид" общего назначания, на котором, вообще-то, все должно бегать -- иначе какой в нем смысл? Сделали бы сотню нормальных связанных кластеров! Не намного дороже обошлось бы, зато работало бы не в пример надежнее...

Конечно, радует, что им есть куда расти, но в настоящее время это _очень_ дохлый кластер, хотя и _очень_ большой и с очень хорошими процами.

> По слухам инсайдеров на нём идут контрактые работы по обсчёту лекарств. Так что переведут если он того пожелает.

Вот это по-русски! Построить суперкластер в ВУЗе и сдать его с потрохами какому-нибудь Брынцалову... Кстати, если они поставят Видовс, то уж в одной номинации без сомнения будут первыми с большим отрывом: пока на подобные монстры Виновс еще никто не взгромождал...

> ну $200 это не деньги.

Треть дешевой ноды...

Потом, традиционно то, что в стойках, считается "сервером" и стОит дороже. Впрочем, это на Западе, в России, наверное, деньги по мелочам лучше считают.

> Кстати лазать в стойку проще чем в башни стоящие в ряд ;) У меня было и то и другое ;)

Сильно зависит от корпусов. В _дешевые_ корпуса легче лазить, если они башнями.

Конечно, места башни занимают ГОРАЗДО больше.

> В _дешевые_ корпуса легче лазить, если они башнями.

Поставь их несколько штук в ряд и попробуй ;) Вне зависимости от цены.

>Насколько он востребован -- вопрос другой.

Сильно востребован. Найти свободное помещение в центре Москвы за вменяемые $$ сейчас большая проблема.

>Да я ничего против не имею -- творческий подход! Насколько он востребован -- вопрос другой. Конечно, их попросили, они сделали, молодцы, но вряд ли такое решение будет широко востребованно в мире...

Ну на весь мир они не претендуют, а для в современных совет^Wроссийских условий вполне себе востребован.

>Я -- не микроб! Но тоже приходится там время проводить...

Что там делать то ? Смотреть как лампочки на свитчах мигают ?

Я в свою больше месяца не заглядывал даже, последний раз был там чтобы забрать набор отвёрток, который оставил там полгода назад. С трудом кстати вспомнил что там их оставил когда проводили туда сигнализацию ;)

>Сделали бы сотню нормальных связанных кластеров! Не намного дороже обошлось бы, зато работало бы не в пример надежнее...

Им кстати для учебных целей хватает 2-х старых гораздо более скромного размера от того же вендора а это им видимо на потренироваться. IT-шникам по большому счёту незачем такие мощности в отличае от химиков/физиков/инженеров которые постоянно что-то считают для себя.

>Вот это по-русски!

Это по любому. Тот же гишпанский MareNostrum http://www.top500.org/system/8242 примерно тем же занят как и многие другие университетские супермашины. Но они даже в этом случае скорее всего не окупятся экономически. Современные суперы это "удовлетворение собственного любопытства за государственный счёт" за очень редким исключением.

> Поставь их несколько штук в ряд и попробуй ;)

У нас стояли! Около 20 штук. Без проблем, если рядом есть свободный стол, и между башнями ладонь пролезает. И сейчас еще пяток стоят -- правда, выключены :)

А вот со стойками приходилось сильно страдать, особенно если нода над головой высоко. А еще у нас десяток ТАКИХ корпусов в стойке есть, что до винта добраться -- с полчаса нетривиальных манипуляций. А восьмиядерники только вдвоем получается вставлять.

Конечно, и башни дурацкие бывают, но там идиотизм конструкции с ценой напрямую не коррелирует.

Кстати, с башнями ни разу проблем с охлаждением не было, а со стойками -- постоянно. Вплоть до того, что когда я однажды ВЫключил старую Альфу, Оптероны в рядом стоящей стойке стали перегреваться -- пришлось стойку разворачивать.

Еще прикол недавно случился: поставили две стойки с водяным охлаждением, а они полупустые пока. Соответственно, холодный воздух гонят. И надо ж такому было случиться -- прямо за ними оказался температурный датчик общей системы кондиционирования. Соответственно, в противоположном углу комнаты температура резко поднялясь.

Разумеется, вообще говоря, стойки лучше, а начиная с пары десятков им просто альтенативы нет. Но в обсуждаемом топике речь идет о нескольких нодах всего...

>У нас стояли! Около 20 штук. Без проблем, если рядом есть свободный стол, и между башнями ладонь пролезает.

То есть её по любому нужно вытаскивать. А у меня они по 20 кг только один корпус весит (без внутренностей)! Я для них даже специальные тележки небольшие заказал чтобы можно было бы выкатывать. Со стойкой в этом плане куда проще равно как и с блейдом.

> А вот со стойками приходилось сильно страдать, особенно если нода над головой высоко.

Сэкономили на еще одной стойкой и всё запихали в 42U ? ;)

>Кстати, с башнями ни разу проблем с охлаждением не было,

Ну еще бы. У меня в старых башнях было по 5 кулеров на 2 проца а в том же блейде 7 кулеров на 20 процов и в гораздо меньшем объёме.

> Ну на весь мир они не претендуют, а для в современных совет^Wроссийских условий вполне себе востребован.

Да, согласен. Просто на сайте у них подчеркивается, что в мире аналогов нет, и я их, наверное, не совсем правильно понял: они имели в виду, что отечественному ( московскому:-) ) заказчику лучше всего иметь дело с ними.

>Что там делать то ? Смотреть как лампочки на свитчах мигают ?

У нас комната большая, постоянно что-то ломается / апгрейтится / покупается / продается. К тому же, летом мы туда ходим у холодильника стоять: в офисах жарко, а кондишны запрещены из экономии "чутким" начальством, сидящим на северной стороне. Если б не шум, я б вообще летом там работал...

> IT-шникам по большому счёту незачем такие мощности в отличае от химиков/физиков/инженеров которые постоянно что-то считают для себя.

Вообще-то, это не совсем ИТшники, это ВЦ. Это они ДЛЯ химиков / физиков / инженеров, и ресурсы кластера они должны отдавать в аренду только если они свободны от обслуживания своих, университетских, которым, уверяю, есть что считать. Почему-то пока они у нас это делают -- главный потребитель компьютерных мощностей тут (физфак универа в Германии) -- мужик из НИИЯФ МГУ, еще двое тоже сильно наши мощности загружают -- это только то, что я знаю.

Наш центральный кластер тоже дают посчитать фирмачам, и они платят неплохо, но, во-первых, наш кластер принадлежит не универу, а бундесланду, а во-вторых, ПРИОРИТЕТ отдается универстетским потребителям, бесплатно, мало того, ВЦ постоянно выкручивает нам руки, чтобы мы задачи не на своих мощностях считали, а у них.

>>Вот это по-русски!

>Это по любому.

Такое широко практикуется, но _нигде_ университетский кластер не перестраивается радикально под нужды стороннего заказчика!

> а кондишны запрещены из экономии "чутким" начальством, сидящим на северной стороне.

Узнаю братьев-немчиков ;) У меня в немецкой конторе аналогично ;) Я правда сижу на стороне начальства а на южной стороне стоят жалюзи.

>Если б не шум, я б вообще летом там работал...

Через полчаса башка начинает болеть. Проверено.

>ПРИОРИТЕТ отдается универстетским потребителям, бесплатно, мало того, ВЦ постоянно выкручивает нам руки, чтобы мы задачи не на своих мощностях считали, а у них.

Мне бы таких "костоломов" ;) чёт никто не бежит ко мне с такими предложениями ;)

>Почему-то пока они у нас это делают -- главный потребитель компьютерных мощностей тут (физфак универа в Германии) -- мужик из НИИЯФ МГУ

А у меня наоборот ;) Я "немецкие" задачи обычно на моём Московском кластере считаю, парадокс ;)

> hint: "сильно дешевле" это аргумент для пионера, который 3 года копил свои кровные на любимую игрушку.

hint: в столь нелюбимом всеми Пиндостане кластера для рассчётов делают из того что стоит дешевле, а не из того что круто и пальцато. Я считаю, пока наши не научатся этому - никакого толку из наших лабораторий/универов/НИИ не будет, а будет обычный распил бюджетного бабла на ненужные вещи.

я бы даже больше сказал - в столь "нелюбимом всеми ..." кластеры *для расчётов* уже давно не делают: а покупают готовые решения у IBM/SGI-Cray/HP/whatever. Дешевле и эффективнее выходит.

>hint: в столь нелюбимом всеми Пиндостане кластера для рассчётов делают из того что стоит дешевле, а не из того что круто и пальцато

Из вторых пеньков чтоли ? ;)

Есть такой показатель как гигафлопсы за единицу денег. Вот от них и танцуют.

PS: на круто и пальцато по любому денег не хватит. Берё чего попроще но чтобы не совсем уж отстой.

>уже давно не делают: а покупают готовые решения у IBM/SGI-Cray/HP/whatever. Дешевле и эффективнее выходит.

+1

зачем тратить своё время на сборку и настройку своего наколенного мегакластера если самое современное железо устареет за 3 года

ИМХО кластер, лучше масштабируется

>лучше масштабируется

Я бы сказал _легче_ (до определённого размера разумеется) ;)

Тебе Новосибирца надо спрашивать http://forums.overclockers.ru/profile.php?mode=viewprofile&u=7814 Он в теме.

>5. Похоже, скоро выйдут шестиядерные процессоры от Intel. Может быть, это вызовет падение цен в конце года. Стоит ли в связи с этим подождать с покупкой до зимы?

Бугагага

Подожди. В 2009 году выйдут 8-ядерные процессоры от AMD и Intel. И цены на CoreDuo еще сильнее упадут. Будешь килограммами покупать. Так что стоит ждать. Правда к 2009 году лабораторию уже разгонят, ну и х с ней. Зато процессоры можно будет дешевле взять

> ИМХО кластер, лучше масштабируется

КУДА его масштабировать-то? 16 ядер заявлено -- это _очень_ мало. Если в перспективе больше, то это совсем другие начальные условия.