LINUX.ORG.RU

Выбор серверов для числодробилки


0

3

Есть задача - собрать наиболее производительный кластер для квантово-химических рассчетов. Бюджет ~1000000 рублей. Пока смотрю в сторону 12 ядерных AMD (хотя, может к тому времени как будем покупать повятся и 16 ядерные примерно в ту же цену). Очень бы хотелось infiniband и от 8 процессоров

Копался в интернете, но так и не смог подобрать железо. Это вообще реально уложиться в бюджет?

С одной стороны получается, что если брать 4-х процессорные сервера, то не надо свич для infiniband, который стоит примерно 5-6000$ (потому что всего 2 компа и можно их соединять на прямую), но сами эти сервера дороже. В общем запутался я. Помогите, если можете.

★★★

Что за кластер планируется? Мне несколько лет назад для «квантово-химических расчетов» вполне хватало одного athlonXP. Правда считалось долго...

PS: если кластер будет на gentoo (у этого дистрибутива штатно есть такая возможность), то я бы посоветовал 4х ядерники: AMD Phenom2 x4 965. И не забыть купить побольше оперативки, она будет узким звеном, при сеточных методах. А зачем такой дорогой свитч?

soomrack ★★★ ()

Еще можно внимательно посмотреть на задачу и, может быть для нее подойдет CUDA? Тогда одна карточка решит много проблем. И возни с настройкой будет на порядок меньше.

soomrack ★★★ ()

Не забудьте 2-3 «крутых» видеокарточки от nVidia, для ускорения расчетов.

Eddy_Em ☆☆☆☆☆ ()
Ответ на: комментарий от Eddy_Em

Не забудьте 2-3 «крутых» видеокарточки от nVidia, для ускорения расчетов.

Может, тогда уж сразу пару таких взять? Бюджета на 8 TFLOP хватит.

Ximen ★★★★ ()
Ответ на: комментарий от Ximen

Запросто, если они будут полноценно работать.

Eddy_Em ☆☆☆☆☆ ()

А какой это Infiniband умеет напрямую без свича?

roof ★★ ()
Ответ на: комментарий от Eddy_Em

Запросто, если они будут полноценно работать.

Если расчёты для CUDA хорошо подходят - это, наверное, лучший выбор. Если плохо, то «2-3 „крутых“ видеокарточки от nVidia» - пустая трата денег. По-моему так.

Ximen ★★★★ ()
Ответ на: комментарий от Ximen

> Если расчёты для CUDA хорошо подходят - это, наверное, лучший выбор. Если плохо, то «2-3 „крутых“ видеокарточки от nVidia» - пустая трата денег. По-моему так.

Именно. Поэтому если предполагается «широкое использование» кластера, то лучше стандартное оборудование. Вариант с обычными десктопами, объединенными в кластер позволяют работать на них, как на обычных компьютерах, когда кластер не нужен.

soomrack ★★★ ()
Ответ на: комментарий от Eddy_Em

То лучше переписать :)

Логично :) Но, думается мне, это не всегда возможно/оправдано.

Ximen ★★★★ ()
Ответ на: комментарий от soomrack

Поэтому если предполагается «широкое использование» кластера, то лучше стандартное оборудование.

Ну мне не кажется, что квантово-химические рассчеты - это «широкое использование». А вот профит с дикой производительности теслы можно поиметь реальный.

Ximen ★★★★ ()
Ответ на: комментарий от Ximen

> Ну мне не кажется, что квантово-химические рассчеты - это «широкое использование». А вот профит с дикой производительности теслы можно поиметь реальный.

Мой опыт говорит об обратном. Специализированное оборудование быстро устаревает. Пройдет 2-3 года и что с этим железом делать? А вот десктопы смогут верно прослужить 10 лет. Но если CUDA подойдет, то лучше, конечно брать теслу.

soomrack ★★★ ()

Зависит от софта. Интересно, чем это можно два спаренных гигабитных eth нагрузить квантовой химией до предела пропускной способности.

Нет, разумеется, лишние скорости не повредят, но обычно все упирается в нехватку оперативной памяти.

mclaudt ()

Да. Самое главное — продумай систему охлаждения. Это гораздо сложнее, чем кажется на первый взгляд.

soomrack ★★★ ()
Ответ на: комментарий от Ximen

Дикая производительность там только для слабосвязанных задач и для чисел одинарной точности. Если подразумевается частый обмен данными между нодами или использование double - туши свет

eagleivg ★★★★★ ()

Реально, есть готовые решения на терафлоп и на 3 терафлопа. На прошлогоднем связьэкспокоме рядом с нами был стенд компании, они предлагали бигтауэры с 3-мя материнками в корпусе, на каждой материнке по 4-е 12-ти ядерников. Материнки соединялись infiniband по хитрой схеме, фирма поставляла к сервачку патченный MPI для него. К сожалению, не могу найти название, они были рядом со стендом 3Д Лиги, может кто вспомнит?

eagleivg ★★★★★ ()
Ответ на: комментарий от Ximen

>>Ну мне не кажется, что квантово-химические рассчеты - это «широкое использование».

Ну и зря. Там зоопарк программ со своими требованиями к архитектуре. Никаких CUDA.

>>А вот профит с дикой производительности теслы можно поиметь реальный.

Молекулярная динамика с парным потенциалом для глянцевых буклетов? Двумерный Навье-Стокс в реалтайме поиграться? А кому оно надо-то?

Средняя такая матрица расчета MCSCF скушает всю память и не моргнет. Научатся лапакоподобные диагонализации на больших матрицах проврачивать на видеокарте - будет другой разговор.

mclaudt ()
Ответ на: комментарий от soomrack

ЕМНИП, она программно эмулируется ==> дикий слив производительности

eagleivg ★★★★★ ()
Ответ на: комментарий от eagleivg

> она программно эмулируется ==> дикий слив производительности

Даже у Tesla C2050 ?

soomrack ★★★ ()
Ответ на: комментарий от eagleivg

Забавно. Спасибо, раньше не обращал на это внимание.

soomrack ★★★ ()
Ответ на: комментарий от soomrack

> А зачем такой дорогой свитч?

затем, что гигабита для таких задач обычно не хватает

> PS: если кластер будет на gentoo (у этого дистрибутива штатно есть такая возможность)

Только идиот будет собирать кластер на генту. Для кластеров есть ALT HPC edition и другие специализированные дистрибутивы.

Reset ★★★★★ ()
  • Не пытайся заниматься самосбором.
  • Определись нужны или нет расчёты на GPU. Они сильно снижают круг решаемых задач.
  • Обратись в Т-Платформы или IBM. Первые, точно, спокойно помогут с подбором характеристик (мне помогали). Связывался по телефону на их сайте. С IBM напрямую не общался, но тоже не думаю что сложно связаться.
  • Проанализируй соотношение потребляемая электроэнергия/производительность. Всё таки жерут они не мало.

З.Ы.: IBM и Т-Платформы - основные поставщики кластеров в России, так что смело связывайся с ними. А там решай сам.

AlexVR ★★★★★ ()
Ответ на: комментарий от AlexVR

В т-платформах, я думаю, с таким бюджетом далеко пошлют))

eagleivg ★★★★★ ()

Забыл

Копался в интернете, но так и не смог подобрать железо

Цены на такие системы чаще всего не публикуются, и это связано не с желанием скрыть их реальную стоимость, а с тем, что в каждом случае получается индивидуальная система.

AlexVR ★★★★★ ()
Ответ на: комментарий от eagleivg

> обмен данными между нодами

В архитектуре Fermi и стеке CUDA 4.0 поддерживается GPUDirect — обмен данными между GPU напрямую через Infiniband.

> использование double - туши свет


double поддерживается аппаратно, просто double precision unit'ов в мультипроцессоре меньше, чем скалярных процессоров, поэтому пользоваться ими нужно с умом.

anonymous ()
Ответ на: комментарий от Reset

> Только идиот будет собирать кластер на генту. Для кластеров есть ALT HPC edition и другие специализированные дистрибутивы.

Для создания кластеров используются в т.ч. и не специальные дистрибутивы. Некоторые кластеры, собранные на неспециальных дистрибутивах, входят даже в топ500: http://www.top500.org/stats/list/36/os

С бюджетом в 1.000.000 руб. не очень разгуляешься с брендовыми поставщиками. Тут есть два варианта:

1. Покупать самый простой брендовый кластер с прикидкой обучить команду работе на нем, и впоследствии купить хорошее брендовое решение. Но тут нужно, чтобы ответственное лицо было хорошо знакомо с тематикой, а этого не наблюдается.

2. Решить текущие задачи, а кластерные вычисления это не профильная деятельность. Это подразумевает временное решение, которое во многом будет уступать брендовому, но будет более дешевое и сохранится возможность использовать оборудование не как кластер. Для этого openMosix (gentoo), имхо, логичней всего.

PS: знаете кто обычно громче всех орет «только идиоты» ?

soomrack ★★★ ()
Ответ на: комментарий от soomrack

> Для этого openMosix (gentoo), имхо, логичней всего.

какой нахуй мозикс и тем более с гентой? это вообще не про то

Reset ★★★★★ ()
Ответ на: комментарий от anonymous

а мужики то не знали

$ hostname
t60-2.parallel.ru
$ cat /etc/redhat-release 
ALT Linux 4.1 HPC (Milfoil)
Reset ★★★★★ ()
Ответ на: комментарий от anonymous

> GPUDirect — обмен данными между GPU напрямую через Infiniband

Насколько я понял, не напрямую, а GPU=>PCI-E=>ОЗУ=>Infiniband=>ОЗУ=>PCI-E=>Other GPU

Подозреваю, подобная схема сильно повысит латентность.

> пользоваться ими нужно с умом.

Если для задачи это критично, лучше не пользоваться вовсе, ибо по производительности такое решение уступит CPU

eagleivg ★★★★★ ()
Ответ на: комментарий от Reset

> parallel.ru

éÎÆÏÒÍÁÃÉÏÎÎÏ-ÁÎÁÌÉÔÉÞÅÓËÉÊ ÃÅÎÔÒ ÐÏ ÐÁÒÁÌÌÅÌØÎÙÍ ×ÙÞÉÓÌÅÎÉÑÍ и т.д :3

anonymous ()
Ответ на: комментарий от Reset

И чем тут гордиться? Засохшим г-ном мамонта 2009го года?

anonymous ()
Ответ на: комментарий от Reset

chromium 11, firefox 4 - картина абсолютно идентичная :3

...увы ie не держим

anonymous ()
Ответ на: комментарий от anonymous

Это «говно мамонта» прекрасно выполняет свои задачи. Кстати, есть более новый «Ломоносов» на котором, кстати, тоже альт стоит, а не сраная гента.

Reset ★★★★★ ()
Ответ на: комментарий от Reset

Я немного знаком с типами расчетов, которые возникают в задачах физической химии где используются квантовомеханические модели. И с вероятностью 0.99 они будут относится к распределенным вычислениям, НЕ к параллельным. Поэтому очень быстрые свичи не нужны. Если делать кластер под распределенные вычисления своими руками, то я бы предпочел openMosix на gentoo, т.к. и документации много, и на специализированных форумах часто обсуждается, и оптимизация под железо будет, и многое другое.

PS: было бы конструктивней, если бы вы аргументировали свои ответы чем-то кроме мата.

soomrack ★★★ ()
Ответ на: комментарий от Reset

> Это «говно мамонта» прекрасно выполняет свои задачи. Кстати, есть более новый «Ломоносов» на котором, кстати, тоже альт стоит, а не сраная гента.

То, что суперкомпьютер Ломоносов «прекрасно выполняет свои задачи» вызывает сомнения. Вызывает сомнения что он вообще работает:

http://www.cnews.ru/news/line/index.shtml?2011/03/01/430123

+ если вы посмотрите жж сотрудников МГУ, связанных с Ломоносовым, вы, наверно, удивитесь еще больше.

soomrack ★★★ ()
Ответ на: комментарий от soomrack

Браво

...хотелось бы видеть пруфы использования и пруфы от использования

//кун

anonymous ()
Ответ на: комментарий от Reset

> чушь какая

Конструктивно. Примеры задач, которые были решены на Ломоносове за последний год можете привести? Со ссылками на публикации в прессе, а не только на сайтах МГУ.

soomrack ★★★ ()
Ответ на: комментарий от soomrack

И с вероятностью 0.99 они будут относится к распределенным вычислениям, НЕ к параллельным. Поэтому очень быстрые свичи не нужны. Если делать кластер под распределенные вычисления своими руками, то я бы предпочел openMosix на gentoo, т.к. и документации много, и на специализированных форумах часто обсуждается, и оптимизация под железо будет, и многое другое.

Если уж распределённые для непрофи, то лучше Condor на Debian со всеми плюшками. А оптимизация под железо для распределённых не так уж и важна, важней количество узлов.

AlexVR ★★★★★ ()
Ответ на: комментарий от AlexVR

> Если уж распределённые для непрофи, то лучше Condor на Debian со всеми плюшками. А оптимизация под железо для распределённых не так уж и важна, важней количество узлов.

Тут вариантов на самом деле много. Можно вообще не париться и поставить на всех компьютерах института (на которых разрешено регламентом) что-то типа BOINC. Тут ориентироваться надо на то, с чем лучше знаком + перспектива обучения на вырост.

soomrack ★★★ ()
Ответ на: комментарий от soomrack

мозикс тебе процессы будет раскидывать и перекидывать как бог на душу положит, это вообще не для вычислений технология, а для отказоусточивости и распределения нагрузки

Reset ★★★★★ ()
Ответ на: комментарий от eagleivg

>>Реально, есть готовые решения на терафлоп и на 3 терафлопа. На прошлогоднем связьэкспокоме рядом с нами был стенд компании, они предлагали бигтауэры с 3-мя материнками в корпусе, на каждой материнке по 4-е 12-ти ядерников. Материнки соединялись infiniband по хитрой схеме, фирма поставляла к сервачку патченный MPI для него. К сожалению, не могу найти название, они были рядом со стендом 3Д Лиги, может кто вспомнит?

Вот это интересно.

Cuda нельзя. Софта нет. Athlon XP не канает для зонных расчетов из сотни атомов, к сожалению, годы ждать никто не будет! В Европе это делается на компах типа BlueGene.

>>Только идиот будет собирать кластер на генту. Для кластеров есть ALT HPC edition и другие специализированные дистрибутивы.

Мне кажется, это не очень важно, потому что всё равно собирать все библиотеки и софт самому, что бы выжать максимум. А уж загрузку по сети можно сделать на любом дистре. Как-то я не доверяю отечественной разработке, даже с учетом Ломоносова.

>>А какой это Infiniband умеет напрямую без свича?

Вот, кстати, я про это не подумал. Про Infiniband вообще не удалось много информации найти.

>>Но тут нужно, чтобы ответственное лицо было хорошо знакомо с тематикой, а этого не наблюдается.

Ответственное лицо и правда пока не особо разбирается в серверном железе, но, оно знакомо с расчётами и линуксом. Тема железа активно осваивается.

>>И с вероятностью 0.99 они будут относится к распределенным вычислениям, НЕ к параллельным.

Но таки разработчики софта рекомендуют Infiniband (это справедливо для нескольких программ, не для одной). Хотя это и правда скорее распределённые вычисления.

vitruss ★★★ ()
Ответ на: комментарий от vitruss

>>Только идиот будет собирать кластер на генту. Для кластеров есть ALT HPC edition и другие специализированные дистрибутивы.

Мне кажется, это не очень важно, потому что всё равно собирать все библиотеки и софт самому, что бы выжать максимум. А уж загрузку по сети можно сделать на любом дистре. Как-то я не доверяю отечественной разработке, даже с учетом Ломоносова.

Замучишься выжимать максимум, упираться будешь не производительность процессоров. И нашем производителям зря не доверяешь. Как говорил выше, лучше позвони тем же Т-платформсам и проконсультируйся.

З.Ы.: еще одно скажу, тех кто будет сам писать проги для кластера, вообще лучше не допускать к их администрированию. Им начинают мешать всякого рода «условности» безопасности и открывают всё что не лень.

AlexVR ★★★★★ ()
Ответ на: комментарий от soomrack

Я больше доверяю сайтам мгу чем какому-то необоснованному желтому бреду, на который ты дал ссылку. Задачи можно поискать в журнале «Вычислительные методы и программирование». Я на Ломоносове ничего не считал, хотя в начале года мне предлагали логин. Я отказался, так как Чебышева с головой хватает.

Reset ★★★★★ ()
Ответ на: комментарий от vitruss

> А уж загрузку по сети можно сделать на любом дистре. Как-то я не доверяю отечественной разработке, даже с учетом Ломоносова.

а ядро? а планировщик заданий?

Reset ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.