LINUX.ORG.RU

На облаке Amazon собран суперкомпьютер из 10000 ядер

 , , , condor, cycle computing,


0

2

Компанией Cycle Computing для своего клиента - фармацевтической компании Genentech внутри сервиса Amazon Elastic Compute Cloud был сконфигурирован вычислительный кластер, состоящий из 10000 ядер. На каждом узле запущенного сервиса стояла операционная система CentOS (клон Linux RedHat). Для обслуживания кластера использовалось как собственное ПО фирмы CycleCloud software, так и программное обеспечение с открытым кодом Condor и Chef.

Задача расчёта белковых связей, которая и считалась на этом кластере очень хорошо распараллеливается и производительность должна была быть близка к теоретической. Таким образом, расчеты, потребовавшие восемь часов работы облачного кластерного суперкомпьютера с быстродействием около 66 TFlops, составленного из 1250 физических восьмиядерных машин, с суммарным объёмом оперативной памяти 8.75Тб и 2Пт (петабайт) дисковой обошлись Genentech всего в 8500 долларов, включая все выплаты Amazon и Cycle Computing.

>>> Подробности

Ответ на: комментарий от qbbr

Это небольшой кластер. В том плане что бывает и гораздо больше.

tensai_cirno ★★★★★
()
Ответ на: комментарий от tensai_cirno

> За час работы?

Не 8 часов. То есть за час вышло чуть больше 1000.

anonymous_incognito ★★★★★
() автор топика

> 8500 долларов, включая все выплаты Amazon и Cycle Computing.

Продешевили.

anonymous
()

Ого так дешево!!! за 8 часов работы там только электричества было потраченно немерено ! амазон радует нет слов))

bsd_admin
()
Ответ на: комментарий от bsd_admin

>Ого так дешево!!!

Для 10 000 ядер, может, и дёшево, но для задач обычного VPS хостинга на рынке существует огромное количество более выгодных предложений, чем у AWS.

Wizard_ ★★★★★
()
Ответ на: комментарий от maniacscientist

А цена такого кластера будет 50 K$ - в 6 раз больше чем амазону отдали, зато навсегда

maniacscientist
()
Ответ на: комментарий от qbbr

>>Genentech benefited from the high number of cores because its calculations were «embarrassingly parallel,» with no communication between nodes

В расчетах квантовой химии отсутствие межнодного взаимодействия - это слишком грубо, скорее всего писался собственный упрощенный софт.

mclaudt
()
Ответ на: комментарий от maniacscientist

>Типа, в GeForce CUDA а криворуким программистам фармакологической мафии подавай уютненький руби?
А когда CUDA научится IEEE 754 без оговорок? Если обходить ограничения, получишь неслабое просаживание производительности. Это тебе не md5 считать.

x3al ★★★★★
()

Тихо и незаметно вышел xpwn для Linux. Анонимусы ждут что то типа sn0wbreeze

anonymous
()

Интересно, а какая производительность у того же Folding@Home? Понятно, что сравнение не очень корректно, но всё же.

GblGbl ★★★★★
()
Ответ на: комментарий от qbbr

>> 10000 ядер.

на чём написан?

На Java, очевидно же. :)

cruxish ★★★★
()
Ответ на: комментарий от ns_ramesses

На Божественном Ruby.

Рабы няшной такие рабы, они как всегда предпочтут залить шары няшно-спермой, потратить полгода на нонстоп write-test-segfault-debug-loop ради мифических трех миллисекунд выигрыша и удивиться, как же так получилось, что на этом рынке им осталось лишь доесть объедки.

anonymous
()
Ответ на: комментарий от maniacscientist

Задачи вычислительной химии на GPU очень плохо параллелятся, нужен полноценный message passing, а не SPMD. Я уж не говорю о том, что с double там все плохо.

anonymous
()
Ответ на: комментарий от maniacscientist

> 66 TFlops? И эта хрень стоила мегабаксы нефти? Да это 66/1.5 = 44 GPU Geforce 580, по две в каждую машину, всего 22 компа. Тоже мне кластер...

Для фанатов GPU у амазона есть и ноды с видяхами (2 x NVIDIA Tesla “Fermi” M2050), стоят 2.1$ в час. 22 компа на 8 часов на 2.1$ = 369.6$. Но это нужно чтобы с задачей и кодом все было хорошо, GPU пока совсем не везде применимы.

YesSSS ★★★
()

> 10000 ядер

66 TFlops

8.75Тб

Тоже мне новость! Тот же IBM Roadrunner смотрит на него как на карманный калькулятор.

segfault ★★★★★
()
Ответ на: комментарий от anonymous

Фанаты руби такие фанаты, они с пеной у рта будут доказывать, что их язык самый профитный в плане быстрого получения результата. Но потом удивляются, как же так получается, что их бесценный, сделанный левой ногой (ибо просто) софт не устраивает конечного пользователя дикими тормозами.

segfault ★★★★★
()
Ответ на: комментарий от segfault

>расчёте на пиковую производительность в 1026 терафлопа

Стоимость IBM Roadrunner составила 133 миллиона долларов.


66 TFlops

8000$



Your argument is invalid.

anonymous
()

Протухло

Не был на ЛОРе полгода. Скажите, как давно наш сайт захватила ололокающая сволочь?

dimitrio
()
Ответ на: комментарий от anonymous

>Стоимость IBM Roadrunner составила 133 миллиона долларов.

Таким образом, расчеты, потребовавшие ... обошлись Genentech всего в 8500 долларов

Ясен пень, стоимость компа будет в 100500 раз выше стоимости часа его эксплуатации!

segfault ★★★★★
()
Ответ на: Успех! от Ubuntu1104

>а для Ъ объясните что именно он расчитывает?

вещества, очевидно

registrant ★★★★★
()

> На каждом узле запущенного сервиса стояла операционная система CentOS (клон Linux RedHat). Млять, ну ребята, думайте, куда пишите! Это копипаста? Иначе зачем разъяснять посетителю ЛОРа, что CentOS это клон RH?

anonymous
()
Ответ на: комментарий от anonymous

Новость - не копипаста. Просто с некоторых пор на работе выработалась привычка разъяснять другим всё как для маленьких. Может переборщил в данном случае.

anonymous_incognito ★★★★★
() автор топика

в результате вычислений была идентифицирована белковая цепочка, составляющая одну сотую процента от всего генома :-)

kto_tama ★★★★★
()
Ответ на: комментарий от maniacscientist

66 TFlops? И эта хрень стоила мегабаксы нефти? Да это 66/1.5 = 44 GPU Geforce 580, по две в каждую машину, всего 22 компа. Тоже мне кластер...

С каких это пор Geforce 580 стал выдавать 1.5 TFlops о_О Да еще скажи такую скорость даёт на Даблах...

Не говорю уж, об

  • «с суммарным объёмом оперативной памяти 8.75Тб»
  • «2Пт (петабайт) дисковой»
  • Возможности применения алгоритмов на GPU
  • ...

Не позорься хоть своими вычислениями.

AlexVR ★★★★★
()

меньше 10к денег, да еще на такую тему - вещь. мне казалось, что такие суммы из области фантастики уже.

SimonPhoenix
()
Ответ на: комментарий от devnullopers

Съешь ещё этих глянцевых буклетов, да запей слюнями маркетологов.

С такой мизерной памятью на ядро эти «терафлопсы» для реального применения бесполезны.

mclaudt
()
Ответ на: комментарий от ns_ramesses

Потому что в России они не нужны

anonymous
()
Ответ на: комментарий от kto_tama

24*365 8760

8*10000 80000

Отсюда не следует, что нужно 10 лет на все про все? :) Или там не линейно считается?

frey ★★
()
Ответ на: комментарий от anonymous

Речь о видеопамяти, чудень. Между ядрами настольного компа и ядрами видеокарты большая разница - в последние труднораспараллеливаемые процессы, требующие большого межъядерного трафика, без костылей не пропихнуть.

mclaudt
()
Ответ на: комментарий от anonymous

> А в чем причина выбора CentOS а не RH?

Саппорт не нужен, апдейты не нужны. 8 часов посчитали и потушили.

А еще у шляпы совершенно шизоидная лицензионная политика с амазоном. Если SLES - можно просто пустить образ и будешь платить лишние ltymub в час, которые они уже сами поделят, то, что-бы пустить шляпу, нужно сходить на сайт redhat, купить лицензии, потом связаться с саппортом амазона (не уверен, может уже автоматизировано) и тогда получишь образ шляпы.

Не знаю расценки для шляпы и для кластерных инстансов, а за SLES x86_64 large мы переплачивали около 30-40% за лицензию.

В общем, причина очевидна. А цент есть сразу среди готовых образов.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.