И много уже таких супер компьютеров построили создатели этой книги?

вот давно возник вопрос про кластеры...

Хм, я возьму 4 своих логина на разные серваки в инете, возьму некие данные, напишу прогу, которая по http будет ломитрся на серваки, контролируя параллельный расчет(внося в него корректировки в зависимости от того, что выдаст апач), вот тебе и кластер на программном уровне...

Зачем нужен кластер? Если можно программу написать так(распараллелить), что хватит обычный мощностей TCP/IP. Зависит от задачи, например типа:

если можно данные разбить на кусочки, когда конец вычисления каждого предыдущего кусочка общей задачи не влияет на вычисление каждого последующего кусочка...

если данные нельзя разбить на кусочки, задача вычисления n! напрмер: без вычисления (n-1)! никак нельзя вычислить ((n+1)-1)!=n!, но в таком случае зачем тогда нужен кластер, если расчет зависит от скорости процессора, пусчть их даже тысяча, в задаче где следующие данные зависят от предыдущих, число процессоров не имеет значения, важна лишь их частота...

vilfred существуют задачи которые гораздо быстрее и удобнее решать на кластерах. Например "john the ripper":)

Вильфред, у вас в МГУ матчасть уже не учат?

>>Издательство «Бестселлер» пр

Во блин, новости постят виндузятники.

Эта нинавязчивое напаминание люликсойтам, что при всех супкр-пупер-компутерах кавыки-елки им нидаступны, как локти...

Иди и посмотри на чем работают и будут работать суперкомпьютеры.
А потом на список самых мощный кластеров и их производительности
(в том числе и на российские посмотри).
После этого можешь дальше пытаться чушь писать о том чего и где там недоступно. И язык подучи - смотреть стыдно на такое написание слов.
Говорят, что как человек пишет, так и думает - если ты думаешь так же коряво, то можешь забыть о чем я только что написал.

4Green: Вроде это страничка "Новостей", так и одобряй НОВОСТИ!
Ссылки на эту книгу висят по всем серверам недели две. Чтобы убедиться в этом, достаточно залезть на www.linux.ru в раздел "Новости с русских серверов" (кстати, а почему там нет LOR).

Зато действительно полезной новости о gimp так до сих пор и нет. Пойду напишу, что ли.

Одна женщина родит ребенка через девять месяцев - девятьчерез один

2anonymous (*) (2003-06-17 07:46:11.703896)

>Одна женщина родит ребенка через девять месяцев - девятьчерез один

А прикинь, сколько нарожают 1024 женщины за 1024 месяцев!!!! Подумать страшно!

Умники вы все я смотрю, может почитаете на http://www.parallel.ru зачем все это надо... а потом разглагольствовать будете...

2vilfred

Кластер нужен для тех, кто на Монтекарле считает. Очень сильно сроки расчета сокращает.

А что? Нормальная новость. Получше будет, чем всякая необоснованная критика Linux. Green, нах%на ты какие-то каракули добавил. Я вроде нормально все написал.

anonymous (*) (2003-06-16 14:34:14.793349)

Спасибо за новость. Обязательно куплю эту книгу..

ну. не шарю, короче, в этом деле вобщем...

ну, может ВМКшников с мехматянами и учат, я же с физфака и с кластерами на факультете не встречался... просветите, кто знает, чего такое кластер и зачем он нужен...

>ну, может ВМКшников с мехматянами и учат, я же с физфака и с кластерами на факультете не встречался... просветите, кто знает, чего такое кластер и зачем он нужен...

Просветит господин Луговский - он тоже с физфака.

Поддержка SecurID в OpenSSH

2vilfred (*) (2003-06-17 12:22:45.635521)

>ну, может ВМКшников с мехматянами и учат, я же с физфака и с кластерами на факультете не встречался... просветите, кто знает, чего такое кластер и зачем он нужен...

Кластер это ни в коем разе не суперкомпьютер.

Как из тысячи кошек нельзя собрать слона, так из тысячи писюков

нельзя собрать CRAY X1.

>Как из тысячи кошек нельзя собрать слона, так из тысячи писюков нельзя собрать CRAY X1.

Саныч, хорошо сказано! COOOOL!

короче, есть проблема, знакомые астрономы купили за 7 штук суперкомп в 2 гигагерца 2 гагабайта рам и т.д., для обработки изображений 2000x2000 пикселов. Хотя мне кажется, они за 7000$ могли бы купить 14 компов-атлонов2700 и распрааллелить задачу, увеличив быстродействие в 14-20 раз... тоесть, по моему, налицо неверный расход денег. Я им там всем профессорам впариваю, чтож вы так деньги то разбазариваете, а они не слышат(Крей, Крей, а что он дает - толком не скажут)...

Поддержка SecurID в OpenSSH

Зависит, конечно, от софта, но есть ощущение

что 64 битный risk CPU, сделал бы это лучше.

Потом возникает вопрос, если изображение обрабатывать по кускам,

то как потом сшивать границы ?

>(Крей, Крей, а что он дает - толком не скажут)...

На Cray у тебя денег точно не хватит :)

Сходи http://www.cray.com

В свое время, если мне не изменяет память, компания Хитачи

давала доступ через инет к своим суперкомпьютерам, по

цене $200/час.

При этом ты должен был доказать, что не работаешь на военных.

"Потом возникает вопрос, если изображение обрабатывать по кускам, то как потом сшивать границы ?"

ну например делить изображение на квадраты с захватом. Тоесть на самом деле в изображении 100x100 можно выделить скажем 100 квадратов размером 10x10, тогда действительно быдут проблемы с краями, так как усреднение, или борьба с шумами на крях картинки будут зависеть от самих краев, тоесть будут влиять краевые эффекты. А если взять каждый квадрат 13x13, то тогда влияние краевых эффектов будет мало

Допустим один квадрат отправить на 1 ip, другой на 2-й ip и так далее...

короче вижу три этапа:

1) считать 2) наример, когда попиксельно проходит усреднение по гауссу(типа гауссова размытия в фотошопе) или по скользящему среднему поиск максимумов в изображении(когда нужно знать максимум яркости, точнее чем пиксел). 3) сшить картинку

по моему, второй этап наиболее трудоемкий для компьютера... имхо. Короче это сложно все на самом деле...

Есть такая прога, поиск внеземных цивилизаций, скачиваешь программу, а она ,когда ресурсы компа свободны, считает какой-то кусочек информации... а вот фиг их знает, может они моделируют атомный взрыв под эгидой внеземных цивилизаций... это про доказать, что ты не военный.

по поводу 64 битности, блин, у нас наука оперирует цифрами в 10000-20000$, потому 64 бита это максимум новый атлон, ("64 битный risk CPU" это не знаю просто что такое), но я на самом деле бы подождал, пока софт под него появится линуксячий, и вообще ,как народ отзывается о hammer...

Дима

вообще конешно им проконсультироваться нужно с кеммнить, но ониж пальцастые, "да мы", "да мы все сами знаем", ну впрочем, и пострадают тоже сами...

Если судить по расчетам, то распаралеливаются на кластере только определенный класс задач. По крайней мере, наш математик мне сегодня так сказал.

По крайней мере он прав, ваш математик. :)

Далеко не каждая задача может быть разложена по процессорам/хостам, так что кластеры не являются панацеей и полной заменой суперкомпьютерам.

А я вот Cray Y-MP видел... и даже на кИнопочки жал ... :)
(поддался массовому ЛОРовскому психозу: по делу сказать нечего, а вы...ся надо :))

Что да кластеров, то неплохо идут как сервера аппликухи (если аппликуха для них собрана). Пример неподалёку: кластер х64 с базовой софтиной - ПроЕ, собранной под него. Клиенты тощие, и их много :). Владельцы считают: что они порядком сэкономили.

PS Ни про книгу, ни про кластеры -ничего боле не скажу, не копенгаген :), в примере (см. выше) - работать клиентом комфортнее, нежели на одиночном компе.

Вообще кластер можно рассмтривать как суперкомпьютер. У нас например такой стоит, создан на базе "обычных" двухпроцессорных pc под управлением линукса. Внутрикластерные коммуникации построены на маринете - то есть очень быстро. Определенный класс задач на них решается весьма неплохо. Фреймворк для таких решений обычно PVM или MPI. В принципе, при наличии очень быстрой сети, связывающей элементы кластера, возможно построение некого подобия NUMA-системы (non-uniform memory access). Правда ОС, поддерживающей такую хрень, я не знаю. Есть попытки сделать это типа MOSIXа, но такое решение сильно ограничено.

Посчитаем "ПИ" и умрем от гордости и нищеты.

Это ты к чему?

>Вообще кластер можно рассмтривать как суперкомпьютер. У нас >например такой стоит, создан на базе "обычных" двухпроцессорных pc >под управлением линукса. Внутрикластерные коммуникации построены >на маринете - то есть очень быстро. 

муринет это конечно хорошо для сильносвязянных задач
во только узел получается наверное под штуку зелени ....

>Определенный класс задач на них 
>решается весьма неплохо. Фреймворк для таких решений обычно PVM >или MPI. В принципе, при наличии очень быстрой сети, связывающей >элементы кластера, возможно построение некого подобия >NUMA-системы (non-uniform memory access). Правда ОС, >поддерживающей такую хрень, я не знаю. Есть попытки сделать это >типа MOSIXа, но такое решение сильно ограничено.

MOSIX и NUMA вещи весьма перпендикулярые

Доброго времени суток.

По поводу использования кластеров: экологическая ниша квантовая химия. Результат на лицо. Если, к примеру задача считается на одном камне 5 суток, то на 4-х не более полутора суток. Все зависит от используемой программы. В качестве таковых выступают: GAMESS,Gaussian http://www.msg.ameslab.gov/GAMESS/GAMESS.html http://www.gaussian.com

При этом используются различные программные решения для параллезации: В GAMESS - MPI ( автор А.А. Грановский - кафедра хим.кибернетики МГУ) DDI ( группа профессора Гордона ) в Gaussian Linda/ На самом деле эффективность зависит очень сильно от топологии и архитектуры кластера, то есть не только от кода. По своему опыту, могу сказать, что объекты для расчета, которые актуальны на сегодняшний день ( более 20 атомов второго и первого периода) можно рассчитывать необходимые параметры ( к примеру экспериментальные величины ) с примелимой скоростью, только на кластерах. У нас в СО РАН ( Новосибирск ) 2 кластера под такого рода задачи. В поверьте мне - они все время загружены до предела .... Отсюда делаем вывод - кластеры актульны. С уважением,$echo.

Поясни.

А у нас кластеры отлично показывают себя в рассчетах статики и динамики. Если движок обсчитывается 16 дней на одном узле, то на двух уже 8, на четырех -4 и т.д. Просто отличная масштабируемость.
Софт - nastran и marc. Ипользуется это дело практически во всех авиационных КБ и теперь вот автомобилисты внедряют. Экономия на натурных испытаниях такая, что сотня тыщщ енотов за комплекс окупается с первой же обсчитанной модели.
Что интересно, под линукс есть не только рассчетный софт, но и софт для постановки задачи с визуализацией результатов. Под редхатом, альтлинуксом и msc-линукс работает на ура, хотя софт довольно капризный.

так что ниша у кластеров, безусловно, есть :)

Вставлю и свои 5 копеек: на мехмате МГУ нас обучают написанию параллельных программ. :) А конкретно: под системы с общей памятью(threads) и системы с распределенной памятью(MPI). Как на ВМК с этим дело обстоит - не знаю.

Доброго времени суток. Что пояснить ?

Доброго времени суток. По поводу постановщиков задач. На мой взгляд - либо DQS, либо SGE. Хотя наш админ предпочитает NQS. Я в свое время баловался с PBS. ссылки нужны ?) Да, я так и не понял - что пояснить ?)) С уважением, $echo.

Поддержка SecurID в OpenSSH

>В принципе, при наличии очень быстрой сети, связывающей элементы кластера, возможно построение некого подобия NUMA-системы (non-uniform memory access). Правда ОС, поддерживающей такую хрень, я не знаю. Есть попытки сделать это типа MOSIXа, но такое решение сильно ограничено.

Ну как не знаете ? Конечно же это лялих.

SGI Linux64 поддерживает Numa flex технологию

(доступ к люб. узлу кластера за 50 наносекунд)

...

>Поясни.

Пояснить что ? То что у MOSIX-а не NUMA-архитектура (по крайней мере в версии 1.10) ?

Вот как сделают 
1) Cluster RAM  - span a large process across different nodes rather than remote paging

2)DSM - cluster wide distributed shared memory 

Тогда можно будет говорить о том что MOSIX похож на NUMА

А пока это миграция роцессов + балансировка 

2AVL2 (*) (2003-06-18 00:15:29.330134)

Объясни про софт подробнне (GPL или нет? Где взять?).

Уважаемые кластерыне Гуру!!!!

Пожалуйста кто-нибудь ткните пальцем - что почитать и закачать, чтобы баловаться с кластерами начать. До едреней фени первых пней после апгрейда имеется и задачи из моделирования (один спец говорил, что их можно распаралелить, другой - что тяжело их распаралелить).

Поддержка SecurID в OpenSSH

>(один спец говорил, что их можно распаралелить, другой - что тяжело их распаралелить).

А это и есть самый сложный вопрос. Когда ты на него ответишь,

то будешь знать, нужен ли тебе кластер.

>До едреней фени первых пней после апгрейда имеется

кластер из первых пней _ImHO_ годится тольк для "попробовать что такое кластырь" :) 

Если речь идет об linux то товольно приличное количество ссылок
по теме есть на http://www.linux-ha.org (там ссылки не только на HA ;))
Правда вот эта 
http://www.cs.wisc.edu/condor
туда почему то не попала ...

если просто хочешь въехать в тему то посмотри
http://www.parallel.ru (там самое ценное это _ImHO_ опять же ссылки)

>и задачи из моделирования 

Ну начинай с поиска аналогов ...

если задача счетная то ищи аналоги с использованием  MPI или PVM

Есть такой дистрибутив в виде live-CD на основе Knoppix специально для научных расчётов "Quantian":
http://dirk.eddelbuettel.com/quantian.html
Как я понял, авторы обещают следующее:
Нарезаешь n live-CD дисков, загружаешь с них n компьютеров в сетке -
и вот у тебя кластер на n узлов. Никто не пытался проверить?

Вдогон вот еще забавный документ по теме 
http://www.ece.rutgers.edu/~parashar/Classes/01-02/ece566/slides/Clusters_Overvi
ew.pdf
Оформление - просто улет "Кластеры для самых маленьких" :)

nastran, marc и patran - коммерческий софт от msc.
www.mscsoftware.com
какие то версии есть в их же дистре msclinux

2 anonymous (*) (2003-06-17 23:51:18.288553)

Привет Витя!
Ты чего не пишешь?
Илья, Москва

По поводу KNOPPIX + OPENMOSIX

Пробывал немного другой http://bofh.be/clusterknoppix/ Идея таже - KNOPPIX дистриб + OpenMOSIX, вдобавок можно на одном компе загрузиться сделать терминальную станцию , а потом грузиться с неё по сетевушкам с PXE и каждая загруженная будет добавляться в кластер автоматически.

Кластер у меня создаётся показывет mosmon загруженность узлов, но мигрировать процессы у меня так и не получилось :(