Домашний суперкомпьютер

Re: Домашний суперкомпьютер

Ja vot tolko iz statji tak i ne pon'al, kak mezhdu soboi uzelki vzaimodeistvujut. Cherez set, chto-li? Jesli tak, to na figa ih togda v odin korpus pihat? Iz-za energopotreblenija? Bred kakoi-to.

zelo_ (30.08.2002 1:54:42)

Re: Домашний суперкомпьютер

Почему бред? "Все в одном" хорошая идея. Не надо возиться с каждым по отдельности. Вот только зря теста никакого нету, хотя бы то что по ссылке zipCrackera запустили бы и сравнили с новейшими процессорами.

SandySandy (30.08.2002 5:55:45)

Re: Домашний суперкомпьютер

to zelo: да нет же, изза экономии пространства а также чтобы можна было все это куда унести

to Sandy: дак ведь цель "performance" и не ставилась - конечно можне собрать на Dual Athlon MP x N и будет заметно производительней а цель была попытаться "поднять" на условно бесплатном железе так сказать для проверки собственных возможностей, для отработки принципов построения таких систем ну и т.д.

ocp (30.08.2002 6:09:05)

Re: Домашний суперкомпьютер

А чем PVM от MOSIX отличается, может кто-нибудь сказать?

Re: Домашний суперкомпьютер

А можно таким образом увеличить количестов pci/isa слотов?

dsa (30.08.2002 8:24:51)

Re: Домашний суперкомпьютер

PVM - eto biblioteka dlya rasparallelivaniya processov, kotorye eto umeyut... MOSIX - sistema avtomaticheskoj balansirovki nagruzki, kotoraya prakticheski emuliruet SMP

Scoundrel (30.08.2002 11:04:56)

Re: Домашний суперкомпьютер

Молодцы мужики. Большие оригиналы. Один корпус чего стоит! %))

Re: Домашний суперкомпьютер

Интересно, если вычесть стоимость 6-ти б/ушных P1 из стоимости хорошего PIII, на какую сумму потянет "трах с такойто матерью" ? :)

lb (30.08.2002 11:52:18)

Re: Домашний суперкомпьютер

Вот еще на ту же тему, если кому интересно: http://www.scl.ameslab.gov/Projects/ClusterCookbook/

Хотя, конечно, сведения о железе устарели безнадежно...

Re: Домашний суперкомпьютер

Как все-таки процессоры взаимодействуют, кто-нибудь понимает? Нет ни слова ни о сети, ни о портах?

Re: Домашний суперкомпьютер

2anonymous (*) (2002-08-30 11:59:35.584):

там вроде четко написано что через beowulf. а в документации к последнему всё очень подробно описано.

lb (30.08.2002 12:07:37)

Re: Re: Домашний суперкомпьютер

>на какую сумму потянет "трах с такойто матерью" ? :)

А смысл очень простой - пошукать по бухгалтериям старые компы и на деле убедиться, что все работает (правда, предложение запихать все в один корпус я считаю глупостью) и продемонстрировать начальству. После этого можно аргументированно убеждать лиц, принимающих решения о покупках, что кластер на PC/Linux (под вашим чутким управлением) это в дофига раз дешевле майнфреймов, а скорость можно набрать любую.

Re: Re: Домашний суперкомпьютер

>PVM - eto biblioteka dlya rasparallelivaniya processov, kotorye eto umeyut... MOSIX - sistema avtomaticheskoj balansirovki nagruzki, kotoraya prakticheski emuliruet SMP
Ну PVM это не только библиотека но и соответствующий демон
который отвечает за координацию узлов Parallel Virtual Machine
в этом они с MOSIX функционально перекрывают свои возможности

Главное и самое интересное в MOSIX это миграция процессов с
узла на узел и как было замечено - их балансировка
MOSIX действительно чем то напоминает SMP при форке процессов но есть
существенное отличае - MOSIX в отличае от SMP не поддерживает (пока)
никакие виды shared memory - то есть получить параллелизм на pthread
не получится. Зато поверх MOSIX прекрасно работает PVM ;)
Причем для коммуникации не нужно pvmd - PVM проуессам кажется что
они работают на одной машине и в этом случае работвает механизм
process2process message passing - которому достаточно только наличия библиотеки
PVM

BTW: Кстати основная (ImHO) фишка PVM это платформонезависимость
так что товарисч мог собрать суПеркомпутер и на Windows
или на Windows+Linux+... и все бы это работало как одна PVM


Насчет протестировать на какой нибудь задаче:

Влоб не получится - нужно будет переписывать задачу под PVM

sS (30.08.2002 12:55:48)

Re: Re: дНЛЮЬМХИ ЯСОЕПЙНЛОЭЧРЕП

бГЮХЛНДЕИЯРБХЕ ОПНХЯУНДХР ОН ЯЕРХ Я ОНЛНЫЭЧ ЙНЛЛСМХЙЮЖХНММШУ АХАКХНРЕЙ РЮЙХУ ЙЮЙ PVM MPI OpenMP Х РД РО┘ МЮ СПНБМЕ ОПНЖЕЯЯНБ.

Re: Домашний суперкомпьютер

В принципе и без PVM можно написать приложение, которое бы состояло из нескольких взаимодействующих процессов, которые бы распределялись по узлам с помощью MOSIX.

Re: Re: Домашний суперкомпьютер

>В принципе и без PVM можно написать приложение, которое бы состояло из нескольких взаимодействующих процессов, которые бы распределялись по узлам с
>помощью MOSIX.

Можно конечно - только PVM и MPI это как бы уже стандарт
вообще конечно хотелось бы иметь минимум телодвижений
например как при исполmзовании OpenMP

#pragma omp .... и вперед - а какая там под этим лежит
архитектура и как оно отрабатывает всяку-разну параллельну фигню
прикладнику знать не положено :)

sS (30.08.2002 13:34:46)

Re: Домашний суперкомпьютер

Можноли к примеру использовать ORACLE в нечто подобном?

Re: Re: Домашний суперкомпьютер

>Можноли к примеру использовать ORACLE в нечто подобном?

1) Сильно пнуть авторов MOSIX (большим чемоданом с деньгами ;))
чтобы они скорей дописали network shared memory
2) Сильно пнуть ORACLE (не знаю уж чем) чтобы они переписали
ORACLE под PVM/MPI/Beowulf/MOSIX/Condor ;)

PS: А разве у Oracle нет поддержки кластеризации ?

sS (30.08.2002 13:55:27)

Re: Re: Домашний суперкомпьютер

Есть смысл пихать всё в один корпус - правда, в статье про это не сказано. Это если в качестве транспора SCSI используется.

Antichrist (30.08.2002 16:56:10)

Re: Re: Домашний суперкомпьютер

PVM - это просто message passing прослойка. Под неё требуется писать специально. А Mosix - это просто миграция процессов. Функциональный аналог batch pool-а, только малость посерьёзнее. Для параллельных вычислений не предназначен - его цель - балансировка нагрузки. Кстати, я его вполне успешно употребляю совместно с PVM.

Antichrist (30.08.2002 16:57:58)

Re: Re: Домашний суперкомпьютер

Но тогда пришлось бы повторять функциональность PVM, дабы гонять сообщения через пайпы или сокеты. Разве что воспользоваться средствами сериализации, предоставляемыми используемым языком...

Antichrist (30.08.2002 17:00:36)

Re: Re: Re: Домашний суперкомпьютер

Для минимума телодвижений попробуй Erlang или Mozart Oz.

Antichrist (30.08.2002 17:03:29)

Re: Домашний суперкомпьютер

Если в качестве транспорта - SCSI, то там уже и до FiberChannel недалеко :-)

fearan (30.08.2002 17:15:12)

Re: Re: Re: Re: Домашний суперкомпьютер

>Erlang
- ну тут как минимум достаточно большое телодвижение
по изучению нового (довольно гадкого) синтаксиса
и переписывание всего барахла что скопилось за годы на
ето чудо природы (кстати навскидку не заметил МЕНЬШЕГО количества телодвижений нежели
с OpenMP)

>Mozart Oz
-ну у этого чуда по крайней мере есть интерфейсы к C/C++
Но опять же время на изучение интерфейса

Ну и вдобавок оба чуда ImHO по смыслу таки ближе к PVM
нежели к OpenMP

sS (30.08.2002 18:03:55)

Re: Re: Re: Re: Re: Домашний суперкомпьютер

А ты что, хотел поиметь параллелизьм на уровне синтаксического сахара поверх семантики ублюдочного языка, от рождения к тому не предназначенного? Для C/C++ ничего лучше OpenMP принципиально сделать нельзя, так что, кто хочет параллелизьма прозрачного да легко автоматизируемого, тому по любому языки менять придётся... И, кстати, не ближе они к PVM - поскольку тут параллелизьм автоматический, то болт забить на способ реализации - всякие там потоки с блокировками и шаренной памятью, или же пересылка сообщений и всякая невнятная асинхронность...

Antichrist (30.08.2002 18:21:23)

Re: Re: Re: Re: Re: Re: Домашний суперкомпьютер

>И, кстати, не ближе они к PVM - поскольку тут параллелизьм автоматический, то болт забить на способ реализации - всякие там потоки с
>блокировками и шаренной памятью, или же пересылка сообщений и всякая невнятная асинхронность... 

Erlang:
The Erlang primitive spawn(Module,Fun,Args) creates a parallel process...

PVM:
pvm_spawn(...)

И до кучи ... к вопросу насколько глубоко спрятана реализация для разных
стандартов

OpenMP:

#pragma omp parallel 
{ 
#pragma omp for lastprivate(i)
  for(i=0; i<n-1; i++) 
  {
  a[i] = b[i] + b[i+1];
  }
a[i]=b[i];

и ничего я не знаю ни о каких процессах/нитях/узлах (хорошо бы :))

sS (30.08.2002 18:59:01)

Re: Re: Re: Re: Re: Re: Домашний суперкомпьютер

И еще (не буду приводить кусок доки целиком - дам линк)
http://www.mozart-oz.org/documentation/system/node47.html#chapter.remote
То есть те же яйца только в другой семантической оболочке ...

sS (30.08.2002 19:09:25)

Re: Домашний суперкомпьютер

2fearan: судя по железу в качестве SCSI там бы использовалось что-нибуть типа ncr810 :)

P.S. У меня возникала шальная мысля сделать кластер с танспортом на FireWire...:)

Irsi (30.08.2002 19:34:52)

Re: Re: Домашний суперкомпьютер

>P.S. У меня возникала шальная мысля сделать кластер с танспортом на FireWire...:)
Ну дык чего не сделал ?
NOW project вот на ем родимом и работал.

sS (30.08.2002 20:03:05)

Re: Домашний суперкомпьютер

2sS: дай железо - сделаю :) для работы мне кластер не нужен, а поиграться... сам понимаешь...

Irsi (30.08.2002 20:17:59)

Re: Домашний суперкомпьютер

> Это если в качестве транспора SCSI используется.

а как это выглядит?
Допустим, есть 4 материнки со SCSI адаптерами.
как их соединять?

AVL2 (31.08.2002 1:19:53)

Re: Домашний суперкомпьютер

А зачем они IDE-шлейфы резали? Кто-нибудь объяснить может?

Re: Re: Домашний суперкомпьютер

>А зачем они IDE-шлейфы резали? Кто-нибудь объяснить может?
К
ак я понял для экономии места (а может для еще чего) они его делали "круглым"

sS (02.09.2002 16:44:30)

Re: Домашний суперкомпьютер

Резали шлейфики для того чтоб они были компактней (прикинь шлейфы от пяти мам в одном корпусе)

Re: Re: Домашний суперкомпьютер

а можно ли вообще IDE использовать в качестве транспорта? Или только 100 мбит эзернета ?

chumpa (03.09.2002 7:04:14)

Re: Домашний суперкомпьютер

Не пойму в чем прикол такого суперкомпьютера. Rак не распараллеливай сколько-нибудь серьезные задачи, каждая отдельно взятая задача намного быстрее работать вряд ли станет. Годится только для обслуживания большого количества запросов.

В качестве примера, будет ли на кластере из нескольких Пеньков200 просчитываться ДивИкс поток в нормальном режиме?

Можно ли на кластере из четверок проиграть МП3 ?

Короче для такого кластера все равно нужны более менее приличные машины.

Re: Домашний суперкомпьютер

А если использовать в качестве транспорта USB 2.0 ? Понятно - что машинки понадобятся не детские - зато скорость на уровне - и самое интересное - не нужны сетевые и хаб! просто делаем соединение каждый к каждому - 6 проводов на 4 компа - лично я хочу так попробовать

Re: Re: Домашний суперкомпьютер

да, USB неплохо, если всё получится -- зашибись. А то старые пентюхи без интегрированной сети имеют плохой конструктив -- плоская (X-Y) мама и под углом в 90 градусов к ней по оси Z сетевая карта. И всё (видеоадаптер ведь не нужен). Как такое плотно упаковывать?

chumpa (03.09.2002 10:10:56)

Re: Домашний суперкомпьютер

Тот же/

Упаковка - интересный вопрос - по идее проц бы хорошо охлаждать - и нормально можно паковать по 2 безкомпонентными сторонами друг к другу - но лучше наверное самодельное подобие стойки - оно лучше будет - и всеми выходами вперед/ Загорелся я. блин. этой идеей - надо все таки попробовать /

Re: Re: Домашний суперкомпьютер

для вентиляции вертикальное исполнение матплат удобнее, с вентилятором вверху.

chumpa (03.09.2002 12:48:43)

Re: Re: Домашний суперкомпьютер

>А если использовать в качестве транспорта USB 2.0 ? Понятно - что машинки понадобятся не детские - зато скорость на уровне - и самое интересное - не
>нужны сетевые и хаб! просто делаем соединение каждый к каждому - 6 проводов на 4 компа - лично я хочу так попробовать

>anonymous (*) (2002-09-03 09:58:31.101)
Ну во первых мамок с USB2 сейчас не так уж и много во вторых
USB в таком случае будет делить полосу пропускания на число USB устройств
(да и реально выигрыш USB2 перед 100TX в fullduplex сомнителен)
вот если воткнуть 4 половинных 1000TX и поднять bonding вот это интересно
:) правда гигабитка (как и любой eth) как траспорт имеет хреновую latency

sS (03.09.2002 12:50:04)

Re: Re: Re: Домашний суперкомпьютер

кстати -- их можно "уголком" ставить, вот вид сверху:

__ __ | __ | | __ | | | | | | | | |

(длинная часть -- матплата, короткая -- сетевые)

chumpa (03.09.2002 12:52:14)

Re: Re: Re: Домашний суперкомпьютер

кстати -- их можно "уголком" ставить, вот вид сверху:

          __
       __  |
    __  |  |
 __  |  |  |
    |  |  |
    |  |  
    |  

(длинная часть -- матплата, короткая -- сетевые)

chumpa (03.09.2002 12:53:21)

Re: Домашний суперкомпьютер

Помимо OpenMP существуют ещё ABC+, mC++ (мюСи, гы гы :)

Druker (03.09.2002 14:45:43)

Re: Re: Домашний суперкомпьютер

ABC++ это Absolute Beginners C++ :) ?
а mC++ это "MC++: A Parallel, Portable, Monte Carlo Neutron Transport Code in C++"

я знаю mpC - делался у нас (в смысле в России) в ИСП РАН (ISPRAS)

sS (03.09.2002 15:49:43)

Языки, поддерживающие параллелизм.

Кому интересно - вот ссылка

http://parallel.ru/tech/tech_dev/par_lang.html

PS: OpenMP хорош именно минимумом телодвижений при переписывании
кода на FORTRAN/HPF/C/C++ все остальные языки требуют чуть больших усилий (ImHO).

sS (03.09.2002 16:00:13)

Re: Домашний суперкомпьютер

А что USB 2.0 уже не требует host/slave? Яб использовал FireWire...

Irsi (03.09.2002 17:15:27)

Сеть на USB?

А что, можно сделать сеть на USB? Есть ли вообще что-нибудь типа IP-OVER-USB-HOWTO? Я в свое время искал такого типа доку - не нашел. Если кто знает, как сделать сеть на USB, поделитесь ссылками на документацию, pls.

Re: Домашний суперкомпьютер

2anonymous (*) (2002-09-03 17:20:27.219): чтоб делать сеть на USB для начала нужны специальные кабели, стоимостью ~50$ за штуку... Дальше я думаю продолжать не надо? :) Это пр учете стоимости Ethernet или FireWire...

Irsi (03.09.2002 20:59:09)

USB

2Irsi. За информацию - спасибо. Только зачем спец.кабель и почему такой дорогой? Ведь для связи периферийного устройства с компом этого не надо. Насколько я понимаю, нужна всего лишь программная поддержка равнозначного соединения (типа PPP), а не обычного host/device. От кабеля это зависеть никак не может. Можно, конечно, встроить в него какую-нибудь приблуду, имитирующую последовательный порт для обоих концов (читал об этом). Но это уже не просто кабель, а девайс. Нужно-то всего-навсего соединить две машины дома по более быстрому интерфейсу, нежели RS-232C. При этом жалко выкидывать $20, когда есть USB на обоих машинах. Даже USB hub есть (в монитор встроен). Irsi, если невозможно (по аппаратным причинам) соединить две машины напрямую (или через хаб) по USB, то, может быть, объяснишь, почему? Что это за причины?