LINUX.ORG.RU

Высокопроизводительный кластер из старых компьютеров

 


0

0

Если у вас есть 32 старых однопроцессорных компьютера, нужно лишь найти способ, как заставить их работать сообща. Другими словами — собрать из них кластер. Да, у них всего по одному процессорному ядру, но все вместе они смогут сделать больше, чем одна двухъядерная машина. Как это сделать, рассказано в статье Т. Лемана (Tom Lehmann) «Как создать высокопроизводительный вычислительный кластер на Linux». В статье приведен обзор пакета Rocks — Linux-дистрибутива для развертывания, управления и поддержки высокопроизводительного вычислительного кластера.

>>> Подробности

Re: Высокопроизводительный кластер из старых компов

> но все вместе они смогут сделать больше, чем одна двухъядерная машина

проще сдать весь этот хлам на металлолом и купить четырехъядерную машину

Unknown ()

Re: Высокопроизводительный кластер из старых компов

>Если у вас есть 32 старых однопроцессорных компьютера

уже смешно.

mono ★★★★★ ()

Re: Высокопроизводительный кластер из старых компов

А я-то думал куда мне деть мои 32 старых компа...

omegatype ★★★ ()

Re: Высокопроизводительный кластер из старых компов

А также не только на старых однопроцессорных компьютерах, но и на КПК, смартфонах, и прочих ЕС ЭВМ http://ru.inferno-os.wikia.com/wiki/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9_%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80_Grid

rapid ()

Re: Высокопроизводительный кластер из старых компов

Т.е. 32 компа немногим лучше, чем одна двухядерная машина?

Sekai ()

Re: Высокопроизводительный кластер из старых компов

/me пошел делать кластер из 133 и 166 машинок

kam ★★ ()

Re: Высокопроизводительный кластер из старых компов

у нас в европе элекричество дорогое. так что лесом эту хрень

лучше купить один мощный комп.

Cosmicman ★★ ()

Re: Высокопроизводительный кластер из старых компов

А счет за киловатт-часы кто будет оплачивать?

balodja ★★★ ()

Re: Высокопроизводительный кластер из старых компов

Это развёртывать можно разве что в университетах, где тачки одинаковые...

ZeMvlad ()

Re: Высокопроизводительный кластер из старых компов

> Если у вас есть 32 старых однопроцессорных компьютера

Возможно Вы серьезно больны.

dusia ()

Re: Высокопроизводительный кластер из старых компов

Боюсь серверные двухканальные сетевухи будут стоить дороже этого хлама, а на обычных делать смысла нет -- пересылки всё сожрут.

Reset ★★★★★ ()

Re: Высокопроизводительный кластер из старых компов

> Боюсь серверные двухканальные сетевухи будут стоить дороже этого хлама, а на обычных делать смысла нет -- пересылки всё сожрут.

Именно поэтому по ссылке упоминается InfiniBand...

shahid ★★★★★ ()

Re: Высокопроизводительный кластер из старых компов

>компов

Это главная? Или толксы?

>Если у вас есть 32 старых однопроцессорных компьютера

Поменяйте их на один новый

>Да, у них всего по одному ядру, но все вместе они смогут сделать больше, чем одна двухъядерная машина.

Потребить электричества уж точно. А без должного распараллеливания нужных процессов такой кластер будет совершенно бесполезен.

Gary ★★★★★ ()

Re: Высокопроизводительный кластер из старых компов

чОрт, у меня есть только всего один старый комп. Я смогу сделать из него кластер, который обделает все 10-ядерные ксеноны?..

Flaming ★★ ()

Re: Высокопроизводительный кластер из старых компов

Хм, интересная статья, не знал что есть готовые дистрибутивы заточенные под это.

gh0stwizard ★★★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

А о том, как приготовить офигический ужин на двоих из 7 протухших сарделек там не пишут?

nikolayd ()

Re: Высокопроизводительный кластер из старых компьютеров

Пишут как сделать ужин, а протухшие или свежие сардельки туда резать - Вам решать :D

А по делу мне кажется что статья вполне ничего. Как ознакомительная по кластерным дистрам. Кстати, Beowulf-подобные решения вполне могут быть востребованы в тех же универах для обучения. У нас было такое дело что пришел новый класс, старый так тоже вполне себе ничего был. Там оптероны 4-процовые стояли. И их "утилизировали" подобным способом.

FlyingDutchman ()

Re: Высокопроизводительный кластер из старых компьютеров

> чОрт, у меня есть только всего один старый комп. Я смогу сделать из него кластер, который обделает все 10-ядерные ксеноны?..

и питцот галагенок

phasma ★☆ ()

Re: Высокопроизводительный кластер из старых компьютеров

всё, бегу докупать ещё 31 однопроцессорный комп, и я буду круче чем сосед со своим 2 ядерным ноутбуком!!!! вот я его натяну! ( а электричество.. это уже мелочи.. главное куда деть эти 32 компа?)

He3HauKa ()

Re: Высокопроизводительный кластер из старых компьютеров

только сегодня думал что надо почитать про кластеры линуксовые ^_^

но

>Если у вас есть 32 старых однопроцессорных компьютер

facepalm

saguro ()

Re: Высокопроизводительный кластер из старых компьютеров

Слово "старых" явно лишнее в названии статьи...

Turbo_Mascal ()

Re: Высокопроизводительный кластер из старых компьютеров

Действительно хорошая статья. Призадумался о том, чтобы реализовать описанную схему в университете.

Genuine ★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

О! У меня! У меня есть!!1111111 Вся кладовка в офисе ими завалена (на полном серьёзе, раньше юзались как ТК, потом перешли на ТК от HP) - выбросить жалко, применить некуда...

Интересно, если их все в кластер собрать - на них tomboy пойдёт?

Klizmoid ()

Re: Высокопроизводительный кластер из старых компьютеров

>Если у вас есть 32 старых однопроцессорных компьютера

Еще ж не пятница. Вот как надо писать новости, эх!

volh ★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

Самая идея совершенно бредовая, но очень типичная для нищебродского отечественного IT. Дело-то ведь не в том, чтобы сэкономить за счёт использования кластера - да Боже упаси, эксплуатация скоренько сожрёт денег больше, чем любой Гаргантюа с Пантагрюэлем вместе взятые, - НЕТ, дело в том, чтобы уложиться в текущий бюджет, чтобы, например, обучение начальника каким-нибудь основам CRM/BPM не пошло прахом из-за покупки нового дорогого мощного сервера. Народ в организациях просто боиться тратиться единовременно на крупные суммы. Лучше вот 10 раз по 30 рублей, чем один раз аж 100 капиталовыложить! И все прекрасно понимают, что кластер из хлама - это бесполезно и бесцельно, впустую потраченное время специалистов (которое тоже чего-то ПО ИДЕЕ должно бы стоить), это неоправданно высокие затраты электроэнергии, это на порядки более геморройные и менее диагностируемые проблемы с железом, это место в серверной в конце-концов (и оно тоже денег стоит), но ё-моё, вы ж посмотрите, господин гавнюк, то мы бы купили IBM P-серии (кошмарно дорогой, аж два ваших отпуска в Европе!), а так - мы такие умные, погладщьте нас по головке и увеличьте фонд на обучение, уйму денег вам сэкономим, старую серверную рухлядь соберём в ультрамодное словечко - HA-кластер (НА - это, правда, не высокодоступный значит, это просто наше русское классическое НА {ТУДА_ТО}) и будем круче яиц, сваренных в крутую на процессорах этих 32-х машинок. УРА! Все счастливы, углекислый газ выделяется, парниковый эффект усиливается, скоро все будем жить на Канарах или хотя бы просто на острове посреди Мирового Океана - все вместе, начальнека, все вместе, в тесноте, да не в обиде...

DRVTiny ★★★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

p.s. Ъ юзают http://xcpu.org/ !111 или вообще чистую plan9!111

как пел Евгений Гудзь, "серебряные зайцы водят хоровод". теперь я знаю, он про гленду ;)

volh ★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

Нифигасе высер... А если я четыре сервака на кореквадах в кластер хочу, чтоб аппсервер мог не 3000 а 10000 соединений одновременных обслуживать? А тестироваться/практиковаться на чём?

Klizmoid ()

Хорошая, годная статья.

Спасибо, Виктор Алексеевич. Хорошая, годная статья.

Camel ★★★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

Я бы переименовал в "Как собрать обогреватель".
В принципе лето заканчивается, скоро будет актуально.

d9d9 ★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

Виндовый ботнет и то выглядит перспективнее для всяких расчетов, чем старая рухлядь (еще и 32 шутки). И тише будет.

Valeg ★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

Чтобы аппсервер мог больше соединений обслуживать, прежде всего замените аппсервер на бэкенды, написанные на C и веб-фронтенды на Perl! Java-сервера приложений 80% времени своей работы тупо жрут процессорное время и память. Дай какой-нибудь веб-сфере сказать "Hello, world!", она и на это потратит столько же тактов, сколько в каком-нибудь 1970-ом году тртилось на расчёт полёта космической ракеты. У меня как у ASM-програмиста подобные вещи ничего, кроме отвращения, не вызывают... Ну и собственно очень редко узким местом является именно процессор, гораздо чаще это всё-таки ввод-вывод, ну а коли у вас все ноды кластера наверняка будут подключены к одной полке и делить одно на всех внешнее ethernet-подключение, то о каком трёхкратном росте производительности может идти речь?

DRVTiny ★★★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

>Чтобы аппсервер мог больше соединений обслуживать, прежде всего замените аппсервер на бэкенды, написанные на C и веб-фронтенды на Perl!

А потом выйдите на улицу на перекур и узнайте, что Землю сто лет назад захватили серо-зеленые жабокрылы.

volh ★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

32 * 300 Watt одной машины ~~ 9kWat хорошенький обогреватель, всё равно аля <Как из 32 студентов инженеров первоеурсников сделать 1 крутого админа>

Echo ()

Re: Высокопроизводительный кластер из старых компьютеров

Ясно, респект на самом деле, а что за продукт, если не секрет, на чём писан? Собственная разработка?

DRVTiny ★★★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

>что Землю сто лет назад захватили серо-зеленые жабокрылы
И Kill Em All? Неплохой шутер получится, а главное, что в итоге всё равно восторжествует справедливость, зелёные стандарты, энергосберегающие и те же шустрые программы на C во вставками на Асме. Ведь победить Жабокрыла очень легко - достаточно загнать его в ближайшую яму и забросать камнями, а потом сделать ему DDoS. А всё потому, что жабокрылы только плавают хорошо, но вообще ни разу не летают.

DRVTiny ★★★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

Продукт - изначально внутрикорпоративное ПО для риэлторской фирмы. Сейчас думаем его продвигать на внешний рынок. В виде законченного процесса управления риэлторским предприятием, плюс функции МЛС.

Писано на С++/Qt+WebKit (некоторые модули, в частности используемые для геренации отчётов и реализации мониторингов используют плюсы и удобство ВЕБ-представления), и PHP (серверная часть. Да-да, гнобите сколько хотите но ТАМ оно РЕАЛЬНО ОЧЕНЬ УДОБНО, и быстро).

Klizmoid ()

Re: Высокопроизводительный кластер из старых компьютеров

А если есть три двухпроцессорных и два однопроцессорных, пролетаю?

jackill ★★★★★ ()

Re: Высокопроизводительный кластер из старых компьютеров

А вообще, подскажите мне пожалуйста бытовое применение вычислительных мощностей, в частности кластера?

polatov ()

Re: Высокопроизводительный кластер из старых компьютеров

>У меня как у ASM-програмиста подобные вещи ничего, кроме отвращения, не вызывают...

мне одному вспомнился vsl? ;)

zHACKa ()

Re: Высокопроизводительный кластер из старых компьютеров

Статистика показывает, что "узкими местами" по производительности в современных бизнес-приложениях - является достаточно малое количество мест всей программной конструкции. - Потому что программа часто ждет ввода пользователя, или тот же Java-код (опирающийся на нативные модули на С++) - показывает идентичную, как и на С++, производительность.

Программный код, состоящий из сотен модулей-подсистем - может быть неэффективен из-за недостаточной квалификации программиста, или от того, например, что в процессе разработки изменялись бизнес-требования (обычное дело) и поэтому все недостаточно оптимизировано.

С выявлением узких мест - достаточно переписать 2-3 таких узких места, чтобы приложение заработало очень эффективно.

В отдельных случаях, если хочется, можно применить и ассемблерные вставки, и другие пути оптимизации производительности.

Часто прирост может дать - сравнительно небольшое увеличение ОЗУ (для того же Оракла), например. И цена этого ОЗУ - будет несопоставимо ниже, в 100 раз ниже, чем написать все на Ассемблере.

Типичный пример ассемблерного коня в вакууме. ;)

EugenyN ()

Re: Высокопроизводительный кластер из старых компьютеров

Кластера всегда будут кластерами, если нужна отказоустойчивость, доступность и не геморройность при восстановлении, то кластера правильный выбор. Так, что товарищи не в ту сторону смотрите... PS все нужные приложения, которые могут повлиять на работу конторы, раскидываю по кластерам, и уже неоднократно спасало ситуацию. Будем дальше изучать.....

grait ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.