LINUX.ORG.RU

Есть проект персонального суперкомпьютера (версия 002)

 , ,


0

2

И поскольку проект о суперкомпьютере то для него нужна быстрая шина обмена данными. Поскольку проект ориентирован на использование в суперкомпьютере обычных комплектующих которые продаются в обычном компьютерном магазине или в интернет то и быстрая шина должна быть обычным элементом для любой обычной материнской платы. А какой обычные элемент есть на любой материнской плате? Это порт SATA. Современные SATA3 разгоняются до 6 Gb в секунду. Но и SATA2 тоже имеет не хилую скорость. По этому появилась задача соединить ноды суперкомпьютера через SATA порты. К примеру есть базовый нод с 6 портами SATA. На один порт подключаем HDD для загрузки системы а на остальные порта подключаем ещё 5 нодов. При старте они загружаются по SATA с базового нода. А при дальнейшей работе эти ноды получают по SATA задачи на выполнение и по SATA возвращают результаты своей работы. Проект открыт для обсуждения и участия. Что нового? Пробелы перед точками в соответствии с правилами. Сообщения про «погоду» из темы удаляются. Спасибо всем кто прислал в обсуждении предыдущей версии темы интересные ссылки и информацию по теме.

Перемещено tazhate из development

Дайте, пожалуйста, ссылку на предыдущую версию темы.

Sorcerer ★★★★★ ()

К третьей версии надо будет проработать запятые.

anonymous ()
Ответ на: комментарий от Sorcerer

Дайте, пожалуйста, ссылку на предыдущую версию темы.

История болезни относится к врачебной тайне.

cipher ★★★★★ ()

И каким же образом вы соедините два SATA хоста? :) Это как USB, есть девайс, есть host. Заставить, скажем, AHCI (H там значит Host) быть девайсом — я такого не слышал.

SATA Device Controller'ы вы в стандартных материнских платах вряд ли найдете, только в embedded девайсах (и то, небось свой в FPGA/ASIC запиливать придется).

Проще и дешевле будет взять 10Gb Ethernet.

hexdump01010101 ()

А какой обычные элемент есть на любой материнской плате? Это порт SATA. Современные SATA3 разгоняются до 6 Gb в секунду

Ему в предыдущей теме намекнули на бредовость сей идеи и сказали смотреть в сторону Ethernet, однако пациент упорствует. Сдаётся мне, это один из тех больных, что регулярно постят в Devel всякую херню о разработке новых ОС, комьютеров и т.д.

Kindly_Cat ()
Ответ на: комментарий от Kindly_Cat

Это еще цветочки! Ему же потом понадобится операционку для своего суперкомпьютера писать!

Eddy_Em ☆☆☆☆☆ ()

Супермощь разобьется об HDD

anonymous ()

Более перспективной в суперкомпьютенге выглядит шина PCIe 4.0. Шина PCIe 4.0 x32 имеет скорость обмена 1024Гб/сек. Кроме того вы не занимаете дефицытные SATA интерфейсы и сохраняете возможность собрать RAID 80lvl. Из имеющихся на плате 4 слотов можно собрать суперкомпьютер с топологией гиперкуб, что гораздо выше уровнем над обычной топологией 3Д куб.

anonymous ()

осиль уже infiniband. Контроллеры стоят не так дорого. За пару миллионов можно собрать чочо.

anonymous ()
Ответ на: комментарий от madgnu

Перепостить ссылки большого ума не нужно. Вы имеете опыт программирования драйверов под Линукс?

homecluster ()
Ответ на: комментарий от anonymous

Хотя точки стоят в соответствии с правилами по смыслу полный бред. Советы стоимостью выше 1000 рублей оставьте для себя.

homecluster ()
Ответ на: комментарий от Kindly_Cat

Это раздел форума о программировании. Вы имеете опыт программирования драйверов под линукс?

homecluster ()
Ответ на: комментарий от Eddy_Em

На мой взгляд достаточно кое что дописать в существующие дистрибутивы чтобы получить работающий вариант ОС для персонального суперкомпьютера.

homecluster ()
Ответ на: комментарий от homecluster

Для начала тебе придется переписать прошивку контроллера SATA на материнке, потом биос/efi, потом весь ata-стек в ядре linux, а потом уже и конкретный драйвер контроллера.

Kosyak ★★★★ ()
Ответ на: комментарий от homecluster

Запостить хрень, как мы видим из первого поста, тоже.

Ссылку я привел, потому что это готовое, маложрущее и довольно компактное решение с кучей ядер общего назначения.

Пляски с SATA в качестве интерконнекта между нодами обречены на fail независимо от опыта написания драйверов, достаточно включить мозг.

madgnu ★★★★★ ()
Ответ на: комментарий от Kosyak

Начинаем копать. Где на материнке найти микруху в прошивкой контроллера SATA если контроллер в чипсете?

homecluster ()
Ответ на: комментарий от madgnu

Если включить то что вы предложили то найдётся вариант как выключить fall.

homecluster ()

Пробелы перед точками в соответствии с правилами.

Молодец, теперь кури запятые.
//Это ж п-ц какой-то, так писать.

anon1984 ()
Ответ на: комментарий от homecluster

Планировщик задач для такой распределенной системы и прочие необходимые компоненты.

Eddy_Em ☆☆☆☆☆ ()

Предложение

Параллельно с созданием суперкомпьютера нужна написать ОС. Предлагаю написать ОС оптимизированную для данного супер компьютера. Какой язык выбрать, как считайте? Или может написать свой? Пока остановился на Haskell. Ведь у него статическая типизация !!!

NewHackersIgnat ()
Ответ на: комментарий от anonymous

Неистово плюсую по всем пунктам. Более того, есть такая железяка http://www.kiam.ru/MVS/resourses/k100.html

Я не знаю как там ТС разбирается в железе и дровах, но по жизни он какое то странное впечатление производит - ему еще в той теме вроде объяснили что к чему...

AIv ★★★★★ ()
Ответ на: комментарий от anon1984

Просто маниакальная щепетильность по поводу точек и запятых. Это же просто текст на форуме. Это не листинг программы. Человеку не нужно опускаться до уровня компилятора.

homecluster ()
Ответ на: комментарий от Eddy_Em

Тема которая поднята очень большая и в ней найдётся место для каждого кто сочтёт возможным для себя принять в ней участие. Действительно есть вопросы. Но если есть вопросы то должны быть и ответы. И каждый может предложить свой ответ. По этому может пора от общего перейти к обсуждению частностей?

homecluster ()
Ответ на: Предложение от NewHackersIgnat

Ни в коем случае не хацкель! У него есть определенные проблемы оказывается, Вы хотите погубить весь проэкт? Весь софт для нового суперкомпьютера должен писаться на монадах маслоеда (он в соседней ветке как раз ЯП разрабатывает).

Ну и для полноту картины, я предлагаю оснастить это чудо инженерной мысли 3D лазерным монитором (из лазерных указок собирается). Ну или на худой конец светодиодным кубом в качестве монитора...

И в Сколково, в Сколково!

ЗЫ у меня такое ощущение, что кто то из живущих рядом с больницей имени Алексеева запустил халявный вай-фай.

AIv ★★★★★ ()
Ответ на: комментарий от homecluster

Хто ясно мыслит - ясно излагает, правильно расставляя запятые в т.ч.;-)

AIv ★★★★★ ()
Ответ на: Предложение от NewHackersIgnat

Всю ОС писать вряд ли потребуется но написать модули для ядра было бы не плохо. Ведь имеющиеся модули тоже появились не сразу и их тоже кто то создал. По этому мы все здесь программисты и можем обсудить не только общие вопросы но и вопросы реального кодинга.

homecluster ()
Ответ на: комментарий от AIv

Запятые и точки придумали те кто больше ничего придумать не могут.

homecluster ()
Ответ на: комментарий от homecluster

Зато Ваша креатиффность не имеет пределов, ну кроме разве что пропускной способности SATA. Вы насчет К100 и слов про PCIe че нить сказать можете продуктивное, или так и будете тут веселить сообщество пока модератор не придет?

AIv ★★★★★ ()
Ответ на: комментарий от homecluster

Я себе этот вопрос постоянно задаю. Но как то так сложилось, что для наших больших задач считаемых на персоналках крайне важна пропускная способность дисковой подсистемы (когда задача в память не влезает). Поэтому тратить sata на обмен мне представляется кощунством, при том что есть PCIe, и на его основе есть работающие решения по связи между нодами.

Вы так и не ответили (НИ РАЗУ) на вопрос о том, для каких задач Вы планируете свою чудо-вундервафлю. Потому что я скажем хочу домой кластер, но связь между нодами через sata мне нафик не нужна. Поинтересуйтесь сначала мнением потенциальных пользователей Вашего решения, а потом уже изобретайте, и не надо камлать тут на эффективность, продуктивность и прочие «сти». Вы хоть знаете насколько эффективно используются современные кластеры?

AIv ★★★★★ ()

Покажите проект. А то, к тому времени, как я научусь писать драйверы, версия треда будет >500, а проекта так никто и не увидит

minakov ★★★★★ ()
Ответ на: комментарий от minakov

Это выглядит примерно вот так: https://sites.google.com/site/kiam81k/science/hardware (сверху-слева).

Только поскольку эту штуку делали для счета а не для загадочных задач ТС-а, там обычная сеть, а sata задействована под рейд.

AIv ★★★★★ ()
Последнее исправление: AIv (всего исправлений: 1)
Ответ на: комментарий от AIv

Ну кластер - это понятно. Проект, точнее бизнес-план требовался, а то непонятно, чем sata лучше той же сети(при условии, что цена строго ограничена и достаточна лишь для пары-тройки нод б/у). Точнее еще - для чего на велосипеде ядерный реактор из консервных банок?

minakov ★★★★★ ()
Ответ на: комментарий от minakov

проекта и так никто никогда не увидит. ТСу ещё в прошлой теме расставили все точки над i, но он не унимается.

beastie ★★★★★ ()
Ответ на: комментарий от AIv

Есть интернет-аукцион молоток и в разделе компьютеры можете найти персональный суперкомпьютер. Кстати в нём связь между нодами через гигабитные сетевые порты которые есть на материнских платах. А дополнительно к ним можно установить сетевые карты в PCI разъёмы. Для меня это уже пройденный вариант. По этому мне интересно попробовать соединить ноды через SATA. Не факт что получится. Но SATA портов на плате больше чем сетевых портов. И габариты тоже имеют значение. С SATA портами габариты минимальные. По этому имеет смысл попробовать.

homecluster ()
Ответ на: комментарий от minakov

Шоб блестело и свистело и нейтронами пулялось.

О каком бизнес-плане Вы говорите? Даже если эту штуку сделать, и даже если она будет работать (допустим, я могу представить задачи не требующие дисков а требующие большого числа обычных нод, не GPU), то людей которые такие задачи решают и которые хотят такую штуку и у которых есть деньги на такую штуку крайне мало. Вообще кластер на обычных комплектующих это довольно специфическая хреновина...

Но, босюь ТС сам не понимает зачем это надо. Кроме поклонения мифической продуктивности он пока ничего не продемонстрировал...

AIv ★★★★★ ()
Ответ на: комментарий от minakov

«Почему угол не действует?» - спросил агент. «Может мы задаём не правильные вопросы?» - спросил второй агент. (из саундтрека фильма «Матрица») . Вы задаёте не правильные вопросы. Естественно на неправильные вопросы вы получаете не правильные ответы. Но такие ответы вас вряд ли устроят. Вывод-задавайте правильные вопросы.

homecluster ()
Ответ на: комментарий от homecluster

Есть интернет-аукцион молоток и в разделе компьютеры можете найти персональный суперкомпьютер.

Если ты про это, то у меня для тебя плохой диагноз.

anonymous ()
Ответ на: комментарий от homecluster

Вы, сударь, мазохист. Вам пол-лора указывает на явные прорехи в Вашей идее, но Вы с завидным постоянтсвом продолжаете талдычить одно и тоже. Что Вам надо? Что Вы ещё хотите узнать? Вам уже вторую тему пытаются обьяснить несостоятельность Вашей идеи. Ну что ж, собирайте, пишите драйверы (за Вас их Вам никто писать не будет), перепрошивайте и перепаивайте контороллеры, ни кто Вас не держит. А как соберёте (если соберёте), приходите с бенчмарками и примерами конкретных задач, которые Вы решили на Вашем «домашнем кластере» и мы вместе посмеёмся.

beastie ★★★★★ ()
Ответ на: комментарий от homecluster

Понимаете, обычно что то делают для каких то задач. Скажем велосипед - что бы ездить, лопату - что бы копать. Если делают новый велосипед, или новую лопату, с какой то оригинальной конструкцией, то обычно говорят для чего их делают - скажем велосипед для езды по ледникам, или лопата для копания редиски. Никто не делает трехколесный велосипед с графитовой рамой просто потому что можно сделать трехколесный велосипед графитовой рамой. Никто не делает лопату в форме ленты мебиуса только потому, что можно сделать лопату в форме ленты мебиуса. Сделать только потому что можно сделать - так поступают какие нить люди от искусства, далекие от мира, и ни о каком бизнес плане, проекте, экономии средств речь не идет, только о красоте, которая воспринимается весьма субъективно.

У предлагаемого Вами решения есть как плюсы, так минусы, причем по сравнению с аналогичными решениями минусов в среднем больше, если рассуждать о задачах вообще. Я допускаю, что есть задачи, где Ваше решение оптимально по соотношению цена/качество, но Вы упорно не хотите эти задачи перечислить. И пока Вы этого не сделаете - Ваше решение может представлять лишь абстрактный интерес с точки зрения абстрактного искусства, и не более того.

AIv ★★★★★ ()

А ОС КакОС там будет работать? Очень надо.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.