Супер-компьютер для ML

Насколько я знаю у суперЭВМ обычно не видеокарты, а множество ЦП.

Если бюджет не ограничен, то я бы делал на «Эльбрусах», так как больше нигде такую крутую технику не увидеть.

Кстати, перемножение матриц для него самое то должно быть.

На бессмысленный вопрос дан ещё более бессмысленный ответ. Вы не ознакомились с темой ML.

«предположительно», «кажется». Прекрасное ТЗ. Ну «суперкомпьютер» это не тазик из ДНС набитый видюхами. Или «неограниченный бюджет» это примерно 5 нулей в рублях?

Ну а если чуть серьёзнее - вы там сначала спросите поточнее про «предположительно» и про «кажется». Может ребятам cuda совсем не нужна, а может они хотят терабайты сырых данных между нодами гонять?

братишка, хочу по кайфу видеокарта купить, эмэль или питон, что лучше?

Может ребятам cuda совсем не нужна

Сейчас считаю на cuda. Спросить больше не у кого, кроме как по форумам. Если бы я знал, что значит гонять данные между нодами, то может ответил бы, нужно ли это.

Была задача - посчитать. Что именно, сказать не могу. Сначала сделал предварительный вариант для cpu. Там считало, но очень печальненько. Купили RTX 4090, стало считаться повеселей. Понаблюдал я это и пооптимизировал на что соображалки хватило. В результате теперь руководство сказало, что хоть десяток таких 4090 купим. Но я их опечалил, что десяток в один компьютер не поставить.

И вот теперь размышляю, какую конфигурацию все же можно собрать.

Видел еще упоминание, что на одну обычную материнку вообще больше двух не поставить.

десяток в один компьютер не поставить.

Вот поэтому берут не один компьютер, а несколько. Соединяют их через какой-нибудь адекватный задаче быстрый транспорт и пишут софт, который параллелится.

МемориБасВидх (Ширина шины памяти, в моем мире) влияет на скорость чтения-записи в эту самую память. Объем памяти влияет на то, сколько данных в эту самую память можно положить, и соответственно на размер Вашей модели. тут, как правило, работает очень простое правило: больше - лучше, но Вам, как автору кода, очевидно виднее, сколько памяти нужно сейчас, и куда оно в ближайшем будущем может дорасти по требованиям.

Нужно ли вам много-много маленьких медленных компьют-юнитов или для ваших задач лучше подойдут быстрые, но в меньшем количестве - опять же зависит от того насколько успешно ваша задача параллелится.

десяток в один компьютер не поставить

Ну 10х4090 действительно воткнуть проблематично, а вот H100 - вполне!
https://www.supermicro.com/en/products/system/GPU/5U/SYS-521GE-TNRT
Правда, конечно надо определиться, на чём выгоднее считать. Если требования к памяти не велики, 4090 может и выгоднее оказаться.

1. Вначале определись где это все будет стоять и как охлаждаться. Генерация тепла там будет весьма значительна. А значит еще и шумно. Причем охлад это важно, если не будет хорошего отвода тепла, то ты из мощных видях ничего не выжмешь.

2. ML это не только CUDA, но и много чего на проце гонять, соотв. нужен еще хороший проц и куча оперативы.

3. Данные должны быстро подгружаться, соотв. нужны хорошие диски.

4. Сырые данны и базы нужно где-то хранить, соотв. нужно еще место под бекапы, на HDD, а они чувствительны к температуре, соотв. их нужно вынести подальше от расчетных узлов.

В конечном счете видяхи тебе будут стоить меньше половины всей системы.

PS: Строй систему от проца EPYC на 128+ потоков. У него 128 pci-e линий – можно много видях подключить, 8-канальная память и т.д.

хорошо расписал, а если несколько таких «нод», то ещё сеть быстрая нужна будет

вот, кстати, для ТСа толковый гайд как отправная точка, чтобы не будоражить публику всякими «суперкомпутерами за неограниченный бюджет»
https://timdettmers.com/2023/01/30/which-gpu-for-deep-learning/

A100 на 80Гб лучше

лучше dgx a100 если бюджет не ограничен)

А вообще почитай на каких железках тот же стейбл дифужн тренили https://huggingface.co/CompVis/stable-diffusion-v1-1

Спойлер

32 x 8 x A100 GPUs

EPYC

Пока нет Genoa-X, почему бы на Xeon Max с HBM не поглядеть?

ИМХО, лучше выбирать из тех моделей, которые уже пару лет на рынке, чтобы не влететь в конструкторский брак.

Тебе курить сюда - https://www.nvidia.com/ru-ru/data-center/dgx-systems/

Является ли это оптимальным вариантом, и не будет ли каких либо затыков с этим. Или может это вообще не так делается?

Можно попробовать использовать «гугловый» ускоритель.

Насколько я понимаю, для работы нейронных сетей требуются множественные умножения со сложениями целых чисел в единицу времени. Про «Эльбрусы» тут верно уже сказали, что их внутреннее устройство задумано под эти множественные умножения и сложения целых чисел. В связке с «гугловыми» ускорителями может получиться что-то новенькое.

4 A6000 бери и будет норм. Ну и платформу куда их все 4 можно воткнуть

Надо сначала понять сколько видеопамяти, оперативной памяти и виртуальной памяти (вручную выделенной в файл memory map) требуется. От этого уже плясать нужны ли RDMA, InfiniBand, nvidia-peermem.

Насколько я знаю у суперЭВМ обычно не видеокарты, а множество ЦП.

Уже не так, к куче cpu добавляется куча gpu. Не все задачи можно возложить на gpu.

мамкин сборщик собирает пе-ка для скайнета

Вот это хороший совет, и главное понятно как справиться с компьютером:

https://www.youtube.com/watch?v=caB5EPFV04A