Что взять для нейронок?!

NvLink на 4 Tesla V100 32Gb
проц/материнка/ддр не имеют значения(на сдачу)

NVlink для ИИ почти ничего не дает, память не становится общей. Плюс форматов не хватает и тензорных ядер. Две 3090 дадут сильно большую производительность инференса притом ещё и дешевле. Для MoE даже с большим контекстом не нужно 100гигов vram

NVlink для ИИ почти ничего не дает, память не становится общей

эээ а зачем тогда существует NVlink?

Две 3090 дадут сильно большую производительность

Какие решения стоит рассмотреть, хочу крутить LLM в домашних условиях очень активно, бюджет 300к

NVlink чуть быстрее позволяет гонять данные между видеокартами. У каждой карты сохраняется свой контроллер и своё адресное пространство и не появляется общей памяти, это все равно перетаскивание между картами данных значительно медленнее, чем в общем адресном пространстве. Плюс софт должен знать, как работать с этим и софт должен распределять слои по разным видеокартам сам. Короче, с v100 получается ситуация, когда у нас быстрый обмен данными с медленными картами, а если мы берём две 3090, то у нас быстрые карты с медленным обменом, но все равно для иишек 3090 получается предпочтительнее.

Upd: кстати у 3090 тоже есть NVlink, тогда у v100 заканчиваются преимущества

Вот мы тут и пытаемся выяснить))

NVlink чуть быстрее

«чуть»… по сравнению с чем?

софт должен знать, как работать с этим и софт должен распределять слои по разным видеокартам сам

точно?

все равно для иишек 3090 получается предпочтительнее

ну, как знаете

у 3090 тоже есть NVlink, тогда у v100 заканчиваются преимущества

что в любом случае не отменяет того факта, что мать/проц/ддр тут не сыграют значительной роли
зароляет именно скорость и объём видеопамяти

Но если вам принципиально считать нейронки на CPU, тогда надо выбирать процессор с наиболее большим количеством каналов DDR5 памяти и в каждый канал извольте сунуть плашку

Для MoE желательно иметь 64-128 гб быстрой рамы. Там активные параметры и kvcache лежат в vram. Остальное в ram. Сейчас прям большие модели мало кто развивает 70b выглядят более отсталыми чем 35b/27b варианты. Может я конечно не прав, но ощущение такое. А для таких моделей 32-48гб vram должно быть достаточно.

Ну тогда intel 270k plus и память побыстрее З.ы. память двумя модулями

Остальное в ram

если остальное тоже будет во vram, хуже не станет

Сейчас

А потом что будет? К тому же нейронки есть не только для генерации тестов. А если вы свою нейронку захотите обучить или дообучить чужую?

Подписку возьми за $20, например у того же openai. Я гонял на 5090 huihui_ai/Qwen3.6-abliterated:35b-Claude-4.6-q4_K на 24гб, весьма бодро, но все равно намного медленнее и тупее облака если брать 5.5. Хотя основное конечно у меня 5.3 codex medium, так как 5.5 оверкилл в большинстве случаев. Да еще как не странно, количество памяти не решает и лучше брать модель поменьше доступной памяти.

Установка Ollama + Open WebUI на Ubuntu 26.04 для локальных чатов (комментарий)

Как эксперимент можешь взять конечно что-то такое

Можно на vast.ai (не знаю как у них с санкциями, но там есть оплата криптой, соответственно, проблем не должно быть) арендовать VM с разными видюхами, погонять разный софт и оценить самому как на твоих use-case с производительностью. А потом принять взвешенное решение. Если что там поминутная тарификация, так что можно гонять виртуалки прям чуть-чуть. Ты уложишься в несколько баксов за много часов тестов, ерунда на фоне стоимости видюхи, зато не ошибёшься.

У всех гоняющих нейронки разные сценарии использования и разные ожидания от выхлопа, так что чужой опыт нерепрезентативен.

Вот да, только хотел посоветовать попробовать гонять на процессоре на текущем железе (чтобы понять, то, не то, и надо ли вообще), как вы меня опередили.