Посоветуйте железо для подкроватного сервера ИИ

для подкроватного

Raspberry Pi 4 https://vc.ru/dev/1764209-kak-zapustit-sobstvennuyu-neiroset-na-raspberry-pi-... или Raspberry Pi Zero https://3dnews.ru/1118461/sovremennuyu-iimodel-zapustili-na-kroshechnom-kompy...

5090 лучше, там 32 Гб памяти. Поставишь 6 шт - норм будет.

Зачем 6? Дораха жы

Это смотря какого размера нейронки гонять. Вариантов мало же, можно вписать всё что есть с >=24 Гб на борту в табличку и посчитать удельную стоимость.

посмотрел цены на аренду, есть конечно и плюсы у аренды

но не потяну

Сервер ИИ завучит как Сервер с Операционной системой, почти все современные LLM сносно работают и без GPU

Ryzen AI Max+ 395 же

Сборка компьютера с 1 Tb RAM

Будешь DeepSeek R1 локально гонять.

Смотря какой ИИ. Я картиночки генерю с 16Гб ОЗУ и 8Гб видеокартой. Комп лично мне обошёлся в 7 тыс.р.

Озвучь, какой тип ИИ ты хочешь, а них у всех разные системные требования. Возможно тебе придётся заказывать кастомную кровать, под которую влезет серверная стойка.

И апгрейдить кондиционер в спальне. Тем более, что лето на носу.

апгрейдить кондиционер

Возможно придется еще заказать дополнительной блок {А,Г,Т}ЭС для кондиционера

HP Z2 Mini G1a Или что то на AMD AI 395+ главное чтобы память была LPDDR5x-8533

Карточки уже нет смысла брать, лучше потратить 2.5к$ на вот такого рода вещь

AMD AI 395+

типа можно сделать много памяти и мощная видюха, спасибо

5090 лучше, там 32 Гб памяти. Поставишь 6 шт - норм будет.

Лучше H200

Если вы хотите локального чат-бота, то может хватить и «игрового» компьютера, причем не самого нового. Небольшую модель gpt-j для одного пользователя можно запустить даже на 1050ti.

Лучше всего арендовать LLM в облаке.

Братан, тебе надо более четко задачу сформулировать, может тебе хватит поставить ollama локально и выбрать модельку. А может ты хочешь на миллиардах параметров генерить свою поделку

96 гигов так ещё когда ИИ ненужон можно и поиграть и что то поделать, там 16 ядер 32 потока

У 395+ есть проблема в виде напаянной памяти, выливающаяся в необходимость покупать сразу с 128 на борту.

Это не проблема, это следствие высокой скорости памяти и её типа за 2.5к покупается на 128 гигов оперы, а содимм плашки это шлак

Это не проблема, это следствие высокой скорости памяти и её типа за 2.5к покупается на 128 гигов оперы, а содимм плашки это шлак

Все равно какая-нибудь старая видяшка на 24 гига будет сильно интереснее в этом отношении. Смысла за этим гоняться нет. Оно интересно только непосредственно самим 128, но это не всем нужно.

Ну и для высокой скорости есть LPCAMM2 модули. Так чтто херовое оправдание для напаивания памяти.

Я не на столько богат чтобы покупать старую видяшку на 24 гига)))

А бокс от hp закинул в рюкзак с монитором 16 дюймовым и поехал куда глаза глядят) Захотел запитал от автомобиля, всего 150 ватт в пике а сколько у той видюхи и сколько ещё нужно иметь кроме видюхи?

Воооот

При таком раскладе проще ноут на том же 395+ брать. :) Ибо юзкейс ну совершенно другой.

А так-то сетап с видяшкой тоже вполне влезает в рюкзак, ибо боксы с окулинком никто не отменял.

К боксу ещё не забудь блок питания ватт эдак на 700)))))))))

А ноут на 396 будет в рамках максимум 70ватт задушенный камушек, в любом случае на 70 ваттах он будет адски греться и будет в будущем отвал и деградация как текстолита так и самого кристала

Так что бокс типа hp за свои деньги лучшее решение что можно найти

Так что бокс типа hp за свои деньги лучшее решение что можно найти

Неудобное решение в описанном тобой юзкейсе.

покажи где я описал какой то юзкейс)))))

А бокс от hp закинул в рюкзак с монитором 16 дюймовым и поехал куда глаза глядят) Захотел запитал от автомобиля

Вот тут ты его описал.

Че за железо?

а какое ПО будете ставить?

Че за железо?

Intel Atom J4005, 16Гб ОЗУ DDR4, мать Asrock J4005B-ITX, Nvidia P104-100 8Гб, SSD Kingston 256 Гб

Хорошая кровать получится, с подогревом. Но шумная.

Б/у 3090 24гб.

Ну реально 16гб бессмысленная трата денег, модели 22/24b впритык, 32b никак

подкроватный ИИ? А оно умеет ночью вылезать?

При таком раскладе проще ноут на том же 395+ брать

И что на нем вертеть, llama 8b? Потратить 2000+ долларов, чтобы задыхаться уже на моделях весом в 16гб со скоростью 7-10 токенов в секунду?

А оно как ни крути примерно столько потратить придется. Да и чего оно задыхаться будет? 3090 не задыхается с 24гб, а эта шняга с уровнем ноутбучной 4060 и 128 - вдруг задохнется?

Проще за 190к рублей купить комп из Китая с 395 процом и 128гб lpddr5x

936.2 Гб/с у 3090, 256 Гб/с память у ai 395. При этом пиковая утилизация у выделенной больше.

Берёшь модель весом в 14гб, засовываешь в 3090, 936 / 14 * 70% =46 ожтдаемых токенов в секунду, засовываешь в АМД АИ 256 / 14* 50% = 9 токенов в секунду.

И ты потратил 200 тыс ради этого тормоза вместо 65к на б/у 3090.

1 Это теория это 2 у 3090 24 гига памяти

Посмотри реальные тесты

Что мне смотреть? Я пользуюсь и 3090 и 8845hs, поднять всего лишь шину в два-два с половиной раза, это совсем мусорно за оверпрайс. Не будешь ты на AI395 пользоваться моделями выше 14b, если не эстонский тормоз. Куда лучше бесплатным Gemini пользоваться или немного платить за api сверх дозы

Недаром за 10к маки ультра продают для LLM

Ну Лан купи тогда за 2.5к долларов nvidia dgx spark

Мои потребности удовлетворяла специализированная модель для кода и работала она на Xe 96 eu

А уж 395 покрывать будет если всё таки куплю 500%

Я хз чего вы упёрлись как в маки так в видеокарты…

Может ты ещё и о диффузионных моделях для кода не слышал?)

А они оооочень быстрые если что

Если уж ты сравниваешь свой 8845 зажатый в пакет в 45 ватт

То наверное надо учесть что 395 это 120 ватт ;)

Ещё напоминаю что 8845 не имеет бекенда rocm для ml а так же не используется npu от слова совсем!

В новых процах и дравишках данный казус пофиксил и теперь одна часть использует npu другая жирная часть сети использует gpu

Это я в контексте диффузионных моделей там же внутри всё очень интересно ;)

Читай пожалуйста о LLada 2 и вот в интике пощупай ещё https://chat.inceptionlabs.ai

И пожалуйста включи логику и концентрацию чтобы ты мог анализировать ситуацию и по теплопакету и что разные поколения и что разные драйвера и ещё кучу переменных, а не пытаться втулить свои 3090 ссаные)))

Эти ватты при узкой памяти будут влиять лишь на пиковую утилизацию памяти.

Для кода (генерации, отладки) локалки с жидкой длиной контекста вообще так себе. Если google ai студио начать пользоваться с длинной в миллион, то домашние LLMки лишь смех вызывают

Зачем мне напоминать то, чего нет? Прекрасно и через vulkan работает и через подмену id rocm на gtx1103. NPU вообще не нужен, причём производительность практически упирается в потолок памяти.

Ещё раз - я указанными выше устройствами пользуюсь, когда ты просто онанируешь в теории.

8845 в январе скинул уже ахахахахха

Читай неуч

https://medium.com/the-low-end-disruptor/what-is-diffusion-llm-and-why-it-matters-749033d1efb1

Спасибо, поржал над глупышкой, что в гугле увидит необычное словечко и тает в ожидании чуда, и течёт как девятиклассница во время овуляции ))

Да вот в чем дело, я уже попробовал эти модельки. Изучил работы и тех кто работает над этим. Это к слову китайцы, которые попустят мир llm как недавно дипсик попустил openai и прочих клаудь

Касательно железа, то увы и ах я жду отправок dgx потому что там есть кластеризация и сетевка на 400гбс

NVIDIA RTX PRO 6000 Blackwell Server Edition

CPU: 752 NVIDIA Blackwell Tensor Core; Precisions: FP64, TF32, BF16, FP16, FP8, INT8, FP6, FP4
RAM: 96GB GDDR7 ECC; 512-bit; 1.6TB/s
4x DisplayPort 2.1
PCI Express 5.0 x16
Power Connector	1x PCIe CEM5 16-pin
TDP: 600W; Thermal Solution: Passive

Для обучения ИИ важны тензорные ядра и объем памяти GPU.

DLSS4 = 3 * DLSS3

Теперь надо подобрать мать и проц, чтобы тянули несколько таких видях и оперативы добавить быстрой, чтобы данные модели не свопились на диске, а с RAM в VRAM передавалось без задержки…

Предлагается готовая оптимизированная сборка: https://www.nvidia.com/en-eu/data-center/gb300-nvl72/