Идеальный вариант для подкроватной ИИ фермы

или нет?

У ИИ спрашивал?

нет, решил сначала тут спросить

Непонятно зачем в Великой Империи этот древний мусор

9900K

Этож проц 2018 года (7 лет)! 14nm и там нет VNNI расширений.

RTX 4060 or RTX A2000

Для ИИ нужно много VRAM, там стыдливо умолчали об её объеме.

Для ИИ нужно много VRAM, там стыдливо умолчали об её объеме.

8 и 12 гигов соответственно, в выборе конфигурации пишут

Судя по fanless design, этот 9900k ещё и задушен по tdp

Fanless cooling by Natural Airflow Technology

Лежишь, значит, на кровати, пердишь и подкроватную ферму охлаждаешь.

Чем твой текущий десктопный компьютер не подходит для этой задачи?

у меня ноут без видюхи

Nucbox K8 Plus + Minisforum DEG1 + RTX3090 ждут тебя, если не хочется тратить полляма.

Так он не может, у него фермы нет.

или нет?

Нет. Эта коробка устарела на 3-4 года.

Идеальный домашний инференс это AMD Ryzen 9 3900X + Nvidia RTX A5000.

8 и 12 гигов соответственно, в выборе конфигурации пишут

С чего вдруг? RTX A2000 имеет 6Gb, это обрезок.

8-core CPU
Up to 128 GB RAM

Хлам. Разве что для самых простецких и как следствие, бесполезных, моделей...

$ 3,290.00
Intel Core i7-9700E
NVIDIA RTX 4060 8 GB
32 GB DDR4 RAM
1 TB

ОМГ, да еще и за конский оверпрайс!

Любая двуголовая Зион-сборка на 2011 раскатает этого пенсионера впятеро. А за половину этого прайса, можно наваять конфигурацию, которая сможет ворочать тот же deepseek R1 671b.

Для ИИ нужно много VRAM, там стыдливо умолчали об её объеме.

Причём во всех доступных gpu этого vram катастрофически мало. Т.е., такие для ИИ по оределению не подходят.

Оно не идеально т.к. запчастей в магазинах нет

Я ставлю корпусу 4+/5 за идею дизайна охлаждать CPU и GPU прямо на стенки алюминиевого корпуса.

Для ИИ надо сегодня 1Тб RAM DDR-5, а не 128 GB DDR4-2666. И это для дома дорого, за лям сборка улетает..

Ну и ускорители, видяхи с большим VRAM или спец ускорители.

Только вот у меня никаких идей как это привезти в Великую Империю.

В FreeCAD нарисовать корпус под стандартные мамки, проци и видяхи и потом выфрезить с авиационного алюминия.

Радиаторы по бокам должны рассеивать TDP от CPU и GPU. Верхняя крышка корпуса решетка, и с низу по периметру решетка для создания тяги внутри корпуса, чтобы охлаждать блок питания, память, диски, саму мать.

как это привезти в Великую Империю

Если эта империя великая, то должна иметь своё

Вот поэтому аниноимусов нужно выкорчевывать. Слишком сильный тупняк от них.

300 Вт рассеиваемой мощности — это не кровать, это уже лежанка получается. Электропростынь дешевле выйдет. Ну а раз ноги в тепле, то за ИИ и сам сможешь.

Форкаешь ЛОР, выкорчёвываешь анонимусов. Будешь савсем «царь во дворца»)))))))

Я вот думаю, совсем бы ркн интернет бы похерил. Толку ноль, да и с тебя тоже(((

Ну вы же написал лютый бред. Зачем сети 1Тб RAM DDR-5? Вы же буквально - идиот, прячущийся за анонимусов. И таких среди анонимусов все больше с каждый днем, к сожалению.

И таких среди анонимусов все больше с каждый днем, к сожалению.

Вроде как обычно. Да и среди регистрантов не меньше, наверное. Некоторых из них можно опознать по темам с выключенными анонимными комментариями 😅

Nvidia DGX workstation = 128gb vram = 2.5k$

Для ИИ надо сегодня 1Тб RAM DDR-5, а не 128 GB DDR4-2666. И это для дома дорого, за лям сборка улетает..

Ну вы же написал лютый бред. Зачем сети 1Тб RAM DDR-5? Вы же буквально - идиот, прячущийся за анонимусов.

Бред несёшь ты. Какой сети? Речь идёт о обучении больших языковых моделей ИИ, а не о работе нейросетки.

Добавлю ещё требование к минимальному размеру VRAM на ускорителе в 48Gb. И таких карт стоит засунуть сколько вытянет проц и пропускная шина на мамке.

Количество VRAM критично для качества ИИ. Технологии LoRA и QLoRA снижают качество.

Я не спец в ИИ но о минимуме в 48 Gb VRAM слышал. Некоторое говорят о минимуме 196Gb VRAM - для работы без любого сжатия и достижения максимальной точности.

Говорят видяхи объединяют в одну 4GPU 48Gb = 1GPU 196Gb для получения ИИ с максимальной точностью.

Nvidia DGX workstation = 128gb vram

Это другое. ;)

Размер VRAM критичен для точности ИИ. Они в этой модели кажется идут путем как Apple, объединяя системную память и VRAM. 128 это системная память с которой GPU берет столько сколько захочет. Данное решение позволяет легко преодолевать минимум 48GB для обучения но не будет самим быстрым или самостоятельным.

Вообще надо бы табличку для 2025.04 составить какие минимальные требования RAM и VRAM для обучения разных больших языковых моделей с разными параметрами.

https://ibb.co/SX8rRw0q

Можно просто купить несколько мак мини, по соотношению цена-качество, для прогона llm-ок эти какахи самое то.

Чувак тестирует deepseek-r1-671b на древнем ксеоне

https://digitalspaceport.com/500-deepseek-r1-671b-local-ai-server/

Больше токена в секунду инференс получается на ЦПУ. Что совсем неплохо. Что говорит о том, что БЯМ для инференса gpu нафик не нужен. Нужно много памяти, желательно побыстрее.

Оно отлично скейлится на скорости в 400гбс по их прекрасному сетевому разъёму коих 2шт на плате

За этот вагон денег я куплю 4 nvidia dgx spark и суммарно получу 512гигов vram на скорости 400гбс

Бред несёшь ты. Какой сети? Речь идёт о обучении больших языковых моделей ИИ, а не о работе нейросетки.

Вот-вот, классически идиот прячущийся под анонимусом. Обучать большую языковую модель на ОЗУ вы будете до второго пришествия.

Добавлю ещё требование к минимальному размеру VRAM на ускорителе в 48Gb.

Погуглили и поняли что попали в просак, поэтому и добавили. «Знаток», кек.

Для серьезных, больших моделей используют связки из Nvidia A100/H100 у которых 96Gb VRAM, но их связка стоит дороже квартиры.

Говорят видяхи объединяют в одну 4GPU 48Gb = 1GPU 196Gb для получения ИИ с максимальной точностью.

Не видел такого. Обычно берут одну A6000 48Gb, если нужно больше, берут H100/A100 96Gb. Все что больше - арендуют мощности тк экономически не выгодно брать для себя. Т.е. моя A6000 уже окупила себя, а связка из H100/А100 окупалась бы еще очень долго.

RTX 4060

8 ГБ. Ахах, да ты троллишь.

Давай сюда свою сборку PC для обучения ИИ. Практическую и теоретическую. И расскажи какую модель с какими данными и параметрами обучает.

Давай сюда

Забыли волшебное слово.

Сборка для обучения больших языковых моделей (если не грид сеть на куче компов, кстати а есть что-то по этой теме из софта у нас, условный хадуп и его инфраструктура они тоже быстро упираются в головной узел. Как бы легче, но масштабирование всё равно не очень хорошее) это лямов 15 долларов минималочка прямо и из США ты её фиг вывезешь, т.к. нужный gpu к вывозу запрещён.

Смотря какой тип сети использовать, если классику llm то да, если диффузию то затраты кратно меньше :)

И да нюанс в том, что сначала классика делается и потом классикой делают диффузионные модели, если в двух словах рассказывать

300 Вт рассеиваемой мощности — это не кровать, это уже лежанка получается.

ПЕЧ, чтобы на ней лежать. В лучших традициях русских сказок.

Предлагаю кровать сделать алюминевой И всю утыкать процами и видяхами. Хм! Это же идея! Срочно бегу патентовать такой формфактор для крипто-ИИ серверов! Никому не копировать!!! Вот только название для них?

Ещё вариант - многоэтажные кровати. В бараках для гэстарбайтеров. Можно и денег заработать и на отоплении сэкономить.

имеет 6Gb

да, что-то не так посмотрел

У ИИ спрашивал?

Кто он такой, чтобы у него спрашивать?

$3k

А зачем это покупать? На эти деньги можно платить $10 подписку 300 месяцев. Ну подписка может быть и дороже, но все равно хватит надолго. Что-то поменялось, взял, отменил, и никому не нужно впаривать устаревшее корыто. Так в чем смысл для домашнего пользования, там же не нужно генерировать тексты в промышленных масштабах?

Малварь пишем