Intel Arc Pro B65 в качестве видяхи для локальной LLM?

Я тоже хотел, но начитался, что у Intel пока всё грустно с софтовой поддержкой и стабильностью дров.

Хочешь более-менее стабильное - ищи R9700, но оно и в 2 раза дороже будет.

Или Ryzen AI Max 395 в конфиге 64Gb RAM, около 250к₽ с растаможкой будет (Minisforum N5 Max, как пример). Поделишь 32/32 или 16/48 и будешь гонять Qwen 3.6 27B или что-то там ещё нового от Meta вышло + скоро, вроде, должен Qwen 3.8 27B подойти.

Учитывая, что R9700 ± как Ryzen 9070 (только памяти побольше), а последний у меня есть и на малых моделях он всего около +50% к производительности Ryzen 395 (этот тоже в доступности) на встройке 8060S, то так ли нужна эта дискретка?

Upd: там же рядом лежит R9700 от того же ASRock за 180к - если есть деньги - лучше бери её. Имхо, до 200к из нового - ты лучше не найдёшь.

Только прочекай по поводу pcie 5.0 совместимости карты и твоей материнки - может оказаться капризной и не завестись на pcie 4.0

Поделишь 32/32 или 16/48

Там unified memory, её не надо делить. Наоборот рекоммендуется в настройках bios указывать доступный минимум

у Intel пока всё грустно с софтовой поддержкой и стабильностью дров.

Ох уж этот Интел.

Upd: там же рядом лежит R9700 от того же ASRock за 180к - если есть деньги - лучше бери её.

Блин, дорого. Жаба против. На эти деньги я смогу 3 года гонять подписной DeepSeek V4 Flash 0731, и ещё останется. Хотя он может и подорожать.

Эх, если вдруг упадёт шабашка тысяч на 200, может и хватану R9700:)

Да, не рекомендуется (типа, ROCm сам всё выделит). Но чисто экспериментальным путём в моём случае получилось, что Vulkan ощутимо быстрее с llama.cpp, а ему надо было выделить память вручную.

Но эксперименты проводили весной, так что точных цифр не найду уже.

vLLM не настраивали, если что. Может, и оказался бы быстрее на ROCm реализации.

Да у меня та же проблема. Буквально месяц назад купил себе 9070, ибо R9700 тогда полезли уже к 300к, да и БП формата SFX пришлось бы менять на более мощный с пересборкой компа в очень мелком корпусе (что дико не хочется).

А теперь смотрю на 180к и такой: бл… А ведь если б знал, то деньги то были.

А сейчас с перепродажей много потеряю, так что… Roadmap to motorcycle этих денег 🤣. Обойдусь подпиской, да у товарища стрелять 395-й буду время от времени.

аж с 32Гб ОЗУ

Когда космические корабли^W^W LLMки доросли до 2Tb... У меня сложилось впечатление, что даже бесплатные модели доступные онлайн уже гораздо лучше того, что можно запустить в разумные деньги локально. Зависит конечно от требований...

На эти деньги я смогу 3 года гонять подписной DeepSeek V4 Flash 0731, и ещё останется.

Вот это главный довод против покупки. А Hy3 небось ещё дешевле?

Пока их не начали жёстко монетизировать - да, лучше.

Вполне может оказаться, что покупать своё железо преждевременно.

С другой стороны - не при коммунизме живём, складывать все яйца в корзину чужого дяди - ошибка.

Но всё же ещё про решения околодомашние говорим (с общим потреблением до киловатта), а не уровня серверной стойки. И ценой в околотоповое игровое решение.

ИМХО 5090 топ: днём глава семейства поработал, вечером дети играются. И 32Gb хватает.

И они уже достаточно мощные, чтобы подписки от дяди не слишком то нужны были.

Вроде Торвальдсу в свой последний ящик запихали какой то АРК …

This:

...выкину... ...я деньги на ветер.

А Hy3 небось ещё дешевле?

Нет, Hy3 подороже. У дипсика 9/19 рублей, у Hy3 - 14/56.

И они уже достаточно мощные, чтобы подписки от дяди не слишком то нужны были.

Да вот фиг знает. На локальной видяхе ты запустишь что-нибудь типа 27B, и это будет довольно медленно. А, например, у DeepSeek V4 Flash 0731 - 13B активных из 284B общих. И отвечает практически моментально.

То есть на данный момент времени подписка однозначно рулит. Перестанет она рулить только в случае резкого подъёма цен. Но там сейчас такая конкуренция, что кто-нибудь обязательно продолжит демпинговать. Подорожает DeepSeek V4 Flash - перейдём на Hy3. И так далее.

Посчитай выход токенов в секунду и посмотри цены на провайдерах. Даже видюху за 100к ты будешь окупать пару лет при условии круглосуточной генерации. Смысл в видюхе для llm есть только для безопасности.

типа Qwen_Qwen3.6-35B-A3B

Она, кстати, туповата весьма, та же 27B сильно умнее.

Дали мне попользоваться сперва одной 3090, а потом и двумя. Ну могу сказать, что обе модели на llama.cpp смогли влезть в одну карточку с контекстом около 160 тысяч. А вот в vLLM уже не поместились. На двух 3090 35B помещается, и скорость генерации достигает 160 т/с, на одной 3090 с llama.cpp было 40–110 т/с. 27B выдает на vLLM около 40–50 т/с, а на llama.cpp MTP-модель разогналась до 60 т/с.

Она, кстати, туповата весьма, та же 27B сильно умнее.

27B у меня выдаёт менее 1т/с. Так что его ум мне заценить не получится:)

На таком сетапе 122b выгруженная почти вся в оперативку выдавала 3т/с на 6-летнем тредрипере.

Ты просто мало ждал)))