Intel Arc Pro B65 в качестве видяхи для локальной LLM?

Я тоже хотел, но начитался, что у Intel пока всё грустно с софтовой поддержкой и стабильностью дров.

Хочешь более-менее стабильное - ищи R9700, но оно и в 2 раза дороже будет.

Или Ryzen AI Max 395 в конфиге 64Gb RAM, около 250к₽ с растаможкой будет (Minisforum N5 Max, как пример). Поделишь 32/32 или 16/48 и будешь гонять Qwen 3.6 27B или что-то там ещё нового от Meta вышло + скоро, вроде, должен Qwen 3.8 27B подойти.

Учитывая, что R9700 ± как Ryzen 9070 (только памяти побольше), а последний у меня есть и на малых моделях он всего около +50% к производительности Ryzen 395 (этот тоже в доступности) на встройке 8060S, то так ли нужна эта дискретка?

Upd: там же рядом лежит R9700 от того же ASRock за 180к - если есть деньги - лучше бери её. Имхо, до 200к из нового - ты лучше не найдёшь.

Только прочекай по поводу pcie 5.0 совместимости карты и твоей материнки - может оказаться капризной и не завестись на pcie 4.0

Поделишь 32/32 или 16/48

Там unified memory, её не надо делить. Наоборот рекоммендуется в настройках bios указывать доступный минимум

у Intel пока всё грустно с софтовой поддержкой и стабильностью дров.

Ох уж этот Интел.

Upd: там же рядом лежит R9700 от того же ASRock за 180к - если есть деньги - лучше бери её.

Блин, дорого. Жаба против. На эти деньги я смогу 3 года гонять подписной DeepSeek V4 Flash 0731, и ещё останется. Хотя он может и подорожать.

Эх, если вдруг упадёт шабашка тысяч на 200, может и хватану R9700:)

Да, не рекомендуется (типа, ROCm сам всё выделит). Но чисто экспериментальным путём в моём случае получилось, что Vulkan ощутимо быстрее с llama.cpp, а ему надо было выделить память вручную.

Но эксперименты проводили весной, так что точных цифр не найду уже.

vLLM не настраивали, если что. Может, и оказался бы быстрее на ROCm реализации.

Да у меня та же проблема. Буквально месяц назад купил себе 9070, ибо R9700 тогда полезли уже к 300к, да и БП формата SFX пришлось бы менять на более мощный с пересборкой компа в очень мелком корпусе (что дико не хочется).

А теперь смотрю на 180к и такой: бл… А ведь если б знал, то деньги то были.

А сейчас с перепродажей много потеряю, так что… Roadmap to motorcycle этих денег 🤣. Обойдусь подпиской, да у товарища стрелять 395-й буду время от времени.

аж с 32Гб ОЗУ

Когда космические корабли^W^W LLMки доросли до 2Tb... У меня сложилось впечатление, что даже бесплатные модели доступные онлайн уже гораздо лучше того, что можно запустить в разумные деньги локально. Зависит конечно от требований...

На эти деньги я смогу 3 года гонять подписной DeepSeek V4 Flash 0731, и ещё останется.

Вот это главный довод против покупки. А Hy3 небось ещё дешевле?

Пока их не начали жёстко монетизировать - да, лучше.

Вполне может оказаться, что покупать своё железо преждевременно.

С другой стороны - не при коммунизме живём, складывать все яйца в корзину чужого дяди - ошибка.

Но всё же ещё про решения околодомашние говорим (с общим потреблением до киловатта), а не уровня серверной стойки. И ценой в околотоповое игровое решение.

ИМХО 5090 топ: днём глава семейства поработал, вечером дети играются. И 32Gb хватает.

И они уже достаточно мощные, чтобы подписки от дяди не слишком то нужны были.

Вроде Торвальдсу в свой последний ящик запихали какой то АРК …

This:

...выкину... ...я деньги на ветер.

А Hy3 небось ещё дешевле?

Нет, Hy3 подороже. У дипсика 9/19 рублей, у Hy3 - 14/56.

И они уже достаточно мощные, чтобы подписки от дяди не слишком то нужны были.

Да вот фиг знает. На локальной видяхе ты запустишь что-нибудь типа 27B, и это будет довольно медленно. А, например, у DeepSeek V4 Flash 0731 - 13B активных из 284B общих. И отвечает практически моментально.

То есть на данный момент времени подписка однозначно рулит. Перестанет она рулить только в случае резкого подъёма цен. Но там сейчас такая конкуренция, что кто-нибудь обязательно продолжит демпинговать. Подорожает DeepSeek V4 Flash - перейдём на Hy3. И так далее.

Посчитай выход токенов в секунду и посмотри цены на провайдерах. Даже видюху за 100к ты будешь окупать пару лет при условии круглосуточной генерации. Смысл в видюхе для llm есть только для безопасности.

типа Qwen_Qwen3.6-35B-A3B

Она, кстати, туповата весьма, та же 27B сильно умнее.

Дали мне попользоваться сперва одной 3090, а потом и двумя. Ну могу сказать, что обе модели на llama.cpp смогли влезть в одну карточку с контекстом около 160 тысяч. А вот в vLLM уже не поместились. На двух 3090 35B помещается, и скорость генерации достигает 160 т/с, на одной 3090 с llama.cpp было 40–110 т/с. 27B выдает на vLLM около 40–50 т/с, а на llama.cpp MTP-модель разогналась до 60 т/с.

Она, кстати, туповата весьма, та же 27B сильно умнее.

27B у меня выдаёт менее 1т/с. Так что его ум мне заценить не получится:)

На таком сетапе 122b выгруженная почти вся в оперативку выдавала 3т/с на 6-летнем тредрипере.

Ты просто мало ждал)))

ты работаешь на «как минимум не дешевеющей карте, а как максимум дорожающей пока пузырь надувается»(С) – так понятно? )

так что остается только подсчет-сравнение цены «токенов в плане» (которого часто по факту нет к свободной покупке) и «токенов за электроэнергию в розетке».

бонусом идут полная конфиденциальность (можешь туда чувствительные данные отгружать) и отсутствие всяких «подождите немного сейчас откатится общая квота на запросы и вообще мы внезапно закрылись, подняли цену в пять раз…»

PS

как минимум «задачи индексации» и что то типа «оцифровки чеков и прочее у персонального ассистента» вне конкуренции

Имхо овчинка выделки не стоит ни в каком виде. У меня стоит Gemma E4b на RTX 3060 12 гб (брал на Авито). Считаю её лучшей в своём классе. Она быстра, мультимодальна и адекватна, сбалансирована, в относительно простых задачах. Подключил в VS Code. А если хочу что то посерьёзнее - проще оплатить эндпоинт и поиграться, как я и сделал. Даже есть резерв бесплатных токенов и даже у Gemeni. Вопрос в частоте использования, мне редко пригождается, просто времени нет. Была бы возможность и необходимость кодить - арендовал бы различные эндпоинты, под задачу подбирал бы. В локальном железе смысла пока совсем не вижу.

Вообще, для начала советуют две 2080 перепаянные на 22Гб каждая + nvlink. Я вот на них коплю - в итоге выйдет за сотню 44Гб

Я взял в итоге мини-пк на AI Max+ 395 с 128 ГБ на озоне. Обошлось где-то в 290тыр (с пошлиной). Жаба конечно упиралась, но я победил:)

Запускаю Qwen3.8-Flash-Next-IQ4_XS, скорость генерации на пустом контексте ок. 30т/с, по мере заполнения контекста снижается до 15т/с. В целом доволен.

или лучше купить подписку и не париться

.

Даже видюху за 100к ты будешь окупать пару лет при условии круглосуточной генерации.

А через пол-года выйдет какой-нибудь новый NPU, или принципиально новый тип моделей, и твоя видяха морально устареет быстрее, чем окупится.

Этос с mtp или без? В llama.cpp через вулкан запускаешь? Какая скорость prompt processing-а?

На двух arc pro b70 qwen3.8-flash-next люди уже запускали. https://github.com/ggml-org/llama.cpp/pull/28243#issuecomment-5807295228

Для Ъ: ## SYCL validation: qwen4exp MTP on 2× Arc Pro B70

Setup: Qwen3.8-Flash-Next (UD-IQ3_XXS), two B70s, --split-mode layer with ffn layers 0-11,36-47 on CPU/DDR5. Unsloth’s standalone Q8_0 draft model.

--spec-type draft-mtp --spec-draft-n-min 2 --spec-draft-n-max 7 --spec-draft-p-min 0.75
--spec-draft-model mtp-Qwen3.8-Flash-Next-Q8_0.gguf --spec-draft-device SYCL1

My build carries one SYCL patch (PR 28796), and I did not use --fit so the --fit issue above was never exercised here.

Except for the --spec-* flags, this is the same binary, greedy + fixed seed, 8 categories × 3 measured passes using BetterBench 0.6.0. Decode tok/s:

Это без mtp (для mtp нужно какой-то форк собирать, не хочу пока). Через вулкан, да. Prompt processing стартует с 390т/с, потом снижается раза в два.

Видяха умеет в Vulkan? Наверняка умеет. Значит, с этой стороны проблем не будет вообще. Т.е. да, видяха решает вопрос с запуском локальных LLM, а с 32G VRAM можно и кой-чего поинтереснее запустить чем qwen на 35b.

а для чего этого довольно использовать? какие задачи?

Программлю с opencode. Вполне комфортно.

Если дорого подписка за $20 можно взять mimo-v2.6-pro c промокодом BLKCFC. Я брал Lite на год вышло $64. Конечно работает не так шустро как популярные облачные, но точно не медленнее локальных. Дали 49,200,000,000 токенов, некоторые запросы считает за несколько токенов. На стандарте дают в 2.7 раз больше. Из минусов даже mimo-v2.6-flash с light тормозной для задач в социальных сетях и есть 0.1% шанс уйти в tool call repetition и я с этим столкнулся. Но как дополнительный план, по моему норм вариант. Как я понимаю VPN не нужен будет.

Чтобы купить GPU с большим количеством памяти, да ещё и сейчас - в бум ИИ - нужна очень веская причина. Ну, например, если она сама себя будет окупать. А иначе смысла нет.

Приведу пример.

Ну, вот сегодня только, обнаружил, что в моём Linux нечем прочитать .mhtml.
Спрашиваю локальную ‘Gemma 4 12B Q8’ (да, на 8 ядрах CPU со всего лишь 2 tps).
Называет несколько программ, так же упоминает, что структура близка к .eml.
Пробую программы - все показывают то же что и обычный less.

Говорю, напиши скрипт на python для извлечения файлов из .mhtml. Думает 4 минуты, выдаёт готовый скрипт.
Читаю - нормально, запускаю проверку - работает.
Говорю, добавь argparse. Думает ещё 4 минуты, выдаёт готовый скрипт.
Опять читаю, проверяю - нормально.

Итого, ну, минут 20 ушло на всё про всё.
Пока LLM «думала», занимался другими делами.
Да, мог бы и сам написать скриптик, но ушло бы больше времени, однозначно, даже не смотря на всего лишь 2 tps у LLM.

Т.е. если LLM пользоваться время от времени, то и CPU + RAM достаточно.

напиши скрипт на python для извлечения файлов из .mhtml.

chat.z.ai сделал это за секунд десять, не больше. Без регистрации и СМС.

стоит ли пытаться запускать локальные LLM, или лучше купить подписку и не париться?

Покупай что-то такое

А теперь объясняю почему, специально взял DeepSeek V4 Flash: 284 млрд параметров, из них 13 млрд активных на токен, а не бомжемодель:

1. Условно RTX 3090 на 24 ГБ стоит 175 т.р. Чтобы набрать ~96 ГБ, нужно четыре карты: 700 т.р. только за видеокарты, плюс материнская плата, райзеры и блок питания на киловатты. Итого 800+ т.р. Мини-ПК с 128 ГБ памяти на Ryzen AI Max+ 395 стоит 311 т.р. И это обычная рыночная цена: в обзорах такие 128 ГБ Strix Halo боксы стоят $3 299-4 349.

2. На 4×3090 (96 ГБ) остаётся только совсем сжатый Q2, а Q3 уже не помещается целиком. В мини-ПК с общей памятью запускается UD-IQ3_XXS, занимающий около 98 ГиБ. Меньше сжатия значит лучше качество.

3. В обычном llama.cpp получается около 12 токенов в секунду. Но с оптимизированным форком и спекулятивным декодингом измерено 24-28 т/с, то есть скорость чтения человека и выше. Для чата и кодинга этого достаточно.

4. Мини-ПК потребляет порядка 130 Вт, четыре 3090 под нагрузкой около 1,5 кВт. При круглосуточной нагрузке и 6 ₽/кВт·ч это примерно 600 ₽ в месяц против 6 500 ₽. Это ещё и тишина: мини-ПК спокойно стоит на столе, а не гудит как сервер.

5. Можно воткнуть дофига памяти под KV-кэш, и возможность запускать любые другие нейронки, автономность. С подпиской через всякие прокси-говносервисы это не выйдет.

В обычном llama.cpp

Отвратно работает на больше чем одной карте, тот же qwen-3.6-35b выдает на vllm 160 t/s, а на llama.cpp от 60 до 100.

Покупай что-то такое

Да, я как раз такое и купил.

запускается UD-IQ3_XXS, занимающий около 98 ГиБ

Вроде там 104Гб размер. Я эту модель ещё не пробовал, смущает 3 бита.

Можно воткнуть дофига памяти под KV-кэш

Там нет слотов для доп. памяти.

Какой бекенд?

Какие настройки?

и не завестись на pcie 4.0

И такие засады бывают? Видеокарта pcie 5.0 может не захотеть работать на 4.0?

Я читал, что наоборт бывает, что видеокарта заводится на 5.0 и крашится на тестах и нужно в BIOS включать 4.0 или даже 3.0. А если в BIOS нет такой кнопки, то беда.

Где-то на Reddit’е встречал, когда выбирал между R9700 и Intel Arc Pro (несколько разных), что встречаются такие, которым надо форсировать PCIe5.0