Можно ли заниматься локальным ИИ на AMD или нужна только Nvidia?

теперь 7900xtx гоняю квен 3.8 работает и ROCm и через вулкан

чату гпт такие вопросы уже не модно задавать?

Не знаю про мобильный AMD, там могут свои приколы, но с десктопными картами RDNA3 и 4 жить вполне можно. Может быть возня с установкой ROCm и нейросетевых либ, скомпилированных под AMD, вплоть до того, что придётся компилировать самому, но в целом всё посильно. Но с Nvidia возни меньше и если есть деньги и хочется максимальной совместимости, то новичку лучше на них ориентироваться.

Хочешь нейросетки и ноутбук - только эпл, но памяти надо много, 24гб маловато. А так локальные нейронки это только десктопные карты. Но у нейронок большой плюс по сравнению с игорями, они предназначены для работы по сети, т.е дискретка ноутбуку не нужна вообще. Пусть нейронка крутится на стационарном ПК, а ноутбук ее использует по сети.

Для учебы подойдет много чего. В целом, я бы брал б/у MacBook Pro на M1 Max и 48+ гигабайтами оперативки.

Вот смотри как пример https://huggingface.co/unsloth/DeepSeek-V4-Flash-Vision-Exp-GGUF Видишь вот там табличку справа? Видишь в ней количество памяти потребное для серьезных моделей? То есть для серьезных моделей тебе надо 192 Гб памяти. На nvidia ноутбуки с таким количеством памяти мне не известны. Следующая ступенька это модели на 27-35B параметров. Они +/- влезают в 32 Гб. Тут уже можно выбирать между strix halo и macbook(не air или neo). Ну скорость генерации будет сильно не та что ты привык при работе с облачными моделями. При этом потреблять(и выделять) оно будет около 100 Вт со всеми из этого вытекающими неудобствами. Кстати насчет веса посмотри на вес этого ноута с блоком питания. Там могут быть сюрпризы

Да, можно, никаких проблем с этим нет. Достаточно просто Vulkan.

От дистра зависит. Для ubuntu amd поддерживает репу и тот же rocm спокойно ставится по инструкции. Из консоли, да

Можно ли заниматься локальным ИИ на AMD

Можно.

ЗЫ. Гонял ollama даже на встроенном видео (AMD Ryzen 9 5900HX).

Уже задавал) Но считаю что такое лучше и у реальных юзеров узнавать, а не у нейронки. Гпт сказал что типо пойдет, хоть нвидиа и лучше, но дальше там уже очень прям мало слишком непонятно в чем конкретно лучше

поч только эпл? В елом я не против маков, но просто для другогой моей «деятельности» они не очень подходят + соцзащита практически никогда не дает деньги на эпл, для них это переплата за бренд((( 24 гига это память видюхи? И почему только десктоп? А у ноутов не потянет? Я пока хз насколько глубоко буду погружаться в эту тему, но хотелось бы чтобы хотяб средние или чуть выше среднего потянул ноут И что такое игоря? Пока не в теме просто и с Игорем не знакомы)))

с маками у соцзащиты туго по одобрению. + для меня они не закрывают все потребности по другим задачам. Ну а так-то конечно против маков ниче не имею. А почему именно они так для нейронок хороши?

ахах пока не шарю что это, надеюсь не казик?)))

и никаких проблем или что-то типо несовместимости и тд не будет?

понял. Ну а этот асус насколько прям вообще ничего не потянет или хотяб среднечки смогет? Ну и тоесть не так что нвидиа на изи тянет 35В, а АМД уже 2 В с трудом и получается можно и асус брать? Про вес чекну но если что могу и другой легкий блок купить. Насчет макбуков - их практически нереально получить у соцзащиты. А почему именно их так рекомендуют для ии?

24 гига у мака это общая память системы и видюхи и она очень быстрая. Система неплохо умеет использовать своп поэтому почти всю память может забрать видеокарта. У эпла очень эффективная встройка для нейронок, ноутбучная 3060 ревет вентиляторами там где справляется м1 на эйр с пассивным охлаждением. М5 будет еще лучше. Соответственно М5 и 24гб памяти приблизительно равно блеквел архитекторе с таким же количеством памяти.

Игори, они же игры требуют хорошую видюху.

И почему только десктоп? А у ноутов не потянет?

У ноутбуков другя задача, компромисс автомномности и производительности. Нейронка кочегарят видяхи по полной, в принципе можешь сравнить по фпс в играх между десктопными видяхами и ноутбучными. В ноутбуках тепло некуда и неудобно отводить, поэтому производительности можешь не ждать.

Ну и тоесть не так что нвидиа на изи тянет 35В, а АМД уже 2 В с трудом

Все зависит от количества видеопамяти. Обе потянут с равным количеством. Разница может быть в пару десятков процентов по производительности, но не разы.

2b тянет современный телефон на 15т/с

ну про 2В я просто условно) У этого асуса тож насколько я понял 32 гига общая память для видюхи и системы, но конечно врядли там все так гладко как у эплов, но вроде как будто выглядит достаточно серьезно, если получится с 64 гигами найти мне кажется могла б быть зверь машина. Просто хотелось чтобы она чуть выше среднего могла потянуть по нейронкам

Оперативки мало, она только медленная системная. Ноут будет быстро уходить в термальный троттлинг. Серьезные не потянет, в общем поиграться только.

0. никакого ИИ не существует и не факт что оных когда-нибудь будет создан. Про ИИ тебе нассали в уши.
1. нейросетки на GPU можно без малейших проблем гонять на абсолютно любом ноуте на котором хоть как-то работает OpenCL на видяхе вне зависимости от производителя видяхи.
2. вайбкодинг - занятие исклчительно для тридварасов. Не все тридварасы занимаются вайбкодингом, но если кто-то занимается вайбкодингом - он однозначно тридварас во всех возможных смыслах.

Вопрос сформулирован настолько в общем виде, что ничего конкретного ответить не получится. Что такое середнячки? Что такое тянет? Если модель(плюс еще контекст запроса, то есть твои данные) помещается в видеопамять ноута с nvidia , то такой вариант будет работать значительно быстрее(2-3 раза) чем strix halo. Если не будет помещаться в видеопамять, то либо вообще не запустится, либо будет значительно медленнее. Под видеокартой nvidia выше имею в виду что-то от 5070 mobile и выше с быстрой gddr7 видеопамятью. Макбуки в этом контексте вспоминают потому что у них как и у strix halo unified memory(нет жесткого деления на видеопамять и системную) и она достаточно быстрая.

упд. в новостях вон пишут что в октябре появятся ноуты на nvidia spark. Где-нить в районе нового года глядишь и до нас доберутся

соцзащита

Ты откуда это пишешь?

Встройки АМД не настолько хорошо работают с нейронками как у эпла. Можешь конечно послушать коментатора выше и купить любой ноут, но будешь разочарован скоростью работы. Ну не последний момент rocm не поддерживает мобильные чипы, а без него запуск нейронки такое себе удовольствие.

и никаких проблем или что-то типо несовместимости и тд не будет?

У меня всё работает без проблем.

Про локальный LLM на ноутбуке можно забыть, для нормальных языковых моделей надо брать x20-x40 памяти, и на встройке с unified memory будет печально по скорости.

Для генерации картинок 24-32 Гб хватит но опять-таки я не знаю не перегреется ли это чудо. У меня радиатор на видеокарте весит в два раза больше чем весь этот ноутбук.

Тут уже многое сказали правильно.

Просто я так понял что NVIDIA лучше тк там CUDA, и получается локалки оптимизированы под нее

Похер на cuda, это наверное хороший API для вычислений и его поддерживает куча проприетарного софта (всякие видеоредакторы и т.д.), но локальные модели сейчас успешно работают через Vulkan API доступный на любой современной графической карте. При генерации токенов все упирается в скорость памяти. У тебя может быть супер нейронный чип с миллионом тензерных ядер, мега NPU, но генерировать он будет 20 токенов в секунду как на 8060S потому, что все ограничивает скорость RAM в 100 гигабайт в секунду (два канал DDR5). Все встройки Intel и AMD ограниченных двухканальной DDR5, у Mac нет такого ограничения, по характеристикам M3 Max выдает 300-400 гигабайт в секунду, а значит генерация токенов будет в 3-4 раза быстрее чем на встройке AMD.

rtx 5090 почему сейчас 5к баксов стоит? Там 32 гига памяти, а значит все 30-и биллионные модели влазят (с квантированнием), плюс скорость памяти 1.79 TB/s, а это практически 17х производительности двухканальной DDR5.

https://www.dns-shop.ru/product/3f5f5da1cf26d9cb/134-noutbuk-asus-rog-flow-gz302ea-ru086w-cernyj/

Если хочешь Ryzen 395, то смотри на 64Gb памяти. Лучше минипк (дешевле). Например, Minisforum MS-S1 или N5 Max (в формате NAS). Выйдет чуть дороже, но зато точно по памяти хватит.

Меньше тебе не хватит (тот же Qwen 3.8 27B в q4_k_m съест 28-36Gb видеопамяти в зависимости от размера контекста, а если запускать в q8, то даже без обработки изображений съест 48Gb).

На 128Gb смотреть не советую - такие модели запускаются и работают, но настолько медленно, что смысл в этом начинает пропадать.

Я обкатывал на рязаньке Beelink GTR9 Pro, но советовать не буду - поддержка у ребят так себе. А вот устройств от Minisforum у меня в руках побывало уже 5 штук, даже если будут проблемы - единственный минус - это долгий возврат, зато работают норм.

Но я сугубо инференс трогал, не обучение (руки не доходят).

NVidia будет проще с т.з. запуска и т.п., но:

1. Разоришься на 32Gb VRAM (либо Blackwell с NVFP4, либо будет медленно) - это одна видюха (дискретная) обойдётся тебе в 450-500;
2. В формате ноутбука - забудь, хрен найдёшь, а если и найдёшь - то впустую потратишь деньги соц. контракта.

Кстати, по п.2 (в формате ноутбука - забудь): я на 100% уверен, что ты не захочешь таскать нейросетку с собой на ноутбуке на постоянку, если это не мак. Да даже если мак - будет горячо, медленно, а ещё батарею жрать.

Мой тебе совет: бери лёгкий ноутбук под свои глаза (хороший экран + 32Gb ram под запуск агента и/или IDE, без видюхи, ищи по совместимости с онтопиком) + МиниПК на Ryzen 395 64Gb (понятное дело, начинать покупку с минипк). Если будут лишние деньги - вместо минипк нормальный стационар с нормальной AI Pro R9700 / RTX PRO 4500 / RTX PRO 5000 и т.д.

Если остановишься на стационаре - сразу киловаттный БП и мать по типу ASRock X870E Taichi Lite (на 2 x PCIe5.0 x16), ибо гарантирую, что захочешь докупить ещё такую же видюху, видеопамяти всегда мало. И ещё: в том же DNS мониторь AI Pro R9700, этот радеончик там по очень вкусным ценам иногда появляется, 180-220.

Смотря как занимается вайбкодингом.

Я 50/50 (а ещё по работе принуждают).

Например, генерировать Liquibase намного удобнее: потом проверил, поправил и доволен.

Писать логику от и до - упаси, заебешься приводить в рабочее состояние.

Если не готов прислушаться к комментаторам по поводу того, что ноут тебе не нужен, то тебе всё равно потребуется 64Gb unified memory, т.е., как минимум, Asus TUF Gaming A14 (2026) на 64Gb на Ryzen 392 (меньше ядер CPU тут не так страшно, как нехватка памяти).

Для ubuntu amd поддерживает репу и тот же rocm спокойно ставится по инструкции. Из консоли, да

В Debian тоже ставится, но по мелочам не так спокойно.

ROCm поддерживает Strix Halo.

И много каких встроек ещё. Смотри тут: https://rocm.docs.amd.com/en/latest/compatibility/compatibility-matrix.html?fam=ryzen&os=ubuntu&gpu=amd-ryzen-7-250&gfx=gfx1103

нейросетки на GPU можно без малейших проблем гонять на абсолютно любом ноуте на котором хоть как-то работает OpenCL на видяхе вне зависимости от производителя видяхи.

В теории - это так, а на практике слова без малейших проблем и OpenCL рядом не стоят. Очень заманчиво использовать OpenCL для универсальности, но практически сейчас нельзя.

Хотя бы потому, что для без проблем сейчас необходима поддержка специфических типов данных, вроде int4, int8, fp8, fp16, bfp16, которые (и то только 16-ти битные) на уровне стандарта, а не опциональных расширений стали подвозить в OpenCL только в 3-й версии стандарта, которую далеко не все поддерживают. Например, встроенные в ядро Linux драйвера AMD предоставляют 1.2, если не ставить ROCm или проприетарную версию драйверов. Кроме того, в OpenCL практически не поддерживаются тензорные ядра (matrix core у AMD) совремённых видеокарт, а это значит, что с OpenCL можно забыть об ускорении для соответствующих типов данных.

На практике в таких бекендах, как llama-cpp поддержка OpenCL сделана для совместимости со старыми видеокартами. PyTorch нативно вообще не поддерживает (и никогда не поддерживал) OpenCL. Готовые сетки из PyTorch тогда надо конвертировать с ONNX и тп.

Так что, в принципе погонять нейросетки на OpenCL можно. Даже заняться обучением сеток, вон на хабре статья есть https://habr.com/en/articles/1017484/

Но это не без малейших проблем, это с поисками бекенда или фреймворка, который вообще запустит модель и притом вполне возможно, что запустит её с просадкой производительности в 10-50 раз и без экономии VRAM.

Но относительно без проблем только в fp32, что означает на совремённых видеокартах и просадку производительность в 10-50 раз от их возможностей и отсутствие экономии памяти VRAM. Или с экономией памяти и уже совсем никакой производительностью.

Практически сейчас инференс для максимальной совместимости пытается использовать Vulkan (везде) или DirectML (только в винде), но и там на теже грабли часто наступают.

У ollama есть бэкенд Vulkan, с ним хоть на Интел можно.

Обучать на таком железе не получится (если не что-то охренеть какое мелкое). А если тебе модельки локально гонять - то MoE на 35b или Dense на 9-12b будут на этом ноуте вполне прилично бегать. Там нет дискретной видеокарты вообще. С AMD чутка сложнее, но можно юзать бэкенд влукан. И всё.

ну как-то слишком звучит странно. Как на любом если нужна видюха и явно от ее мощности зависит насколько их можно гонять

серьезные это какие? Не потянет генерацию изображений и видео?

а что хза мобильные чипы и для чего они?

ну если на картинки хватает то уже гуд

тоесть я правильно понял что мак намного лучше тк по скорости RAM не ограничен и сможет это легко тянуть? Какой тогда мак для этого лучше брать в пределах соцконтракта?

НУ условно чтоб без проблем и тд можно было генерировать изображения, возможно видео и код. Это пока база

Мак ничем не лучше. Лучше - хорошая дискретная видеокарта. Но про «не ограничен в скорости RAM» это ты прикололся. Вот этот ноут без дискретки на который ссыль в ОП на DDR5, вполне сможет гонять нормально локальные модели. Но если тебе нужны модели типа Kimi K2.6 полноразмерные - то тебе надо железку ценой от… Вроде бы 5 млн.

Ну изображения без проблем можно и на этом. Только не очень быстро. Видео генерировать ты ни на маке, ни на этом не сможешь во вменяемые тайминги. Код генерить - ну тут от размера модели много зависит. Что-то сможешь, но прям как сервис по подписке - не будет, будет здорово медленнее и хуже. Или просто хуже. Никто бы не покупал подписки и токены, если бы можно было их запустить на консьюмерском железе с тем же качеством и скоростью.

Из твоего текста понятно, что ты мало что понимаешь.

1. Бери недорогой, но адекватно производительный ноутбук (если хочется именно ноутбук) уровня Vivobook S16 или Lenovo IdeaPad Slim 5 (это все до 80 тысяч рублей новое). На самом деле конечно можно найти все намного дешевле, если брать б.у. и не гнаться за OLED

2. Забываешь про локальный AI и покупаешь VPS и поднимаешь там VPN (так как я понимаю, что ты с РФ, по магазину) или же покупаешь готовый VPN (тут не могу посоветовать, также можно просто socks прокси купить за условный доллар в месяц на самом деле).

3. Просто тратишь $20 в месяц на подписку openai для codex, если не будет хватать, то бери за сотку. Ну еще дополнительный бюджет в месяц заложи на другие траты VPS, домены, карты для оплаты и т.д

Если же ты реально хочешь локально ИИ гонять, то тебе по бюджетке нужен ПК с 2080Ti на 22гб или Tesla V100 32gb, ну или чем-то получше можешь посмотреть тут (t.me) ну и может тебе даже помогут с конфигом. Но в целом сейчас вообще не лучшее время чтобы собирать и бюджетка начинается с 300к за говно, а за что-то более ликвидное 500к и выше рублей.

Я тут недавно свою 5090 продал. Примерно за 381 тысячу рублей (уже год гарантии давно закончился), но человек все равно был рад потому-что актуальный ценник в РФ в ДНС 500 тысяч рублей за новую, когда я брал когда-то за примерно 260 тысяч рублей.

А то, что человек про соцзащиту упоминает вы как-то в своём ответе учитываете?

соцзащиту

Я честно не знаю что это, ну кроме определения слова

вайбкодинг - занятие исклчительно для тридварасов. Не все тридварасы занимаются вайбкодингом, но если кто-то занимается вайбкодингом - он однозначно тридварас во всех возможных смыслах.

И насчёт вайбкодинга, если понимать под ним написание программы полностью или частично с помощью нейросеток. Ты же сам выступаешь всюду за практику против теоретизирования. Чисто практически: есть задачи и языки программирования, когда вайбкодингом достигается полезный результат? Есть, по-моему уже глупо отрицать во второй половине 2026. Можно конечно голову в песок засовывать и обзываться, но это просто контрпродуктивно.

тоесть вообще без ограничений по железу? Пока не шарю за это

ну там дают 350к на развитие своего «дела» - называется соцконтракт. ТОесть условно я могу за эти 350к купить ноут/пк для работы или могу еще свои деньги доложить. Но в целом тк я в этом новичок, то пока хочу просто достаточно универсальный и хороший «инструмент», который закроет большинство потребностей. Тк я пока в этом всем не шарю, то для начала хотелось бы чтобы просто тянул генерацию изображений, видео и кода. А все остальное будет видно уже дальше, тк пока сам не знаю на чем из этого смогу зарабатывать и чем заниматься

1. Ну у меня уже есть HONOR MagicBook 15 BMH-WFP9HN, просто тк дают 350к то решил вложиться в железо получше и поудобнее. У этого асика просто небольшой вес (а это мне важно тк не люблю работать из дома) при вроде достаточно хорошей начинке и + сенсорный экран на котором можно рисовать и соответственно не таскать с собой граф планшет.
2. Ну можно конечно, просто я думал про локалку тк там вроде нет цензуры + само по себе звучит интересно, как что-то не массовое что потенциально можно как-то использовать для заработка А почему не лучшее время чтобы собирать? Ну а если так все дорого, то конечно не вижу смысла тогда с этим серьезно заморачиваться. Тогда просто хотелось б чтобы комп мог потянуть хотя б генерацию изображений, кода и видео. Это с таким ноутом возможно или все равно нужен десктоп?

соцзащиту

Я честно не знаю что это, ну кроме определения слова

Обычно это означает, что человек попал в сложную финансовую ситуацию и относится к категории людей, которых государство особенно опекает. Уже насколько это всё соответствует действительности вопрос десятый, но советовать в такой ситуации подписку на $20/месяц или оборудование за несколько сотен мне кажется неуместно.