LINUX.ORG.RU

Можно ли заниматься локальным ИИ на AMD или нужна только Nvidia?

 , , , ,


1

1

Всем привет. Я решил попробовать заняться Нейросетями и всем с ним связанным (пока ничего конкретного, тк только начал и еще не вникнул и не определился, но думаю для начала хочу использовать их для генерации изображений и вайбкодинга, + писать ИИ ассистентов, генерация видео Wan, обучение и вывод LoRA и тд) и еще попробовать использовать локальный ИИ. Так вот какое железо нужно для этого? Я сейчас хочу купить ноутбук на социальный контракт. Ноутбук изначально беру для другой деятельности, но тк планирую в перспективе и ИИ заниматься, то хочу такой который и это сможет потянуть по крайней мере на уровне выше среднего. Имею ввиду потянуть локальный ИИ. Сейчас мой фаворит 13.4" Ноутбук ASUS ROG Flow GZ302EA-RU086W с AMD Radeon 8060S Graphics тк он вроде бы достаточно мощный для всего, включая локальный ИИ надеюсь и + легкий и мобильный (мне это важно тк часто работаю в коворкингах и институте, а таскать тяжелую махину некомфортно). Так вот что скажете, подойдет он для всех сценариев работы с ии, включая достаточно серьезный локальный (понятно что самые топовые модели не потянет, но все-таки хотелось бы чтобы справился с достаточно серьезными). И еще, как нейронки дружат с AMD? Просто я так понял что NVIDIA лучше тк там CUDA, и получается локалки оптимизированы под нее. Но можно ли все -таки этим полноценно заниматься на AMD или это прям херня полная и много чего будет недоступно? Есть кто именно на AMD работает? Поделитесь стоит ли мне его брать, или однозначно нужен только ноут с NVIDIA?

Ссылка на ноут: https://www.dns-shop.ru/product/3f5f5da1cf26d9cb/134-noutbuk-asus-rog-flow-gz302ea-ru086w-cernyj/



Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от DILA7N

тоесть если ноут то надо на оперативку смотреть и 32 гига мало?

В наше время даже если не ноут, то смотреть надо прежде всего на оперативку. Особенно если речь хоть как-то идёт о моделях.

VIT ★★★
()
Ответ на: комментарий от VIT

не ну подписку я то потяну без проблем просто сама тема локальных ии заинтересовала. Но конечно пока это только интерес и ничего конкретного и 100ни тысяч не буду на это тратить пока не уверен чем буду заниматься. Но хотелось бы чтобы аппарат нормально тянул генерацию изображений, видео и кода. Тот асус про который я спрашивал с таким справится или точно нет?

DILA7N
() автор топика
Ответ на: комментарий от anonymous_incognito

я за вулкан пока не шарю (чекну), он получается дает возможность запускать ии локально даже на не сверхмощном пк?

DILA7N
() автор топика
Ответ на: комментарий от DILA7N

HONOR MagicBook 15 BMH-WFP9HN

Тебе уже ничего не нужно кроме codex и подписки за $20 чтобы начать (ну и условный VPN или socks прокси чтобы подключиться из РФ, карта там Visa/MC нормальная)

Локальный ИИ нужен потому-что:

  1. В теории это круто потому-что если условно страна останется без интернета, то у тебя своя ИИшка под рукой. И ты независим, но это согласись все-таки пока еще слишком.

  2. Какие-то корпоративные данные, которые by-default нельзя сливать openai, антропик или китайцам.

  3. Ты изучаешь какие-то вопросы, на которые наложена цензура: вещества, обогащение урана, создание химического оружия или пытаешься что-то или кого-то взломать и т.д.

Для всех остальных кейсов ИИшка с облака по подписке рулит, просто потому-что это дешевле, быстрее, можно использовать из коробки и у тебя всегда одни из самых сильных моделей в мире.

anonymous_sama ★★★★★
()
Последнее исправление: anonymous_sama (всего исправлений: 1)
Ответ на: комментарий от qa

ну этот асус существует с конфигом 64 и 128 гигов, просто в россии их очень проблематично найти. Так то мне и гпт сказал что 32 может быть маловато( Вообще пока я просто заинтересовался локальным ии и еще не знаю буду ли в итоге серьезно погружаться в эту тему или нет, то не буду брать оборудование специально для этого + ограничен 350к соцконтракта, а на это я так понял что-то реально годное не купишь. Поэтому уж тогда лучше что-то что сможет хотяб с моим базовым минимумом нормально работать (генерация изображений, видео, кода, возможно что-то связанное с агентами, но это пока хз). Этот асус справится или все равно нужен мини пк? Ну и пойдет на 32 гига асус или заморачиваться и искать с 64 гигами?

DILA7N
() автор топика
Ответ на: комментарий от anonymous_sama

понял, ну тогда получается и асуса того хватит с головой и вообще любого ноута практически. Но вот насчет 3 пункта еще б подумал (может быть нужна генерация изображений без цензуры и возможно пару советов по серым темкам) - но тут хз наверно ж не нужна прям огромная модель и соответственно сверхмощный пк.

DILA7N
() автор топика
Ответ на: комментарий от DILA7N

Ты главное не забудь, что соцконтракт - это не халява, что государство денежек подкинуло. Читай условия и законы очень внимательно, а также судебную практику по соцконтрактам: реально могут высношать и высушить, если государству покажется, что ты на 1 рубль был богаче, чем нужно для его получения и скрыл. Или что не туда и не так потратил деньги.

anonymous
()
Ответ на: комментарий от anonymous

да за это еще как шарю) Но тут проблем точно не будет, просто б железку выбрать поскорее

DILA7N
() автор топика
Ответ на: комментарий от DILA7N

Ну если ты 18+ картинки и видео раздеваний собрался генерировать, то да. Тоже самое и с 18+ рассказами, такое тоже модель в облаке может не одобрить.

anonymous_sama ★★★★★
()
Ответ на: комментарий от DILA7N

Что ты вообще собрался делать? Для тебя модели и девайс для их запуска - рабочий инструмент или просто поизучать решил?

Если просто поизучать, то с некоторыми ограничениями это можно бесплатно сделать на huggingface.co или с помощью google colab или kaggle.com

anonymous
()
Ответ на: комментарий от anonymous_incognito

Хотя бы потому, что для без проблем сейчас необходима поддержка специфических типов данных, вроде int4, int8, fp8, fp16, bfp16, которые (и то только 16-ти битные) на уровне стандарта, а не опциональных расширений стали подвозить в OpenCL только в 3-й версии стандарта

Вообще никто не мешает нейросеть написать используя поддерживаемые всеми версиями OpenCL типы данных. Никто и никак.

На практике в таких бекендах, как llama-cpp поддержка OpenCL

И почему человеку который хочет погонять нейросетку на GPU должно быть не насрать на ограничения каких-то чужих левых реализаций нейросеток?

Но это не без малейших проблем, это с поисками бекенда или фреймворка, к

Бэкенды и фреймворки идут в жопу. Хочешь сделать хорошо - сделай это сам. Благо нейросетки - вещь тупая и простая.

Практически сейчас инференс для максимальной совместимости пытается использовать Vulkan (везде) или DirectML (только в винде), но и там на теже грабли часто наступают.

Нахера это вообще нужно?

Берёшь OpenCL, пишешь себе какую угодно нейросетку, и гоняй её на GPU. Один хер написание кернела нейросети на OpenCL займёт ничтожно мало времени, по сравнению с временем которое потом понадобится для тренировки этой нейросетки.

Stanson ★★★★★
()
Ответ на: комментарий от anonymous

ну за таких зверей пока не шарю, надеюсь не понадобятся такие модели…

DILA7N
() автор топика
Ответ на: комментарий от anonymous

чтобы быстро картинки генерить нужна дискретка или побольше рама в этом?

DILA7N
() автор топика
Ответ на: комментарий от DILA7N

Как на любом если нужна видюха и явно от ее мощности зависит насколько их можно гонять

Щито?

От мощности видяхи зависит лишь насколько быстро будет работать на ней нейросеть. На возможность гонять нейросеть мощность видяхи не влияет вообще никак. На возможность гонять нейросеть GPU влияет только возможность запустить свой код на ядрах GPU. Наличие драйвера OpenCL для видяхи позволяет запустить свой код на GPU. Следовательно на любой видяхе на которой работает OpenCL можно гонять нейросеть.

Stanson ★★★★★
()
Ответ на: комментарий от anonymous_incognito

Полезный результат в программировании это написание чего-то нового. Нейросеть принципиально, в силу своей сущности не может ничего нового даже вякнуть. Только повторять кем-то когда-то уже написанное.

Так что никакой пользы от вайбкодинга нет и быть не может. В повторении наиболее распространённых паттернов программированием не пахнет. Это называется макакинг.

Есть, по-моему уже глупо отрицать во второй половине 2026.

Глупо - это во второй половине 2026 не понимать что такое нейросеть, как она на самом деле работает, что она может и чего не может, да ещё и называть её «ИИ».

Stanson ★★★★★
()
Ответ на: комментарий от Stanson

Ты вообще не понял о чем тебе говорили. С твоим подходом никто и никак не мешает нейросетку и на CPU написать и запустить, зачем OpenCL?

anonymous
()
Ответ на: комментарий от DILA7N

Да про видео забудь сразу. Тяжелую кодогенерацию тоже - помимо модели огромное количество памяти сожрет контекст + тебе же еще компьютером нужно пользоваться, на другие программы память тоже уйдет.

vazgen05 ★★★
()
Ответ на: комментарий от anonymous

ну точно не просто поизучать для саморазвития. Пока только начинаю, поэтому точно сам не знаю. Возможно буду использовать в работе (генерация картинок и кода), а может, если будет коммерчески выгодно, то глубоко погружусь в эту тему и буду чем-то серьезным заниматься

DILA7N
() автор топика
Ответ на: комментарий от DILA7N

Да, агент-кодер будет постоянно читать файлы и раздувать контекст выхлопом команд. К тому же им зачастую ставят большой reasoning effort, у какого-нибудь квена мысли могут быть просто огромными по размеру.

vazgen05 ★★★
()

для этого вообще ни nvidia, ни AMD не нужно. Чтобы ими заниматься достаточно обыкновенного компа и памяти гигов 16. Нейронки и LLM это всё таки не синонимы.

anonymous
()
Ответ на: комментарий от cobold

Чей та? А размер контекста и KV-кэша ты учитываешь? Да уже с 26b иногда проблемы.

anonymous
()
Ответ на: комментарий от anonymous

Ну так ТС же хотел на видимокарте нейросетку гонять. И ответ на его вопрос

Можно ли заниматься локальным ИИ на AMD или нужна только Nvidia?

совершенно очевиден - да можно, вообще никаких проблем нет, можно брать и заниматься на любой видеокарте, лишь бы OpenCL для неё был.

Stanson ★★★★★
()
Ответ на: комментарий от DILA7N

Нафига тогда вайбкодить? За это денег скоро вообще никаких и нисколько платить не будут.

Лучше железки научись варить, например. Намного больше заработаешь, да ещё и скилл не устареет через пару лет.

Stanson ★★★★★
()
Ответ на: комментарий от DILA7N

Наличие того или иного способа запускать на GPU собственный код. На данный момент это CUDA и OpenCL. Если CUDA прибита гвоздями к невидии, то с OpenCL таких проблем нет.

Stanson ★★★★★
()
Ответ на: комментарий от anonymous

для этого вообще ни nvidia, ни AMD не нужно. Чтобы ими заниматься достаточно обыкновенного компа и памяти гигов 16. Нейронки и LLM это всё таки не синонимы.

не понял вообще. Там ведь нужна видюха мощная

DILA7N
() автор топика
Ответ на: комментарий от Stanson

Нафига тогда вайбкодить? За это денег скоро вообще никаких и нисколько платить не будут.

Лучше железки научись варить, например. Намного больше заработаешь, да ещё и скилл не устареет через пару лет.

сварщик чтоли?

DILA7N
() автор топика
Ответ на: комментарий от Stanson

написание чего-то нового. Нейросеть принципиально, в силу своей сущности не может ничего нового даже вякнуть

А человек с помощью нейросети и других готовых конструкций, т.е. используя готовую ОС и готовые библиотеки может сделать что-то новое?
Может ли что-то новое сделать человек использующий редактор кода с «тупым» автокомплитом слов из файлов проекта?

Bad_ptr ★★★★★
()
Последнее исправление: Bad_ptr (всего исправлений: 1)
Ответ на: комментарий от DILA7N

Нет, инженер-физик. Просто, например, сварщик - весьма востребованная и неплохо оплачиваемая профессия, которую несложно освоить. В отличии от вайбкодера. Да и сварочный аппарат который позволит зарабатывать деньги стоит намного меньше компа который удовлетворительно для вайбкодинга сможет в «локальный ИИ».

Stanson ★★★★★
()
Ответ на: комментарий от Bad_ptr

А человек с помощью нейросети и других готовых конструкций, т.е. используя готовую ОС и готовые библиотеки может сделать что-то новое?

Это не программирование, это макакинг. Можно написать 100500й аудиоплеер, или там переписать что-то на чём-то. Толку и пользы от этого - никакой.

Может ли что-то новое сделать человек использующий редактор кода с «тупым» автокомплитом слов из файлов проекта?

Зависит от того, зачем ему этот автокопмлит. Не знает как выключить, или не может без него обойтись?

Stanson ★★★★★
()
Ответ на: комментарий от DILA7N

тоесть если ноут то надо на оперативку смотреть и 32 гига мало?

Если будешь гонять MoE Qwen 35B-A3B то даже с квантирование Q4_XL она займет 20~ гиг памяти, 1 гиг фреймворк llama.cpp, еще 1 гиг если добавить модель распознавания изображений, плюс контекст, если он будет большим как то 128к то у тебя останется 1-2 гига. Если у тебя есть еще один комп, то на нем можно будет работать. Если gemma-4 26B-A4B QAT то он скромнее, может останется 8 гиг на работу, думай, сможешь ли на 8 гигах работать в IDE и с запущенным браузером.

anonymous
()
Ответ на: комментарий от DILA7N

для этого вообще ни nvidia, ни AMD не нужно. Чтобы ими заниматься достаточно обыкновенного компа и памяти гигов 16. Нейронки и LLM это всё таки не синонимы. не понял вообще. Там ведь нужна видюха мощная

она нужна только если твои нейросети хуиллиард нейронов имеют (LLM). Но это совсем не обязательно. Если создавать сетки узкоспециализированные (например машинное зрение, или там какие-то предсказания отказа отдельно взятой системы), то там достаточно обозримые размеры и инференс можно даже на каком-то EPS32 делать. А полную тренировку обычный ноут потянет за неделю макс.

anonymous
()
Ответ на: комментарий от Stanson

факт. Сейчас сантехник, например, намного более ценный кадр, чем какой-то кодер или программист.

anonymous
()
Ответ на: комментарий от qa

ROCm поддерживает Strix Halo

OK значит немного подтянули, раньше вообще кисло было с поддержкой очень.

einhander ★★★★★
()
Ответ на: комментарий от DILA7N

Мобильные видеокарты, я тоже не знаю зачем они нужны для нейронок. Выше меня поправили, часть все-же начали поддерживать.

einhander ★★★★★
()
Ответ на: комментарий от DILA7N

у там дают 350к на развитие своего «дела» - называется соцконтракт.

Я бы внимательно почитал условия, на которых выделяются эти деньги - когда увидят что ты просто купил себе ноут на них, потом могут попросить их вернуть обратно.

Gary ★★★★★
()
Ответ на: комментарий от Gary

ну такая видюха дохуилиард будет стоить. Ну тогда возьму асус а что потянет видно будет

DILA7N
() автор топика
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария