LINUX.ORG.RU

Можно ли заниматься локальным ИИ на AMD или нужна только Nvidia?

 , , , ,


1

1

Всем привет. Я решил попробовать заняться Нейросетями и всем с ним связанным (пока ничего конкретного, тк только начал и еще не вникнул и не определился, но думаю для начала хочу использовать их для генерации изображений и вайбкодинга, + писать ИИ ассистентов, генерация видео Wan, обучение и вывод LoRA и тд) и еще попробовать использовать локальный ИИ. Так вот какое железо нужно для этого? Я сейчас хочу купить ноутбук на социальный контракт. Ноутбук изначально беру для другой деятельности, но тк планирую в перспективе и ИИ заниматься, то хочу такой который и это сможет потянуть по крайней мере на уровне выше среднего. Имею ввиду потянуть локальный ИИ. Сейчас мой фаворит 13.4" Ноутбук ASUS ROG Flow GZ302EA-RU086W с AMD Radeon 8060S Graphics тк он вроде бы достаточно мощный для всего, включая локальный ИИ надеюсь и + легкий и мобильный (мне это важно тк часто работаю в коворкингах и институте, а таскать тяжелую махину некомфортно). Так вот что скажете, подойдет он для всех сценариев работы с ии, включая достаточно серьезный локальный (понятно что самые топовые модели не потянет, но все-таки хотелось бы чтобы справился с достаточно серьезными). И еще, как нейронки дружат с AMD? Просто я так понял что NVIDIA лучше тк там CUDA, и получается локалки оптимизированы под нее. Но можно ли все -таки этим полноценно заниматься на AMD или это прям херня полная и много чего будет недоступно? Есть кто именно на AMD работает? Поделитесь стоит ли мне его брать, или однозначно нужен только ноут с NVIDIA?

Ссылка на ноут: https://www.dns-shop.ru/product/3f5f5da1cf26d9cb/134-noutbuk-asus-rog-flow-gz302ea-ru086w-cernyj/



Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от DILA7N

Если Ozon Global считается - достать. Месяц с растаможкой будет идти.

Ищи по Ryzen 395 / Ryzen 392 За 257 тыс ₽ будет Ryzen 395 64/2000 конфиг в формате МиниПК.

Если есть уже настольный ПК с PCIe5.0 x16, ты в 350 уложишь Radeon AI Pro R9700 32Gb.

Конфиг 128 / 2000 будет уже вне рамок твоего бюджета (около 375 тыс ₽ с растаможкой).

За 264 тыс ₽ можно найти в формате ноутбука на Ryzen 392 / 64 / 1024 в виде Asus TUF A14.

Либо за 300 тыс. ₽ в виде OneXPlayer Super X.

Но за качество ноутов я ничего не знаю, в отличие от минипк я такие в руках не держал.

Впрочем, Strix Halo достаточно горячий, что я не хотел бы видеть его в виде ноутбука, ибо даже в виде МиниПК он весьма шумный.

qa ★
()
Ответ на: комментарий от anonymous

LLM сами движутся в сторону маленьких MoE флеш моделек. GLM 5.3 flash это настоящий уровень фронтира апреля-мая этого года за гроши. По заявлениям Alibaba, в Qwen 4 активных параметров будет не больше 10b, как сейчас в qwen 3.8 flash. Гугл так вообще перестал разделять модели и последний год только флеш модели и выпускает, и они неплохие.

anonymous
()
Ответ на: комментарий от DILA7N

не ну подписку я то потяну без проблем просто сама тема локальных ии заинтересовала.

Я думаю это важный момент. Я советую определиться, является ли подписка альтернативой или нет. Если да, то локальную модель следует рассматривать как основной инструмент для простых задач, которые всегда будут иметь предел. Количество памяти как раз этот предел и определяет. Если нет, то размер памяти определяет сложность и качество того, что вы сможете сделать. Опять же, вы в любом случае в этот предел упрётесь, вопрос лишь рано или поздно.

В общем случае вам никто не скажет, что надо и как лучше. Никто кроме вас не определит удовлетворительное качество и сложность ваших задач.

VIT ★★★
()

ASUS ROG Flow GZ302EA-RU086W с AMD Radeon 8060S Graphics

Гугло https://www.google.com/search?q=%D0%BF%D0%BE%D1%82%D1%8F%D0%BD%D0%B5%D1%82+%D0%BB%D0%B8+ASUS+ROG+Flow+GZ302EA-RU086W+%D1%81+AMD+Radeon+8060S+Graphics+%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B+%D1%81+%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%BC%D0%B8+%D0%98%D0%98

Ответ: Да, ASUS ROG Flow GZ302EA-RU086W с графикой AMD Radeon 8060С отлично потянет работу с локальными ИИ среднего уровня (языковыми моделями, кодинг-ассистентами).

Отечественный производитель: https://yandex.ru/search/?text=%D0%BF%D0%BE%D1%82%D1%8F%D0%BD%D0%B5%D1%82+%D0%BB%D0%B8+ASUS+ROG+Flow+GZ302EA-RU086W+%D1%81+AMD+Radeon+8060S+Graphics+%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B+%D1%81+%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%BC%D0%B8+%D0%98%D0%98&lr=2

Да, ASUS ROG Flow GZ302EA-RU086W с AMD Radeon 8060S Graphics способен работать с локальными ИИ-задачами. Однако важно понимать, что это гибридное решение, где основную роль играет не только графика, но и мощный процессор, а также система памяти. … Для большинства повседневных и исследовательских задач с локальным ИИ этот ноутбук подходит отлично.

Если уж начал заниматься ЫЫ, так начни заниматься с начала :-)))

но понятно - нормальная стационарная машина будет существенно дешевле и значительно получше, чем сие чудо-юдо. Из коворкинга и института замечательно работает модель удалённого рабочего стола, на человеческий компутер.

vtVitus ★★★★★
()
Последнее исправление: vtVitus (всего исправлений: 2)
Ответ на: комментарий от anonymous

б/у MacBook Pro на M1

сомнительное решение. Практически единственный плюс современных макбуков - в оптимизации жора заряда батереи - в б/у экземпляре будет компенсироваться износом этой батареи

seiken ★★★★★
()
Ответ на: комментарий от DILA7N

не ну подписку я то потяну без проблем просто сама тема локальных ии заинтересовала

Я так понял, что тебе выделяется из бюджета некая сумма для целевого использования. Сам по себе новый ноут (если старый не устраивает) - это достаточно адекватная трата денег с мгновенной пользой (при прочих равных), и без всяких акцентов на ИИ.

На счёт практической тренировки ИИ - это не для ноута явно. Просто подумай: если бы тренировка адекватной модели для дальнейшей практической работы (не для теоретических точечных исследований в области ИИ, т.е. не для науки!) была бы так малозатратна, и каждый индус на своём ноуте натренировал бы Клода, с какой стати корпы тратят столько бабла на коммерческие подписки на ИИ? Ну соберёшь ты на коленке модель по мануалам, будет она на что-то отвечать верно, но будет лажать и по сравнению с клодами, и по сравнению с российскими коммерческими LLM. И дальше что?

я за вулкан пока не шарю (чекну), он получается дает возможность запускать ии локально даже на не сверхмощном пк?

судя по вопросам, ты пока не разбираешься в технологиях даже на понятийном уровне. Поэтому логично просто купить хороший ноут, чтобы на нём всё работало в Линуксе, и с ним потыкать немного и Vulkan, и OpenAcc, с одной стороны, a с другой и конкретные оптимизационные задачи, хоть в матлабе, хоть на питоне, хоть на фортране или c++ - не суть важно. А если уж до практики дойдёт, тренировать простые модели на википедии и русской литературе. Этим можно занять себя на очень много лет. Даже когда хайп с ЛЛМ сдуется, эти знания и навыки останутся.

Т.е. всё сводится к банальному вопросу простоты работы с драйверами видеокарты в Линуксе. И чтобы на видеокарте просто была поддержка нужных базовых API типа Vulkan.

Но спецом покупать новый ноут ради ИИ, тем более, если старый устраивает - это утопия.

seiken ★★★★★
()
Ответ на: комментарий от qa

Если есть уже настольный ПК с PCIe5.0 x16, ты в 350 уложишь Radeon AI Pro R9700 32Gb.

А плохо если я посоветую взять б/у? например mi50 32Гб меньше, чем за полтос на авито? Или 2*16 по цене в два раза меньше? Там HBM2 1Tб/с, куда уж лучше за энти деньги.. То есть пропускная способность больше чуть ли не в два раза, по сравнению с новым Radeon.

EvilSpirit
()
Ответ на: комментарий от EvilSpirit

Intinct есть с активным воздушным охлаждением?

Они ж с пассивным и нужно организованное охлаждение в сервере, а полноценный сервер дома держать - такое себе.

qa ★
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария