LINUX.ORG.RU

Потыкать CUDA - какое железо?

 , ,


0

1

Добрый день.
На авите продают не так дорого старые TESLA - заметно дешевле игровых/майнерских карт. Например, K40 - от 20000.
Имеет смысл из покупать, чтобы дипфейки пообучать?
PS. Про дипфейки - шутка, задача -чтобы поучиться пользоваться, т.е. 2-4Гб карточки не годятся.

★★★★★

Смотрим бенчмарки, выводим выводы. Конкретно с К40 - даже 1080 будет помощнее, при меньшем потреблении (upd: но в наши непростые времена - дороже). Hell, даже ноутбучная 1050 дает больше флопсов.

покупать, чтобы дипфейки пообучать

ваще нет смысла.

Но я, если что, хрен с улицы без опыта, так что смотрите и делайте выводы сами. Можно (и нужно) углубиться и смотреть на количество ядер, скорость шины, частоту памяти и всё остальное.

token_polyak ()
Последнее исправление: token_polyak (всего исправлений: 6)

Покупать слабые квадрики нет смысла. Квадрики сильны тем, что у них другое распределение типов ядер по транзисторной массе + гарантия другого типа.

Вообще, слабые квадрики предназначены для специализированного оборудования (типа МРТ аппаратов и подобного). Чтобы работать годами и пассивным охлаждением.

Norgat ★★★★★ ()
Ответ на: комментарий от BceM_IIpuBeT

Для мультимедии радеон норм, но область нейросеток (и других вычислений) сильно завендорлочена на куда. Даже если есть возможность использовать модель на чем угодно (ncnn, например), то обучение - только на невидиях.

token_polyak ()
Ответ на: комментарий от token_polyak

На AMD можно, но там всё не стабилизировалось ещё и, чтобы не тратить время и силы, проще купить что для CUDA. Всё равно высокоуровневые либы те же самые

Shadow ★★★★★ ()

чтобы поучиться пользоваться

Уточни задачу. Тебе писать свой софт на CUDA, или пользоваться фреймворками, которые используют CUDA?

пообучать

Карты вставляющиеся в pci-e подходят только для обучения прототипов нейросетей, так как на них очень мало памяти(20-40 Гб из легко доступного). Для серьёзных задач, в бюджетном сегменте рулят 2-4 процессорные некрозионы, с 8-16 каналами оперативной памяти. Если использовать ddr3, получится выжать около 200 Гб/сек пропускной способности памяти, что конечно раз в 5 медленнее, чем на топовых видяхах, но объём памяти будет больше на порядок.

поучиться пользоваться, т.е. 2-4Гб карточки не годятся.

Если подразумевается, запустить, и посмотреть, как оно в принципе работает, то хватит карточки с любым объёмом памяти. Достаточно размер датасета подогнать до такого размера, чтоб он поместился в видяху.

anonymous ()
Ответ на: комментарий от anonymous

Пользоваться фреймворками.

Есть AMD Ryzen 5 с 12 потоками и 64Гб оперативки.

То, что пишут в статейках на хабре, это типа будет на порядок медленнее любой NVIDIA с 8Гб оперативки... Но может я что-то недопонял.

Shadow ★★★★★ ()
Ответ на: комментарий от Shadow

Есть AMD Ryzen 5 с 12 потоками и 64Гб оперативки.

Не заморачивайся видяхами, на нём и пробуй всё.

на порядок медленнее любой NVIDIA с 8Гб оперативки…

Вот смотри, допустим у тебя csv с данными на пару гигов. И данные это последовательность, т.е. не имеет смысла как-то использовать отдельную строку данных в отрыве от соседних. Для такого используется «Скользящее окно», это когда берётся n-ное количество строк, с 1 по n-ную, и записываются как одна строка, потом берутся строки со 2 до n+1, и так далее пока исходный датасет не закончится. Проблема в том, что после этой манипуляции исходные данные начинают занимать в n раз больше места, и из файлика в пару Гб, получается пара Тб, которые и хранить то негде. И в итоге обучаешь модель на 1-2% от данных которые тебе доступны, просто из-за невозможности использовать больше.

Сама модель тоже в памяти должна храниться, она тоже может гигабайты занимать.

А потом думаешь, надо бы размер окна увеличить на порядок, и идёшь покупать новый комп, у которого оперативки больше на тот-же порядок.

Есть AMD Ryzen 5 с 12 потоками и 64Гб оперативки.

Кстати, будет простаивать, в ожидании операций копирования внутри памяти.

Вообще, если прям хочешь попробовать на gpu, попробуй тут: https://colab.research.google.com там tesla k80 стоят(в настройках надо выбрать инстанс с gpu), данные свои через гуглдиск используются, модели туда-же сохранять можно. Если сильно наглеть, будут выкидывать, через час использования на сутки, а если не наглеть, то в первый раз можно часов 12 пользоваться… Там в общем хитрая система штрафов, но они нигде не отображаются, т.е. не понять, когда тебя выкинут.

anonymous ()
Ответ на: комментарий от Shadow

да нелинейные модели (ничего сложного - не дальше 3 порядка) обучать

Не интересовался этой темой, в общих чертах только имею представление.

На первый взгляд, создаётся ощущение, что такие модели описывают распределение значений только в диапазоне, в котором были обучающие данные, а вне этого диапазона модель «движется» инерционно по траектории пары крайних значений. И при добавлении данных с одного края, или убирании их, такие модели перестают их описывать. А обучение с добавленными данными приводит к получению другой модели, имеющей мало общего с изначальной.

Но это я просто теоретизирую, я совсем не в теме этих нелинейных моделей. Может я не прав.

Для этого NVIDIA сильно лучше CPU будет?

NVIDIA всегда будет лучше CPU, в условиях, когда необходимый объём данных может поместится в её памяти. В случае с подбором коэффициентов нелинейной модели происходит относительно много операций с одним набором данных, не исключаю, что в этой задаче не будет проблемой грузить данные в видяху через pci-e, тогда выполнение на cpu вообще теряет смысл.

anonymous ()