Видеокарта для нейросеток.

У гугла вроде на халяву можно мощности использовать

• https://cloud.google.com/gpu

И ещё есть колаб, тож халява можно прям с гитхаба сети разворачивать и запускать по ссылке и долбить их ГПУхи всотку

• https://colab.research.google.com/

А так, не всем сеткам нужен ГПУ. А то взяли моду, перцептрон с двумя слоями и десятком весов на каждом на ГПУ считают, когда считать такое надо на проце =)

У гугла вроде на халяву можно мощности использовать

Меня заколебали уже проблемы сети и очереди на c.ai, я хочу просто поднять это локально, чтобы все это было выделено мне одному. Да и хочу изображения улучшить нейросетью. Я уже даже деньги готов выделить, реально бесит это уже все.

4060ti 16gb

У гугла вроде на халяву можно мощности использовать

Еще есть kaggle.com

Но у них может так случиться, что считал-считало что-то пару часов и хренак упало и начинай сначала, а квоты заканчиваются. Поэтому обязательно надо сохранять.

В потребительском ai все просто, берёшь 4090 с 24гб, наслаждаешься

лучше пару таких

но ты бюджет не посмотрел

Главное не нарваться на майнинговые. А то даже теслы майнили – они быстрее выйдут из строя.

Погоняй на CPU, звучишь будто у тебя уже есть задачи и террабайты данных для брутфорса трафарета обучения. Nvidia Tesla это видеокарта с непомерно задранным ценником из за того что в формфакторе позволяющим эффективно размещать их в корпусах серверов в дата центрах

Аналогичным вопросом задался.

Есть карта AMD 6600 XT c 8Гб, но а) 8Гб сейчас вроде маловато уже? б) несмотря на открытые драйвера ROCm, какое-то оно через пень колоду все. Нельзя просто так взять и завести карту где попало. в) Все же в области ИИ сейчас Cuda стандарт, а не OpenCL или что там еще AMD придумали. Потенциально ничем не хуже Nvidia, на практике всякие там PyTorch и прочие TensorFlow заточены под Nvidia и хорошо, если вообще заработают под AMD.

Если брать из новых, то смотрю какие варианты есть:

rtx 3060 с 12 Гб - самый дешевый и сердитый. Можно найти за ~ 35 тыс.руб. Если устроит 12 Гб, но похоже это уже минимум во многих случаях.

baja 4060 ti c 16 Гб интересный вариант, но стоит в два раза дороже 3060. Как я понимаю, если бюджет ограничен, то есть смысл только если критично важно иметь именно 16 Гб.

Между прочим, встречал упоминания, что некоторые ремонтники видеокарт, могут нестандартную модификацию сделать на заказ, например, 24 Гб поставить на 3060. Не знаю насколько это практически реально доступно.

Nvidia Tesla это видеокарта с непомерно задранным ценником из за того что в формфакторе позволяющим эффективно размещать их в корпусах серверов в дата центрах

Не из-за этого, вернее не только из-за этого, а просто вообще другой сегмент рынка потому что.

Ну и если честно, то обычные видеокарты, если использовать для ИИ - это от бедности. Они попросту не приспособлены для длительной нагрузки вычислениями - по-хорошему, если считать что-то надо много часов, надо менять систему охлаждения и/или делать даунвольт и даунклокинг, короче то что майнеры делают.

Кроме того, в случае майнинга отдельные ошибки из-за сбоев не страшны, они будут отброшены в результате, а при вычислениях нейросеток, может быть по-разному. Есть модели, сходящиеся даже с ошибками, а есть где это доставит проблем. Еще хуже в случае чисто расчетных задач. Так вот Теслы как бы повышенную надежность в этом плане имеют.

Да, всем известная история про i9, i7, i5 и i3. Tesla p40 и 3090 на одном и томже чипе g102, но у Tesla - пасивное охлаждение, нет выводов для подключения монитора, производится эклюзивно nvidia и в характеристиках указано что для коробок в 2U. Давай, раскажи что тотже самый чип, с темже объёмом памяти на куске текстолита от Asus это решение для бедных, именно поэтому nvidia продбует бороться со всякими там turbo картами, которые как назло тоже влезают в 2U корпус Пример

именно поэтому nvidia продбует бороться со всякими там turbo картами, которые как назло тоже влезают в 2U корпус Пример

Интересно, не знал.

А что тогда мешает вообще сторонним моддерам брать готовые видеокарты и переделывать их под 2U? Если правильно понимаю, то это вопрос замены системы охлаждения, может еще с разъемами питания что-то поменять.

Но вообще не просто так говорю, расчеты на GPU даже AMD-ной RX 580 сразу требуют выкручивать кулер на карте на 100% мощности и все равно следить за температурой.

Я видел модеров корпусов))) которые делают стоечные шасси под кучу gpu с водяным охлаждением, можно посмотреть ттх карт разных производителей и сравнить размеры самого «текстолита», несколько раз попадались рекомендации на ютубе из разряда «решил заменить карту, не лезет в корпус», то они слишком длинные, то слишком широкие, а вот плату уже не обрезать

В плане охлаждения, кулер на 100% куда более эффективнее радиатора теслы

Вообще если бы амуда имела чуть больше денег или мозгов (или и того, и другого), то имело бы смысл нанять больше народу, чтобы они написали толковые движки рендеринга, работающие как минимум на блендере. Заодно и продажи попёрли бы.

Я просто смотрю на rx7900xtx, и она мне всем нравится, но потом вспоминаю, что хочется-то не только играть, но и рендерить, и всё тут же падает на по-шестого.

Бери игровую видеокарту. И памяти чтобы было побольше. А твоя тесла протухла давно, будет валятся без дела. Игровую видюху хотя бы можно будет использовать для рабочего стола.

Не только, ещё SDK, я переполз на NVidia как раз из за Cuda и удобству работы с дефолтным gcc c++

Ещё там нет охлаждения. Надо будет колхозить что-то и реветь оно будет как бегемот. Этож промышленные видеокарты. Расчитанные на продув средствами корпуса.

Поэтому предлагаю выучить Perl за выходные и через месяц купить есе 4090 Ti

Не только, ещё SDK, я переполз на NVidia как раз из за Cuda и удобству работы с дефолтным gcc c++

А чем OpenCL хуже?

Так они и сделали для блендера. Правда все равно сильно проигрывают по скорости рендера зеленым

Документацией, тулзами и когда я начинал не было поддержки c++

P40 хороша только объёмом памяти, в производительности и удобстве - это будет минус.

Поэтому если запускаемость сеток требовательных к большому объёму памяти важнее производительности - то P40 приемлемый вариант, ибо ничего лучше с 24ГБ в ценовой окрестности нет. Из минусов - охлад придётся колхохить люто, она ожидает продувки, или поставить охлад от 1080ti.

Для вывода картинки поставить карту из того же поколений Pascal, типа 1030, чтоб воздух не грела.

Если же требоваия сеток к памяти понятны, и они уместятся скажем в 12 GB - то лучше взять что-то более производительное - обычную карту на 12GB с тензорными ядрами (RTX)

У популярных фреймворков есть поддержка rocm. Другое дело, что она появилась не так давно со всеми вытекающими последствиями. Для новичка понятно советовать не стоит, если уже с ними работаешь, то почему бы и нет.

Блендер умеет в rocm, на счёт скорости не скажу, не с чем сравнивать.

А что тогда мешает вообще сторонним моддерам брать готовые видеокарты и переделывать их под 2U?

Дрова.

Драйвера под RTX карточки не умеют в виртуализацию (вернее, умели, но это умышленно начали выключать несколько лет назад). Максимум что дадут - прокинуть карточку в виртуалку 1 в 1. Сколько там еще ограничений напихали - я не следил последнее время.

Другое дело, что она появилась не так давно со всеми вытекающими последствиями. Для новичка понятно советовать не стоит, если уже с ними работаешь, то почему бы и нет.

Вопрос еще в деньгах. Все же покупать новую и недешевую (хотя к счастью майнинговое помешательство прошло) видеокарту только ради лучшей совместимости. Ну не настолько богат.

Драйвера под RTX карточки не умеют в виртуализацию (вернее, умели, но это умышленно начали выключать несколько лет назад). Максимум что дадут - прокинуть карточку в виртуалку 1 в 1

А включить патчами дров никак? Благо в линуксе их подпись проверять не обязательно. Или они там как-то хитро на аппаратном уровне?

1050 Ti

там хитро, хотя и был прогресс, но затихло

https://github.com/DualCoder/vgpu_unlock

А включить патчами дров никак? Благо в линуксе их подпись проверять не обязательно. Или они там как-то хитро на аппаратном уровне?

Пару лет назад, был известен только способ через откат версии драйверов на опр. версию. Что сейчас хз. В лицензии виртуализация игровых карт запрещена, так что решения нужно искать в дебрях профильных форумов (не занимался этим последний год так точно).

Прекратил заниматься этим вопросом, потому что считаю, что борьба с производителем железа на софтовом уровне это гиблое дело. Не в этой так в следующей версии залочит так, что не разлочишь.

По тестам он медленнее cuda Но сейчас для нейросеток появилась альтернативы cuda: rocm, работает на удивление шустро, намного шустрее чем opencl, самое то поиграться на своей видюшке с сеточками

С PyTorch его подружить можно?

Он только с ним и дружит – tensorflow с rocm криво работает на моем опыте.

PyTorch 2.0.1, Rocm 5.6, RX 6600XT от MSI, Archlinux

Пакеты не из пипы, а из реп арча, иначе могут быть проблемы.

Некоторые видеокарты в сочетании с некоторыми ядрами и некоторыми linux-firmware может ломать amdgpu/amdkfd – крч, лучше не обновлять их среди рабочей недели, меньше седых волос будет.

Алсо, RX7900 теперь тоже нормально работает

P.S. HSA_OVERRIDE_GFX_VERSION=10.3.0 для всех карточег шеститысячного семейства кроме самых топовых всё еще нужно, возможно аналогичное потребуется и для младших семитысячных.

intel a580/750/770

Бюджет 20 000 - 40 000 руб.

3060 12gb - в этой ценовой категории выбора толком и нет.

4060 16gb - слишком дорого для такого незначительного апгрейда. Если 3060 не хватает, то лучше сразу в сторону 4090 смотреть.

3070

/thread

Не укладывается в бюджет

30к на лохвито.

Не рискну брать видеокарты на авито, пока можно купить новую(ту же модель) в магазине.

Ну и ССЗБ, чо еще сказать.

3070

Надо брать 30** или 40** карточку с максимальным объемом видеопамяти. 3060 12gb будет и лучше, и дешевле.

Хочешь подарю GT210 с 4 гигами? Палезная карта, кибербаг тянет на максималках.

Ну я не хочу покупать видеокарту прямо из под майнера и заново ее обслуживать, пока можно купить новой в магазине эту модель. Возможно в будущем у меня будут лишние деньги на это, но пока нет.

Например, 3080 с 10gb памяти уступает 3060 12gb в 2-4 раза по скорости при работе с stable diffusion xl:

https://storage-asset.msi.com/global/picture/news/2023/vga/rtx4060ti-202309-10.jpg

Выбор для неронок сейчас 3060 12gb / 4060 16gb / 4090 24gb, либо урвать где-то 3090 24gb по нормальной цене.

Всем спасибо за советы. Купил NVIDIA GeForce RTX 3060 12gb.

Выбор для неронок сейчас 3060 12gb / 4060 16gb / 4090 24gb, либо урвать где-то 3090 24gb по нормальной цене.

Я сейчас смотрю, что в среде ML сейчас 12 Гб считается чем-то вроде учебной карты с уже совсем жестким минимумом, так что похоже надо ориентироваться на 4060 16 Gb

Если кому вдруг достаточно 10 Гб, то похоже есть еще вариант: майнинговая CMP 50HX - урезанный аналог rtx 2070 с 10 Гб без видеовыхода и с интерфейсом pci-e 1.0 зато найти можно всего за 15-19 тыс.руб.

Не понятно что выбрать. Если 12 Гб стало мало, то подозреваю и 16 Гб не так, чтобы принципиально лучше. Но все же брать сразу 4090 слишком дорого. Мда.

Поздравляю. Еще не пробовал как она?

Нет только-только закончил возится с драйверами. Может чуть позже.

Не понятно что выбрать. Если 12 Гб стало мало, то подозреваю и 16 Гб не так, чтобы принципиально лучше. Но все же брать сразу 4090 слишком дорого.

Угу. Подозреваю, что нвидия специально зажимает память из-за нейросеток. Знать бы что будет в следующем поколении карточек и на сколько они будут у нас доступны. Возможно 4060 16gb окажется и не таким уж плохим выбором, если в 50** серии не будет удачных и доступных карточек.

16Гб это тоже мало на самом деле, если в разрезе LLM

Сейчас минимально адекватными сетками считаются 30b/q6, они требуют порядка 30Гб. Все что ниже, хоть это и субъективно, но отмечается многими, уже не справляется с теми запросами, с которыми справляется 30b/q8. При этом уже есть сети и на 70b, но адекватного бытового железа для них не существует. Некоторые движки умеют использовать несколько gpu, но стоит такое уже неадекватных денег, поэтому многим просто недоступно.

Итого сейчас большинство крутят 13b/q4..q6 сети, этого как раз для 16Гб хватает. У кого нет даже 16Гб, крутят 7b сети или 13b/q3, что совсем неадекватно. Везунчики крутят 30b/q4. Остальные же крутят 30b/q4..q6 но на процессоре, или закупаются тоннами оперативки под 70b сети - это уже чисто ради экспериментов, т.к. скорости тут идут на единицы токенов в секунду или даже десятые доли токена в секунду: технически оно работает, но очень неспешно