Внешняя видеокарта (или другое устройство) для AI/ML: такое существует?

Это называется headless videocard, без видеовыходов. Вроде есть и только для external подключения версии.

Посмотрите тред вот тут, может поможет: https://www.reddit.com/r/homelab/comments/1btze1r/best_headless_nvidia_gpu_for_home_ai_use/

Покупать десктопный комп для этого не хочется.

Комп будет стоить в 10 раз меньше видеокарты, нужной для этих штук, так что это твоё заявление непонятно.

Ну раз не хочется десктоп, тогда купи ноутбук с дискретной видеокартой. Кирпич с собой все равно не потаскаешь. А раз задачи стали тяжеловеснее, тогда и ноутбук должен быть соответствующим.

Угу, называется - удаленный сервер с видеокартой.

Вот такое недавно приобрел https://www.ozon.ru/product/vneshniy-korpus-dlya-videokarty-wikingoo-l18-c70-egpu-thunderbolt-4-0-7-metra-1755686022/

На ноуте 3050 4гб а хотелось чего то помощнее
Но с 5070 ti работает не стабильно пришлось докупить еще и комп(
Пишут что проблемы только с 50-той серией 30-тые 40-вые мол работают нормально

такая вот история

И прям все-все попугаи выдаёт через молнию? Или всё-таки чилит на 20-30%?

А эта штука линию +5 В БП нагружает, или всё от +12 В и обязателен БП с раздельной стабилизацией?

https://static.insales-cdn.com/images/products/1/3990/965889942/WKGL18-C70-2_1600_%D0%A5_2135.jpg

На счет раздельной стабилизации в инструкции ничего не сказано
не знаю

Если в ноутбуке нету разъема со скоростью PCI-E 8-16x, то забудь.

Для инференса и 1x хватит, зачем 8-16?

Для инференса и 1x хватит, зачем 8-16?

Потому что модель может кэшироваться между VRAM и RAM.

И вообще в 1x GPU будет неюзабельна.

Ну так задачи то серьезные. По всей видимости это Quake Champions, CS2, The Finals и все в таком духе. Там ведь все без шуток - на полном серьезе на победу надо играть.

Потому что модель может кэшироваться между VRAM и RAM.

Это ты про те случаи, когда веса протекают в рам и постоянно гуляют по PCI-e? Не допускай такого, это даже на 16х будет тормозить.

И вообще в 1x GPU будет неюзабельна.

Смотря для чего и какого pci-e.

Это то всё я просмотрел. Я даже обзор почитал, где пишут, что в инструкции к этому девайсу советуют БП с честной мощностью не менее 400 Вт. Но ничего про тип БП, а до сих про продаются БП с групповой стабилизацией, и они очень не любят, когда по линии +12 В много нагрузки, а по +5 В ничего нет.

Арендовать в облаке с поминутной тарификацией, поиграться, посчитать что нужно, потушить, наслаждаться сэкономленным баблом. Если хочется больше приватности - арендовать сервер с помесячной.

а тесты-то будут? Лично я сильно сомневаюсь, что по восьми жилкам оно не режет производительность. Или просто воткнули туда 30/40/50 XX и радуетесь, что оно вообще хоть как-то завелось?

Или вы сами эту лютую дичь хомячкам продаёте?

Посмотрите тред вот тут, может поможет: https://www.reddit.com/r/homelab/comments/1btze1r/best_headless_nvidia_gpu_for_home_ai_use/

Там вроде всё про внутренние видюхи.

Угу, называется - удаленный сервер с видеокартой.

Хочется локально

Вот такое недавно приобрел https://www.ozon.ru/product/vneshniy-korpus-dlya-videokarty-wikingoo-l18-c70-egpu-thunderbolt-4-0-7-metra-1755686022/

Вот это похоже то, что нужно.

Как я понял, это работает только с Thunderbol 3 или 4.

А есть ли Thunderbolt в твоём ноутбуке?

что можно подключить к ноутбуку

Мне кажется тут переусложнение. Не проще ли купить комп, и просто подключаться к нему по ssh с ноута для запуска нейронки? Эти же нейронки сделаны как серверные приложения к которым подключаешся в браузере, после запуска сервера.

То есть после запуска нейронки в локалке нужно будет просто открыть браузер, где вместо url вписать IP того компа с открытым портом, на котором поднята нейронка и все.

опять эти любители пердолиться с маломощными ноутбуками

Если у ноутбука есть thunderbolt разъём, то есть специальные переходники с type c на pci-e через которые можно воткнуть внешнюю видеокарту (самую обычную + потребуется БП). Пример: https://a.aliexpress.com/_EwVS0Vc

Также это возможно через M.2 слот для SSD или WiFi с pci-e линиями (если он был занят чем-то, придётся это что-то вытащить, плюс придётся частично разбирать ноут, зато сам переходник дешевле и m.2 сейчас есть на любом ноуте). Пример: https://a.aliexpress.com/_EwoaYp8

Гуглится тема по ключевому слову egpu. Переходники не дешёвые. Может выйти проще купить самую тупую материнку на самом тупом проце и воткнуть карточку в неё.

Если не требуется гонять карту 24/7, а под разовую задачу, может быть выгоднее арендовать в облаке. С бумом ИИ у облачных провайдеров появились GPU сервера, в том числе с почасовой оплатой.

Успехов!

А есть ли Thunderbolt в твоём ноутбуке?

Да вот нет.

Только USB 3.2.

И я вот думаю, есть ли вариант заполучить Thunderbolt если его нет изначально. Например карточкой расширения (если такие есть для ноутов, например через M.2), док-станцией, конвертором USB to Thunderbolt или вроде того. Существует ли такое, взлетит ли оно, и как будет с перформансом. По перформансу, насколько я понял, если VRAM будет много (24GB и больше), то можно минимизировать обмен данными между RAM и VRAM, просадка из-за не-родного Thunderbolt, конечно, будет, но это всё равно будет лучше чем работать с 4GB VRAM дискретки.

О, интересно.

Спасибо большое, присмострюсь.

конвертором USB to Thunderbolt

Это не так работает.

конвертором USB to Thunderbolt

Это не так работает.

Я подозревал.

Пока из подсказок, вариант с M.2 кажется наиболее перспективным.

С учётом цены видеокарты с 24 gb vram, цены БП для неё, цены переходника egpu, вместо переходника может быть дешевле или так же (но геморроя сильно меньше) взять простенькую материнку.

Вон пример найденный за минуту: https://a.aliexpress.com/_Ew5JCoi

По цене переходника m.2 -> pci (надо выбрать опцию материнка + cpu + ram) можно взять материнку с процем и 16 гб ram. Воткнуть в неё твою видеокарту и подключить БП (которые придётся брать в любом случае и при варианте с eGPU). И получить тот же результат с меньшим геморром и большей производительностью (из-за честных х16).

eGPU имеет смысл, если ноутбук мощный и ты планируешь использовать его мощность на полную катушку. Если ноутбук слабый или тебе не нужна его высокая производительность, то покупка обычной материнки по цене eGPU адаптера выгоднее.

А для удобства можно ходить туда по SSH c ноутбука.

Ты не ML будешь в итоге заниматься, а сексом с драйверами. Чтобы через пару дней/недель/месяцев (как повезет) узнать что карта старая/видеопамяти не хватает/очень долго считается и тд.

Вместо того, чтобы заплатить пару баксов и начать заниматься ML на арендованом серваке. Сейчас полно мест где почасовая аренда. Тебе одной цены на внешний корпус для видеокарты хватит на месяц или два.