LINUX.ORG.RU

Вопрос по локальным нейросетям

 ,


1

2

Всем добрый день. Я новичок в теме нейросетей, поэтому прошу сильно не ругать).

Появился ряд вопросов по этой теме: Сейчас стоит 2 задачи:

  1. Хотим сделать транскрибатор с использованием openai Whisper на своем железе и
  2. Есть желание сделать голосовое управление без интернета для home assistant.

Отсюда ряд вопросов:

  1. Какие системные требования для сетей под такие задачи? (в сети пишут разные вещи, но все +- около топа/предтопа)
  2. Возможно ли установить в пк 2 разные видюхи одновременно и заставить нейронку работать на этом винегрете? (например radeon mi50 + gtx1630/intel arc b580)
  3. Пока копал тему железа, вспомнил про специфичную игрушку в виде Intel xeon phi sc7220. Реально ли такое задействовать для работы нейронки? Или будет только жрать и коптить, а практического толку не будет?
  4. Я правильно понимаю, что нейронка будет грузить видюк на полную только в момент обращения к ней/скармливания данных, а не на постоянную?
  5. Нужен ли отдельный ссд под вышеописанные задачи?
  6. Будет ли иметь значение процессор для таких задач? (чтобы знать уже точно, что проц можно какой-нибудь i3 поставить, а приоритет отдать ускорителям)
  7. Где можно почитать описание разных моделей что умеют, в каких задачах применяются и тд? (или может есть мануал для чайников? с малого к большому)
  8. сейчас располагаю свободным железом в виде i3-4130, 7гб озу и майнерского варианта gtx 1050ti 3gb (p106-090). стоит ли пытаться заводить что-то из вышеперечисленного на этом железе ради эксперимента, или захлебнется?

Перемещено hobbit из general



Последнее исправление: The_doctor (всего исправлений: 1)
Ответ на: комментарий от anonymous

Драйвера самые обычные с сайта нвидии. Ессно, с этими дровами работает генерация картинок, рендеринг в блендере, но не работают игры. Надо только не забыть одну галку в настройках поставить. Сейчас не скажу, комп переезжает в другой корпус, но она там одна.

tiinn ★★★★★
()
Последнее исправление: tiinn (всего исправлений: 1)
Ответ на: комментарий от tiinn

У встройки дрова сносить не надо? Или в диспетчере устройств отключать? Я так понимаю в биосе надо приоритетной выставить эту P104-100

P.S. Вчера вечером такую же карту получил. Вот думаю что с ней делать

anonymous
()
Ответ на: комментарий от tiinn

От 30 секунд на полуторке Stable Diffusion в качестве 512x512. На разбор промпта, ессно, пара минут требуется.

Что-то это совсем крайне печально, по сравнению с нормальным железом для задачи.

Ну и, что там SD 1.5 рисует на такой маленькой картинке, и сколько там чудес косяков, можно себе представить.

James_Holden ★★★★★
()
Последнее исправление: James_Holden (всего исправлений: 2)
Ответ на: комментарий от anonymous

Нет, у встройки дрова сносить не надо, она останется единственной видеокартой в системе.

Я так понимаю в биосе надо приоритетной выставить эту P104-100

Нет, она не видится биосом как видеокарта

tiinn ★★★★★
()
Ответ на: комментарий от James_Holden

Ну и, что там SD 1.5 рисует на такой маленькой картинке, и сколько там чудес косяков, можно себе представить.

Да, но полуторка делает хорошо развилки дорог, слияния рек, горные гряды, многоногих существ - достаточно просто растянуть холст до 1024х512.

Иногда, просто выдаёт прикольный визуальный стиль.

tiinn ★★★★★
()
Ответ на: комментарий от James_Holden

Что-то это совсем крайне печально, по сравнению с нормальным железом для задачи.

У мя стояла задача вкатиться максимально занедорого, для этого карточка прям огонь.

tiinn ★★★★★
()
Ответ на: комментарий от anonymous

Посмотрел. Потом, в настройках Nvidia будет один-единственный раздел «Управление счетчиками производительности ГП», надо радиокнопку поставить против пункта «Предоставление доступа к счетчикам производительности ГП всем пользователям», у меня без этого не работало.

tiinn ★★★★★
()
  1. Одна видяха 8 гигов и / или восьмиядерник / 16 гигов. Больше - лучше.
  2. Да. Radeon-rocm, nvidia-cuda. Intel-net (если есть вдруг вулкан, то можно через него работать)
  3. ХЗ
  4. Да, только память займёт.
  5. Нет.
  6. Если будешь гонять только на видяха, то нет.
  7. Google llama.cpp
  8. Стоит
Stage1 ★★
()