LINUX.ORG.RU

Вопрос по локальным нейросетям

 ,


1

2

Всем добрый день. Я новичок в теме нейросетей, поэтому прошу сильно не ругать).

Появился ряд вопросов по этой теме: Сейчас стоит 2 задачи:

  1. Хотим сделать транскрибатор с использованием openai Whisper на своем железе и
  2. Есть желание сделать голосовое управление без интернета для home assistant.

Отсюда ряд вопросов:

  1. Какие системные требования для сетей под такие задачи? (в сети пишут разные вещи, но все +- около топа/предтопа)
  2. Возможно ли установить в пк 2 разные видюхи одновременно и заставить нейронку работать на этом винегрете? (например radeon mi50 + gtx1630/intel arc b580)
  3. Пока копал тему железа, вспомнил про специфичную игрушку в виде Intel xeon phi sc7220. Реально ли такое задействовать для работы нейронки? Или будет только жрать и коптить, а практического толку не будет?
  4. Я правильно понимаю, что нейронка будет грузить видюк на полную только в момент обращения к ней/скармливания данных, а не на постоянную?
  5. Нужен ли отдельный ссд под вышеописанные задачи?
  6. Будет ли иметь значение процессор для таких задач? (чтобы знать уже точно, что проц можно какой-нибудь i3 поставить, а приоритет отдать ускорителям)
  7. Где можно почитать описание разных моделей что умеют, в каких задачах применяются и тд? (или может есть мануал для чайников? с малого к большому)
  8. сейчас располагаю свободным железом в виде i3-4130, 7гб озу и майнерского варианта gtx 1050ti 3gb (p106-090). стоит ли пытаться заводить что-то из вышеперечисленного на этом железе ради эксперимента, или захлебнется?

Перемещено hobbit из general



Последнее исправление: The_doctor (всего исправлений: 1)
Ответ на: комментарий от tiinn

Даже для вывода изображения? В игрульках на майнинговых нвидиях через амд уже выводили

anonymous
()
Ответ на: комментарий от anonymous

Драйвера самые обычные с сайта нвидии. Ессно, с этими дровами работает генерация картинок, рендеринг в блендере, но не работают игры. Надо только не забыть одну галку в настройках поставить. Сейчас не скажу, комп переезжает в другой корпус, но она там одна.

tiinn ★★★★★
()
Последнее исправление: tiinn (всего исправлений: 1)
Ответ на: комментарий от tiinn

У встройки дрова сносить не надо? Или в диспетчере устройств отключать? Я так понимаю в биосе надо приоритетной выставить эту P104-100

P.S. Вчера вечером такую же карту получил. Вот думаю что с ней делать

anonymous
()
Ответ на: комментарий от tiinn

От 30 секунд на полуторке Stable Diffusion в качестве 512x512. На разбор промпта, ессно, пара минут требуется.

Что-то это совсем крайне печально, по сравнению с нормальным железом для задачи.

Ну и, что там SD 1.5 рисует на такой маленькой картинке, и сколько там чудес косяков, можно себе представить.

James_Holden ★★★★★
()
Последнее исправление: James_Holden (всего исправлений: 2)
Ответ на: комментарий от anonymous

Нет, у встройки дрова сносить не надо, она останется единственной видеокартой в системе.

Я так понимаю в биосе надо приоритетной выставить эту P104-100

Нет, она не видится биосом как видеокарта

tiinn ★★★★★
()
Ответ на: комментарий от James_Holden

Ну и, что там SD 1.5 рисует на такой маленькой картинке, и сколько там чудес косяков, можно себе представить.

Да, но полуторка делает хорошо развилки дорог, слияния рек, горные гряды, многоногих существ - достаточно просто растянуть холст до 1024х512.

Иногда, просто выдаёт прикольный визуальный стиль.

tiinn ★★★★★
()
Ответ на: комментарий от James_Holden

Что-то это совсем крайне печально, по сравнению с нормальным железом для задачи.

У мя стояла задача вкатиться максимально занедорого, для этого карточка прям огонь.

tiinn ★★★★★
()
Ответ на: комментарий от tiinn

У меня две полу-убитые P106-100. Я так понимаю они аналогично по скорости работают? Интересно, насколько интерфейс PCI-E 1.1 влияет на скорость работы.

bookman900 ★★★★★
()
Ответ на: комментарий от bookman900

Кстати, если я правильно понял, у вас карты с 6Гб RAM, тогда Forge Stable Diffusion для вас то, что доктор прописал. Обещают прирост производительности в 60%, по сравнению с Automatic1111

tiinn ★★★★★
()
Ответ на: комментарий от anonymous

Посмотрел. Потом, в настройках Nvidia будет один-единственный раздел «Управление счетчиками производительности ГП», надо радиокнопку поставить против пункта «Предоставление доступа к счетчикам производительности ГП всем пользователям», у меня без этого не работало.

tiinn ★★★★★
()
  1. Одна видяха 8 гигов и / или восьмиядерник / 16 гигов. Больше - лучше.
  2. Да. Radeon-rocm, nvidia-cuda. Intel-net (если есть вдруг вулкан, то можно через него работать)
  3. ХЗ
  4. Да, только память займёт.
  5. Нет.
  6. Если будешь гонять только на видяха, то нет.
  7. Google llama.cpp
  8. Стоит
Stage1 ★★
()

4х p104-100 прошитых на 8гб. LGA1150 мать на 4 слота pcie 16x. Xeon 1240v3 32 gb ram За 20-25к это добро можно на авито собрать.

Qwen 2.5 coder 32b gguf 6bit ctx 128 под llama-server(llama.cpp) прекрасно себя чувствует на таком железе. Входной промпт только долго может жевать, если контекст большой.

Под ллм еще можно два пк собрать по 2 гпу в каждый и на одном развернуть llama rpc server под докером(на хабре есть статья), соединить пеки гигабитным свитчом и не искать мать на 4 слота. Тут, все упирается в два сервера и стабильность/скорость сети. Либо райзерами обмазаться, если брать майнерскую мамку, только там будет pcie 1x со всеми вытекающими через узкое горлышко. Хотя на ллмках это не сильно чувствуется. 1x сравним по скорости с гигабитной сетью.

Если нужно картинки или видео, то ComfyUI. Там сейчас много интересного появилось под бюджетные риги с сетью и мультигпу.

Сорян за оффтопик. Про ттс и стт не знаю, просто делюсь опытом.

anonymous
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.