whisper.cpp 1.8.0

Один из лучших даров искусственного интеллекта, жаль, что заточено по куду и метал, а АМД отсталые, даже через вулкан сложно завести.

На амд rx9070 большая турбо модель выдает около 40х. Билд специальный с поддержкой вулкана. И этот же билд не работает на встройке от райзена 2ххх Ж(

Там вроде бы как zluda релизнулась, как раз тот случай когда она должна помочь в теории.

Да я уже под это дело 5060ti 16gb взял, горестно было смотреть как CPU надрывается в соло )

Опция -fa, --flash-attn теперь включена по умолчанию.

Нафига?! Оно без AVX2 делает только хуже. Понятно что современное железо уже давно поддерживает AVX2 и даже AVX512, но алё…

В server.cpp добавлена опция -nlp, --no-language-probabilities для отключения вычисления вероятности языка в подробном выводе в формате JSON. Это дорогостоящая операция, которая значительно увеличивает задержку ответов.

Если бы оно ещё и модель умело выбирать…

АМД отсталые, даже через вулкан сложно завести

llama.cpp нормально заводит модели на моей Radeon 9800XT через ROCm (правда, на оффтопике). Я к тому, что было бы желание...

Я к тому, что было бы желание…

Есть две сложности:

• Оно должно поддерживаться апстримом хотя бы на базовом уровне;
• Нужно иметь желание пердолиться с частным случаем неработоспособности конкретно твоего сетапа.

Тут nvidia педалит тем, что они содействуют всей этой движухе вокруг AI (тьфу так называть, но ладно) со своей стороны.

Radeon 9800XT

The Radeon 9800 XT was a graphics card by ATI, launched on October 1st, 2003.

Няя?

Ой, сорри... Radeon RX 7800XT (RDNA3).

А оно вообще работает? Кто знает?

Я лично сомневаюсь. Но сам не пользовался.

А оно вообще работает?
Я лично сомневаюсь.

А скриншоты не убедили?

А оно вообще работает? Кто знает?

Весьма сносно работает.

То что тут про видяхи начали - ты ж это не смотри. Оно и на cpu могёт, только впрос в производительности. Если тебе посмотреть и понять (или просто никуда не торопишься) можно и на ноуте со встройкой поковырять. :)

Так вопрос в производительности один из главных в такой модели.

Либо на CPU с 8/16 ядрами 5 часов расшифровывает за 12 часов, либо с GPU за часик.

Вопрос был «вообще работает ли?», что я понимаю как вопрос о качестве расшифровок. Для того чтобы понять подойдет ли к твоему персональному кейсу можно разок и на ночь оставить)

А оно вообще работает?

1.7.x с моделью Turbo очень хорошо работают с русским, английским, французским, немецким, украинским, китайским. (С тамильским не вышло.) Нередко правильно расставляют знаки препинания. Один раз опознало Трампа и подписало его реплики. Проблемы есть, когда несколько языков вперемешку. Или когда речь глушится музыкой.

Недостаток — низкая скорость. С Turbo моделью на 4 ядрах CPU 1.7.x с BLAS примерно втрое медленнее распознаваемой звуковой дорожки. Без BLAS — вчетверо. Для сравнения, питоновый Vosk немного быстрее звуковой дорожки, часовой фильм анализирует минут 55.

Tiny модель в тех же условиях делает намного больше ошибок, но работает в 2 с лишним раза быстрее звуковой дорожки.

Другой недостаток 1.7.х — ограниченная поддержка форматов, но наблюдается явный прогресс. 1.7.0 понимала только 16-битный WAV, 1.7.5 нормально обрабатывает звуковые файлы AAC, MP3 и Opus, но не работает с видео в MP4. Сейчас соберу и попробую 1.8.0.

Собирал командами:

cmake -B build -D WHISPER_FFMPEG=yes -DGGML_BLAS=1 
cmake --build build -j --config Release

Результаты проверки на первом попавшемся медиафайле (польский сатирический ролик на тему дроноистерии) с нейросетью ggml-large-v3-turbo-q8_0: 42-секундное видео распознавалось 1.7.5 112-117 секунд, а 1.8.0 — 160-161 секунду. CPU, задействовались все 4 ядра. На MP4 была куча ошибок [aac @ 0x565434562300] channel element 2.0 is not allocated, но вопреки обыкновению всё распозналось.

По содержанию: 1.7.5 пропустил реплику «Szahed!», а 1.8.0 транскрибировал её как «Ruski dron!» Оба варианта, на мой взгляд, неверны.

Снижение скорости меня не устраивает, пока остаюсь на 1.7.5.

С Turbo моделью на 4 ядрах CPU 1.7.x с BLAS пример

Хм, там же написано, что Турбо не для русского языка - The default setting (which selects the turbo model) works well for transcribing English. However, the turbo model is not trained for translation tasks. If you need to translate non-English speech into English, use one of the multilingual models (tiny, base, small, medium, large) instead of turbo.

https://github.com/openai/whisper

А так по мне Large-V2 очень хорош и шустрый

Эх, а я обрадовался, что 9080XT всё-таки выпустили :(

Я просто в своё время триггернулся с новости, что на 9xxx RDNA4 планируется выпускать только mid-сегмент + неопределённость на рынке. Де-факто, со своей 7800XT я пролюбил только лучи относительно 9070. Во всём остальном --- карта вполне себе. Возможность запускать хоть что-то через llama.cpp --- вообще отвал башки.

However, the turbo model is not trained for translation tasks.

«Translation», а не «transcription». Перевод, а не транскрибирование.

Да, перевод на английский работает криво. Перевод на другие языки работает спорадически и не всегда к месту :) Но для одноязычных всё хорошо.

Нет.

Ясно. Просто я с прогой под оффтоп дело имел, было дело.

Я понял, спасибо.