LINUX.ORG.RU

whisper.cpp 1.9.0 и 1.9.1

 , , , ,


2

1

17 и 19 июня состоялись выпуски 1.9.0 и 1.9.1 высокопроизводительной системы автоматического распознавания речи whisper.cpp, реализующей модель Whisper от OpenAI, и основанной на тензорной библиотеке машинного обучения GGML и двоичном формате GGUF.

Предоставляется библиотека libwhisper, демонстрационные примеры и консольные утилиты: whisper-bench, whisper-cli, whisper-command, whisper-lsp, whisper-quantize, whisper-server, whisper-stream, whisper-vad-speech-segments, parakeet-cli и parakeet-quantize.

Проекты написаны на языках C и C++ и распространяются по лицензии MIT.

Изменения:

  • добавлена консольная утилита parakeet-cli, поддерживающая модель NVIDIA Parakeet;
  • во враппер Ruby также добавлена поддержка NVIDIA Parakeet.

Некоторые важные изменения, сделанные в промежуточных версиях со времени новости whisper.cpp 1.8.0:

  • обработка исключений C++ в функции whisper_init_with_params_no_state;
  • полностью переписана поддержка ffmpeg (без использования GPL-кода, взятого из примеров ffmpeg), и уточнено использование ffmpeg в whisper.cpp;
  • в утилиту whisper-cli добавлена опция --version для вывода версии.

>>> Подробности на GitHub

★★★★★

Проверено: maxcom ()
Последнее исправление: maxcom (всего исправлений: 2)
Ответ на: комментарий от gagarin0

$ whisper-stream --capture <id> --model <...>

-c ID, –capture ID [-1 ] capture device ID

dataman ★★★★★
() автор топика
Ответ на: комментарий от gagarin0

Посмотри последнюю мою тему, там AI-ассистент использует Whisper для STT-ввода (вдобавок к TTS-выводу через Silero) в реальном времени (или насколько я смог подобраться к этому)

mazdai ★★★
()
Последнее исправление: mazdai (всего исправлений: 1)
Ответ на: комментарий от gagarin0

у кого-нибудь получалось при помощи whisper распознавать речь в real-time (или близко к этому)?

На видеокарте или Ryzen 9 — гораздо быстрее реального времени. На Вишере с 4 физическими ядрами — турбо-модель примерно втрое дольше воспроизведения.

question4 ★★★★★
()
Последнее исправление: question4 (всего исправлений: 1)
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.