30 сентября, после трёх месяцев разработки, состоялся выпуск 1.8.0 высокопроизводительной системы автоматического распознавания речи whisper.cpp, реализующей модель Whisper от OpenAI на языках C и C++ и распространяемой по лицензии MIT.
В проекте используется авторская тензорная библиотека машинного обучения GGML, написанная на языке C.
Основные изменения:
- Опция
-fa, --flash-attnтеперь включена по умолчанию. - Улучшена производительность для ряда платформ.
- В
server.cppдобавлена поддержка параметраdtw.paramsдля моделиv3-large-turbo. - В
server.cppдобавлена опция-nlp, --no-language-probabilitiesдля отключения вычисления вероятности языка в подробном выводе в формате JSON. Это дорогостоящая операция, которая значительно увеличивает задержку ответов. - Исправлена ошибка, приводящая к сбою при выборе устройства GPU в системах с несколькими графическими процессорами.
- Предпочтение
curlвместоwgetв скриптах загрузки моделей. - Обновлена библиотека GGML.
- Другие улучшения и исправления ошибок.
