20 августа состоялся первый публичный выпуск кроссплатформенного плагина для Qt Creator llama.qtcreator.
Плагин предназначен для автодополнения текста с помощью локальных LLM-моделей с использованием сервера llama.cpp.
Возможности плагина:
- Автоматическая подсказка при движении курсора.
- Включение/выключение подсказки вручную с помощью клавиш
Ctrl+G
. - Принятие подсказки клавишей
Tab
. - Принятие первой строки подсказки клавишами
Shift+Tab
. - Управление максимальным временем генерации текста.
- Настройка области контекста вокруг курсора.
- Кольцевая очередь контекстов запроса с данными из открытых или редактируемых файлов и буфера обмена.
- Поддержка очень больших контекстов даже на низкопроизводительном оборудовании благодаря интеллектуальному повторному использованию контекста.
- Поддержка спекулятивных моделей FIM.
- Поддержка спекулятивного декодирования.
- Отображение статистики производительности.
Проект написан на языке C++ и распространяется по лицензии MIT.
Для установки доступны сборки для Linux, macOS и Windows.
Рекомендуемые объёмы VRAM и модели:
> 16GB | $ llama-server --fim-qwen-7b-default |
< 16GB | $ llama-server --fim-qwen-3b-default |
< 8GB | $ llama-server --fim-qwen-1.5b-default |
>>> Подробности и бинарные файлы (для Qt Creator 17.0.0) на GitHub