Ранее публиковал здесь новость. Испытал ~трепет~ от реакции форума. Однако, сейчас продукт активно развивается и, возможно, кто-то скачал ранее, кому-то он будет интересен. При разработке используется ИИ, а именно модель GLM-5.3. Ревью, отладка - человек (то бишь я).
Что это и зачем:
llmhost предназначен для локального запуска больших языковых моделей (LLM) под ОС: Linux, Windows, macOS. Обеспечиваются приватность и возможность работы в автономной среде. Это обёртка над llama.cpp, которая, используя оптимизированные, автоматически вычисляемые параметры запуска LLM, позволяет достичь наиболее полной утилизации системных ресурсов и значительно увеличить скорость инференса LLM.
Приложение состоит из llmhostd — фоновой службы, которая запускает модели и следит за памятью видеокарт, а также из lhctl — консольного интерфейса на базе TUI, позволяющего управлять работой приложения, загружать модели из каталога HuggingFace, изменять параметры генерации (ctx, MTP, vision и др.), управлять движками, на которых работает приложение, создавать токены для доступа к API приложения и управлять ими.
В качестве ядра используются официальные сборки llama.cpp, без своих патчей.
В чём отличие от Strata - универсальность. Запускаем все открытые модели. В чём отличие от Ollama - производительность. Существенно выше. vs-ollama . В чём отличие от всех? Встроенный графический движок для моделей генерации изображений через единый API. В сети работает. Защита токеном из коробки.
Документация, руководство, результаты тестирования доступны на GitHub
Разработка и тестирование ведутся на Ubuntu. На других дистрибутивах полноценная работоспособность не гарантируется - тестирование не проводилось. Установка - из под пользователя. Исполняемые файлы ставятся в ~/.local/lib/llmhost, симлинк lhctl - в ~/.local/bin, служба - systemd user-юнит, данные - ~/.local/share/llmhost; всё размещается в домашнем каталоге. В системе для правильной установки приложения должны быть curl, tar, sha256sum и systemd.
curl -fsSL https://github.com/bkisonka/llmhost/releases/latest/download/install.sh | sh
Перемещено Dimez из talks
