LLM-GUIDE— два связанных справочника и ассистент поверх них: от вопроса «что такое KV-кэш» до готовой команды запуска под вашу видеокарту.
На сайте кроме интерактивного справочника по LLM и llama.cpp размещён автоматический конфигуратор, который ищет заданную модель на HuggingFace, извлекает её основные параметры, оценивает возможность запуска модели на железе, при указании величины видеопамяти (VRAM) и оперативной памяти (RAM), пишет примеры команд для запуска llama.cpp с опциями.
Существует автономный режим работы, а также режим работы с использованием LLM, которая подключается через OpenAI-совместимый интерфейс. И тогда контент сайта начинает работать как основа для RAG. Сайт не предоставляет доступ к LLM, а работает по принципу BYOK (Bring Your Own Key). Данные для доступа к модели введённые на сайте остаются в локальном хранилище браузера. Сайт о них ничего не знает, не хранит.
Алгоритмы, используемые для оценки возможности запуска той или иной модели не академические, а из реально работающего приложения, которое успешно запускает LLM на реальном железе, в том числе и достаточно ограниченном. Оговорю, что оценки даны в основном для использования CUDA/Vulkan на картах NVIDIA и/или CPU. Тестирование на картах AMD и Intel не проводилось. Так же следует учитывать и то, что выдаются рекомендованные параметры без гарантии высокой производительности - в связи с тем, что она очень сильно зависит от используемого железа, а у меня не было цели перегружать конфигуратор ещё и оценкой производительности той или иной железячной конфигурации. Поэтому расчёты отражают скорее принципы построения LLM и теорию запуска с использованием llama.cpp. Однако аналитика даёт рекомендации для повышения производительности.
Контент сайта рассчитан на уровень подготовки junior в ML/AI. Для новичков позже появится раздел «сказок» о работе нейросетей.
Конфигуратор рассчитан на использование человеком не имеющим представлений об устройстве LLM вообще. Просто скопируй команду.
Используйте. Баги пишите сюда.





