LINUX.ORG.RU

llmguide.ru - справочник и конфигуратор

 ,


0

3

LLM-GUIDE— два связанных справочника и ассистент поверх них: от вопроса «что такое KV-кэш» до готовой команды запуска под вашу видеокарту.

На сайте кроме интерактивного справочника по LLM и llama.cpp размещён автоматический конфигуратор, который ищет заданную модель на HuggingFace, извлекает её основные параметры, оценивает возможность запуска модели на железе, при указании величины видеопамяти (VRAM) и оперативной памяти (RAM), пишет примеры команд для запуска llama.cpp с опциями.

Существует автономный режим работы, а также режим работы с использованием LLM, которая подключается через OpenAI-совместимый интерфейс. И тогда контент сайта начинает работать как основа для RAG. Сайт не предоставляет доступ к LLM, а работает по принципу BYOK (Bring Your Own Key). Данные для доступа к модели введённые на сайте остаются в локальном хранилище браузера. Сайт о них ничего не знает, не хранит.

Алгоритмы, используемые для оценки возможности запуска той или иной модели не академические, а из реально работающего приложения, которое успешно запускает LLM на реальном железе, в том числе и достаточно ограниченном. Оговорю, что оценки даны в основном для использования CUDA/Vulkan на картах NVIDIA и/или CPU. Тестирование на картах AMD и Intel не проводилось. Так же следует учитывать и то, что выдаются рекомендованные параметры без гарантии высокой производительности - в связи с тем, что она очень сильно зависит от используемого железа, а у меня не было цели перегружать конфигуратор ещё и оценкой производительности той или иной железячной конфигурации. Поэтому расчёты отражают скорее принципы построения LLM и теорию запуска с использованием llama.cpp. Однако аналитика даёт рекомендации для повышения производительности.

Контент сайта рассчитан на уровень подготовки junior в ML/AI. Для новичков позже появится раздел «сказок» о работе нейросетей.

Конфигуратор рассчитан на использование человеком не имеющим представлений об устройстве LLM вообще. Просто скопируй команду.

Используйте. Баги пишите сюда.

★

Последнее исправление: drbond (всего исправлений: 3)

Попробовал конфигуратор, вбил 32 гига VRAM и 128 гигов RAM - выдает какую-то дохлятину. Это нормально?

annulen ★★★★★
()
Ответ на: комментарий от annulen

Модель, что вбивали? И текст вывода, желательно.

drbond ★
() автор топика

Вбил в конфигуратор 128Гб unified памяти, модель unsloth/Qwen3.8-Flash-Next-UD-Q4_K_XL, контекст 264000 Пишет - не влезает, даже с уменьшением контекста вдвое. А в реальности оно отлично влезает.

Beewek ★★★★
()
Ответ на: комментарий от mord0d

Ага, щаз!

Ну тогда, не используйте :)

drbond ★
() автор топика
Последнее исправление: drbond (всего исправлений: 1)
Ответ на: комментарий от Beewek

Спасибо! Есть глюк с раcчётом под unified - не заметил сразу. Поправлю.

drbond ★
() автор топика

Используйте. Баги пишите сюда.

Если кликнуть мышкой в любом пустом месте в правой области, то перестает работать прокрутка оглавления с помощью курсора мышки. Схватиться за полоску (шириной в один пиксель) невозможно. Если кликнуть по заголовку страницы - то тогда схватиться можно и прокрутка начинает работать.

Xintrea ★★★★★
()

Походу, нерослоп автор вообще не вычитывал. Стиль ужасен.

"... движок, который выполняет этот цикл на вашем железе: грузит веса в GGUF"

Вот что должен понять человек? Что GGUF - это какое-то место куда грузятся веса? Может быть, стоило написать «грузит веса в формате GGUF»?

«Модель — не константа: конкретные имена в этой статье заземлены на llama.cpp v1.0.0 (пресеты и примеры из закупленных docs)»

Фак мой мозг. Что значит «имена заземлены»? Что значит «закупленные docs»? Кто организовывал закупки каких-то неведомых docs-ов и зачем? Сколько эти docs стоили? Почему мы должны знать что docs были закуплены?

Ну и т.д.

Xintrea ★★★★★
()
Ответ на: комментарий от Xintrea

Спасибо, за замечание. Проверю текст ещё раз, хотя на мой взгляд всё понятно. Про docs - да, пропустил.

drbond ★
() автор топика
Ответ на: комментарий от drbond

хотя на мой взгляд всё понятно

Ну прочитай раздел про Attention. После его прочтения возникает вопрос: что такое Attention?

Xintrea ★★★★★
()
Ответ на: комментарий от Xintrea

Вот поэтому и нужен взгляд со стороны. Моя профессиональная деформация всё воспринимает нормально :) Отредактирую в человеческий вид. Спасибо!

drbond ★
() автор топика
Ответ на: комментарий от annulen

Попробовал конфигуратор, вбил 32 гига VRAM и 128 гигов RAM - выдает какую-то дохлятину. Это нормально?

Не думаю, что нормально. С утра были глюки в работе конфигуратора. Сейчас должен работать в стабильном режиме.

drbond ★
() автор топика
Ответ на: комментарий от drbond

Сейчас должен работать в стабильном режиме.

Из популярного на HF ничего не влезает в unified 128 ГиБ. Увеличьте бюджет или заполните ручной профиль ниже.

сириусли?!

aol ★★★★★
()
Ответ на: комментарий от aol

Да, баг. В таком сочетании параметров не тестировалось. Спасибо за обнаружение!

drbond ★
() автор топика
Ответ на: комментарий от Xintrea

То же, что и Ахтунг, только на слегка другом языке.

// Простите, не удержался.

hobbit ★★★★★
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.