LINUX.ORG.RU

LLM: какие бывают? Где брать? Как пользоваться?

 ,


24

6

Май 2026. Большие языковые модели перестали быть диковинкой. И даже на ЛОРе под аккомпанемент из ворчания «старичков» появился раздел про ИИшечку. Правда, выясняется, что далеко не все даже в технарском сообществе знают, что собой представляет современный ландшафт ЛЛМок: что они умеют, как их применяют, зачем они вообще нужны.

Серьезно усложняют погружение в актуальный контекст (в человеческом смысле слова) блокировки со стороны западных разработчиков и провайдеров, блокировки от родного РКН и (с недавних пор) ФСБ. Отсюда следуют: платёжные ограничения, обилие китайских альтернатив, собственные разработки Яндекса и Сбера как бенчмарк и пример LLM ( последний пункт - это очень, очень плохо).

Поэтому в недрах моей черепной коробки и на серверах Shēndù Qiúsuǒ (в большей степени) родился следующий текст. Он о том, как большинство пользователей знакомится с БЯМами, какие этапы в работе с модельками проходит, и какие есть варианты выбора в море способов взаимодействия с очень Искусственным не очень Интеллектом.

Двигаемся по уровням погружения.


Первое касание: веб-чаты

Вы только знакомитесь с LLM. У вас нет ни API-ключа, ни желания разбираться с токенами и эндпоинтами. Нужна вкладка в браузере, куда можно написать вопрос и получить ответ. Благо, в 2026 году вариантов — море. Начнём с того, что доступно прямо здесь и сейчас, без обмазывания проксями и ВПНами, бесплатно, иногда с СМС.

DeepSeek — главный хит среди китайских чатов. Регистрация по email, с апреля - модель V4-Pro с контекстным окном в миллион токенов. Работает только с текстом и файлами, генерации изображений нет. Бесплатно.

Qwen Chat от Alibaba — если хочется мультимодальности. Генерация изображений? Встроена. Видеопонимание? Пожалуйста. Голосовой ввод? Есть. Qwen Studio позволяет переключаться между разными версиями моделей. Есть мостик к тем самым кодинг-агентам (о них позже) - кодинг-режим прямо из веб-интерфейса. С возможность подключения своего git-репо, с работой в git-образном окошке.

Kimi от Moonshot AI навалил массу фич прямо в веб интерфейс. Тут и кодинг-окошко, и конструктор сайтов. И даже мечта офисного работника - автогенерация презенташек. Загрузил документ — получил готовый PPT.

Doubao (ByteDance) делает ставку на голосовой диалог — естественную речь, AI-персонажей, экосистему TikTok. Можно делать картинки, переводить тексть, выполнять домашку. Модно, молодежно, для неразвлекательных целей - малоприменимо.

Ernie Bot (Baidu) и Spark (iFlytek) — ещё два китайских товарища. Ernie щеголяет плагинами и интеграцией с поиском Baidu, Spark — лучшими в Китае голосовыми технологиями и мультяшными цифровыми аватарками. Для российского пользователя - не особо полезно.

z.ai — Хороший базовый набор в веб-чате: генерация текстов, слайдов, таблиц, дашбордов, кода. Из России работает нестабильно, могут не работать некоторые функции. Годится в качестве тест-режима модельки GLM-5.1 перед покупкой API-ключа.

MiniMax — Комбайн в вебе: тут и «агенты», и «скиллы», и создание артефактов от табличек до видео. Фишка - режим «Эксперты»: режим диалога с моделью системными промптами и MCP заточенной под конкретные задачи. Раньше много было бесплатно, теперь эти функции - в месячном «триале» перед базовой подпиской.

StepFun / 阶跃AI — Дипсик на минималках. Примечателен бешеным количеством рекламы: продвигают свой форк OpenClaw и API-подписку к нему.

Все эти чаты доступны из России без VPN. Минус: часть требует китайский номер для регистрации.

Российские решения — варианта два и оба так себе: YandexGPT aka AlisaAI и GigaChat. Отстают от флагманов западного моделестроения очень сильно. Для серьезной работы (по крайней мере, с текстами, картинками и видео) - почти не пригодны. Но плюcы, конечно есть. Русский язык для них родной. YandexGPT встроен в поиск Яндекса, в Алису, в сервис «Яндекс 300» (гусары,молчать!) - краткий пересказ статей, подкастов и видео. GigaChat от Сбера умеет генерировать изображения (Kandinsky) прямо в чате. Оба работают без VPN, Яндекс еще и доступен при режиме «белых списков» (почти всегда), принимают российские карты для премиум-функций.

А теперь — веб-чаты, которые без VPN не открываются: ChatGPT, Claude, Gemini, Grok, Perplexity, Mistral, Microsoft Copilot, запрещенная и экстремистская Meta AI. Это западные флагманы. У каждого — арсенал уникальных фич: Artifacts у Claude, Canvas и GPTs у ChatGPT, Perplexity с полным цитированием источников. Есть все, что и у web-реализаций из Поднебесной и с горкой. Но дверь заперта. Нужны VPN и, для платных подписок, иностранная карта. Досадно, но ладно.


Коготок (claw) застрял - всей птичке пропасть: связка Агент + API

Вы распробовали чаты. Теперь хочется большего: чтобы нейросеть работала с кодом, файловой системой, терминалом. Чтобы сама коммитила в Git, открывала PR, запускала тесты. Сделала rm -rf /*, наконец. Для этого нужны две вещи: агент(к агентности в философском или daemon смысле не имеет никакого отношения, просто так повелось называть) - это софт, который оркестрирует взаимодействие и предоставляет инструметы расширяюшие или ограничивающие работу модели и API-провайдер - тот, кто поставляет доступ к самой LLM, развернутой на серверах китайских товарищей или буржуйских супостатов.

Поставщики «мозгов» бывают двух сортов

Вендоры — разработчики моделей: OpenAI, Anthropic, Google (бесплатные flash-модели по API!!!), DeepSeek, Alibaba (Qwen), Z.ai API, MiMo (Xiaomi). У них прямой доступ к собственным моделям. Агрегаторы — посредники, собирающие модели от разных вендоров под одной крышей: OpenRouter есть бесплатный план, DeepInfra, Together AI, Groq есть бесплатный план, Fireworks AI, OpenCode (Zen/Go) есть бесплатный план, Cerebras есть бесплатный план. Список можно продолжать и продолжать, заканчивая помойками-однодневками от успешных васянов с ветхими стойками в древних ЦОДах. Отмечу, многие из агрегаторов не только продают доступ к общим инференс-инстансам, для солидных господ есть предложения о покупке отдельного инстанса или, натурально, выделенного вычислительного кластера для рассупонивания модельки.

Отдельного упоминания стоит nVidia - эти ребята производят не только лучшие GPU и NPU на сегодняшний день, они еще и файн-тюнят открытые модельки, предоставляют API и держат репозиторий открытых моделей (что это и зачем - дальше по тексту). Почти все провайдеры требуют иностранную карту. Но есть обходные пути: оформление иностранных карт, посредники с разнообразных платежных сервисов (тысячи их), старая добрая крипта.

Российские вендоры YandexGPT и GigaChat тоже предоставляют доступ к моделькам через API. Полная поддержка российских карт, данные на серверах в РФ. GigaChat даёт 1M токенов бесплатно при регистрации. Кто-то пользуется.

Агенты: open-source и проприетарные

Агент — это программа, которая превращает LLM из собеседника в деятеля. Агент читает код, пишет файлы, запускает команды, ищет в интернете, подключается к базам данных. Его принято ставить в Doker’ы, на виртуалки, на отдельные ПК (все любят MAC mini). На самом деле, если вы не кулхацкер, то для задач регулярной генерации текстов, создания скриптов для локальных автоматизаций, кодинга своего уютного сайтика - вполне можно разворачивать локально на машинке в юзер-директории (большинство агентов сами вам напомнят, что надо высовывать в сеть, а что нет, и в каких случаях). Так или иначе, все инструменты из нашего обзора делятся на три лагеря:

Open-source агенты:

OpenCode (150K ★) — CLI/Desktop/IDE/Web. TypeScript. Поддерживает 75+ провайдеров, включая локальные модели. Может работать в headless-режиме. Кроссплатформенный. Универсальный. Cline (61.5K ★) — расширение VS Code. MCP из коробки, умеет генерировать MCP-серверы прямо из чата. Подтверждение каждого действия (human-in-the-loop). Kilocode (19K ★) — позиционируется как «инженерная платформа», кроссплатформенный, расширенный функции автоматизации/ выполнения циклических задач. Aider (44.5K ★) — CLI, Python. Фишка: Repomap — карта репозитория для навигации модели. Qwen Code (24K ★) — CLI от Alibaba. Заточен под семейство Qwen, но работает с любыми моделями. Поддержка Skills и SubAgents. Roo Code (24K ★) — форк Cline с фокусом на кастомизацию режимов. Поддерживает русский язык в интерфейсе. LangChain, CrewAI, AutoGPT, MetaGPT, Qwen Agent — фреймворки для построения собственных агентных систем. От библиотек до платформ с marketplace. Pi-agent (45.8K ★) — минималистичный terminal-based harness от Mario Zechner. Философия: «адаптируй pi под себя, а не наоборот». Собственный TUI-движок. Не поддерживает MCP принципиально — всё необходимое строится через extensions. По сути — эталонный каркас для построения LLM-агентов: на его SDK построен, в частности, OpenClaw.

Проприетарные агенты:

Claude Code (Anthropic) — терминальный AI-разработчик. Автономная работа с кодом, коммиты, PR. Но: в РФ нужен и VPN, и иностранная карта. Худшая доступность. VS Code — база. Минималистичный, расширяемый. Самый распространённый. GitHub Copilot - это по сути то же самое. Cursor — AI IDE (форк VS Code). Composer 2, сверхточное автодополнение, облачные агенты. Windsurf — ещё один agentic IDE. Cascade (локальный агент) + Devin (облачный). Agent Command Center — канбан-доска для управления агентами. Antigravity (Google) — десктоп-приложение. Регионально ограничен, но сообщество поддерживает open-antigravity-patcher для обхода блокировок в РФ.

Агенты общего назначения стоят особняком от кодинг-агентов. Это не встройка в IDE и не CLI-утилита для работы с репозиторием — это персональные ассистенты, которые живут на вашем сервере/локальной машине, помнят контекст между сессиями и доступны через Telegram, Discord, Slack и другие каналы.

OpenClaw (369K ★) — лидер среди ассистентов общего назначения (см. таблицу 2.4). Это не чисто кодинг-агент, а персональный AI-ассистент с мультиканальным Gateway (24+ каналов). Агентный движок построен на Pi-agent SDK. Влияние на экосистему колоссально: именно OpenClaw популяризировал TUI-интерфейс среди массовой аудитории, а его система навыков ClawHub (5400+ skills) задала стандарт для реестров агентных умений.

Hermes Agent (104K ★) — самообучающийся агент от Nous Research. Создаёт reusable skills из опыта, улучшает их в процессе работы. Встроенный cron-планировщик, субагенты, браузерная автоматизация. 18+ LLM-провайдеров.

Важный нюанс: почти все агенты — «агностики». Они не привязаны к конкретному вендору. Вы можете направить Cline на OpenRouter, Aider — на DeepSeek API, OpenCode — на локальную Ollama. Связка выбирается под задачу и бюджет. Исключения: Claude Code работает только с моделями Anthropic; Qwen Code оптимизирован под Qwen, но принимает и другие эндпоинты.

Выбор агента — вопрос привычек (CLI/IDE/Web) и языка реализации. Выбор API — вопрос доступности, цены и качества модели для конкретной задачи. Специализированных российских AI-агентов для работы с кодом по состоянию на май 2026 не существует. YandexGPT и GigaChat — LLM общего назначения, не agentic tools. Адаптация open-source решений (Cline, Aider, Qwen Code) с локальными моделями или российскими API-провайдерами — основной путь для разработчиков и вайб-кодеров в РФ.


А внутри у ней - нейронка: плагин, память и контекст

Вы собрали связку «агент + API» и она работает. Но со временем приходит понимание: агент, который после каждой сессии «забывает» всё на свете — это пол-агента. Ему нужна память, причем такая, которая не сжигает все контекстное окно еще до старта задачи. Ему нужны инструменты, хорошо бы мониторируемые и логируемые. Не лишним будет распараллеливание работы, запуск отдельных суб-агентов. Для простых ребят, не владеющих тайным мастерством программирования, желательно, чтобы эти инструменты кто-то уже написал.

К счастью, вокруг каждого крупного агента выросла экосистема. И она быстро конвергирует к единым стандартам.

Рынок плагинов и MCP-серверы

Плагины расширяют функциональность агента — дают доступ к файловой системе, базам данных, API, браузеру, терминалу. Без плагинов агент умеет только генерировать текст.

MCP (Model Context Protocol) стал универсальным стандартом подключения инструментов. Репозиторий modelcontextprotocol/servers — 85K звёзд, 10K форков, тысячи community-серверов. MCP работает через stdio или HTTP/SSE, позволяет подключить любой внешний инструмент без написания кода внутри самого агента.

Самый раздутый маркетплейс — ClawHub у OpenClaw. 5400+ скиллов, 52 тысячи инструментов, 180 тысяч пользователей, 12 миллионов загрузок. У Claude Code — официальный маркетплейс от Anthropic — 13 официальных плагинов. Cline — агент сам создаёт MCP-серверы из чата.

Реестры MCP-серверов: Smithery — Большой пул MCP общего назначения: поисковые, аналитика по блокчейнам, астрологические прогнозы. Бесплатно 50 000 вызовов в месяц.

, PulseMCP — Агрегатор MCP - сам доступ не раздает. Все серверы свалены в кучу, не для всех опубликованы эндпоинты (т.е. нашел какой-то MCP - идешь к провайдеру и смотришь как привязаться).

, MCPM — Фишка - есть свой «MCP Manager». Инструмент интегрируется с «ассистентами» и «кодинг-агентами» позволяет искать и настраивать MCP без походов по сайтам и репозиториям.

Скиллы (Skills)

Скилл — это не код, а инструкция + контекст. Файл SKILL.md с YAML frontmatter описывает, что агент должен делать в определённой ситуации. Модель сама решает, когда активировать скилл.

Главное отличие от плагинов: плагин добавляет новый инструмент (функцию, API-вызов), скилл добавляет новые знания и поведенческие паттерны. Скилл не требует программирования — это markdown-файл с инструкциями.

Стандарт AgentSkills (SKILL.md) — совместим между Pi, Claude Code, Cline, OpenClaw, OpenCode. YAML frontmatter содержит name, description, triggers — по ним модель определяет, какой скилл применить.

Контекст-файлы

Помимо плагинов и скиллов, поведение агента задаётся через markdown-файлы в директории проекта. Самый простой способ «настроить» агента без единой строчки кода:

ФайлНазначениеГде используется
AGENTS.mdОбщие инструкции для всех агентов в проектеOpenClaw, Cline, Codex, Cursor и др.
SOUL.mdЛичность, стиль общения, ценности агентаOpenClaw, Hermes Agent
TOOLS.mdОписание доступных инструментовOpenClaw
USER.mdПрофиль пользователя: предпочтения, стильHermes Agent, OpenClaw, и др.
MEMORY.mdДолговременная память агентаHermes Agent
.clinerulesПравила поведения для ClineCline
.cursorrulesПравила поведения для CursorCursor

Эти файлы автоматически подхватываются агентом при старте сессии и инжектируются в системный промпт. Их можно версионировать в Git.

Память агента — иногда за нее нужно платить

Агент который знает и помнит все про вашу машину, про вас, про ваши привычки. Страшно… очень страшно… Но значительной части юзеров именно это и надо. Чтобы агент поддерживал стиль общения, помнил, над чем вы с ним работаете, дольше одной сессии.

Типы памяти: session (внутри одной сессии), cross-session (предпочтения между сессиями), long-term / archival (архив с recall-механизмом).

Mem0 (55K ★, Apache 2.0) — де-факто стандарт. Алгоритм v3 (апрель 2026): single-pass ADD-only экстракция, entity linking, multi-signal retrieval. Бенчмарки: 91.6 на LoCoMo, 93.4 на LongMemEval. Self-hosted: pip install mem0ai или docker compose up.

Letta (ex-MemGPT, 22.5K ★) — self-editing memory: агент сам обновляет свою память. Архивная память + recall.

LangMem (MIT) — Memory SDK для LangGraph-агентов.

Векторные базы как фундамент памяти

Любое memory-решение опирается на векторную БД. Для продвинутых пользователей — возможность развернуть свой memory backend без готовых решений.

Milvus (44K ★), Qdrant (31K ★), ChromaDB (28K ★), Weaviate (16K ★) — все open-source, все разворачиваются локально в Docker, все бесплатны.

Когда нужна векторная БД: если вы строите RAG-систему, работаете с большими документами, или хотите кастомную память агента с семантическим поиском. Для большинства пользователей достаточно Mem0 (self-hosted) с ChromaDB — это минимум кода и максимум результата.

Экосистема расширений — то, что превращает агента из игрушки в инструмент. Плагины и скиллы добавляют способности. Memory-решения добавляют контекст между сессиями. Векторные БД — фундамент. Почти всё open-source и работает локально — российскому пользователю здесь вольготно.


Полный суверенитет и абсолютное погружение: локальный инференс

Вы преисполнились. Вам мало облачных API. Хочется, чтобы модель работала на вашем железе, без интернета, без лимитов, без оглядки на чужие серверы. Все - мы в стадии локального развертывания БЯМ. Здесь три составляющих: где брать модели, чем их запускать и на чём их запускать. Ответ на последний вопрос суперпростой - на чем угодно. Современные модели постояннно оптимизируются под «слабенькие» железки, снижают требования к объему памяти и вычислительной мощности квантизацией и ротацией активных параметров. Видеокарта НЕ обязательна - большинство инструментов запуска (почти у всех под капотом llama.cpp) прекрасно работает как с GPU, так и со связкой CPU+RAM. Отсюда стандартный вывод: много оперативы не бывает.

Репозитории моделей

Главный хаб планеты — Hugging Face. 2 миллиона моделей. Доступен из России без VPN (май 2026). Некоторые российские аккаунты удалены, но сам сайт открыт. При больших загрузках может барахлить без VPN.

ModelScope — китайский аналог HF от Alibaba. Эксклюзивные китайские модели, которых нет на Hugging Face.

Ollama Library — встроенный реестр моделей для инструмента Ollama.

CivitAI — репозиторий моделей для генерации изображений (Stable Diffusion, Flux).

Собственного российского репозитория нет. Российские открытые модели — это практически исключительно экосистема Сбера (GigaChat, ruGPT, Kandinsky), выложенные организацией ai-sage на Hugging Face. Яндекс веса не публикует.

Инструменты запуска

llama.cpp (109K ★) — фундамент всего. Чистый C++, без внешних зависимостей. Компилируется под всё: от серверной стойки с 8×H100 до Android-телефона. Поддерживает 200+ архитектур, квантование от 1.5 до 8 бит. Multi-node через RPC. OpenAI-совместимый API-сервер.

Ollama (109K ★) — проприетарная обёртка над llama.cpp, доведённая до состояния «скачал и заработало». Одна команда ollama run llama3 — и модель отвечает. Есть платный облачный уровень Pro/Max.

vLLM (79.3K ★) — инструмент для продакшена. Python, PagedAttention, continuous batching. Максимальная пропускная способность при массовых запросах. Multi-node. pip install vllm — и поехали.

SGLang (18K ★) — инференс-комбайн на Питоне. Есть отдельный режим оптимизации запуска на CPU-only сборках.

ExLlamaV3 (4.5K ★) — простое решение для простых моделек. Заявлена оптимизация под инференс на потребительских видеокарточках.

TensorRT-LLM (12K ★) — инференс-решение от nVidia - нуф сказал

LM Studio — десктопное приложение с GUI. Встроенный каталог моделей: выбрал → скачал → запустил. OpenAI-совместимый API из коробки. Бесплатно для коммерческого использования.

Open WebUI (137K ★, 290M+ загрузок) — комбайн для запуска модели сразу с интерфейсом. Подхватывает мультимодальные модельки и дает им интерфейсы для создания картинок, звуков видео. По сути инструмент инференса+сервер+агент в одном флаконе.

Jan (82K ★) — просто чятик, который можно оживить оптимизированными Qwen-модельками или, через небольшие танцы с бубном, любой моделькой.

LocalAI (26K ★) — Очередной комбайн «для всего». Особенность: поддерживается куча бэкенд-версий, отсюда теоретическая возможность запуска почти на любом относительно современном железе. Есть CPU-only

Когда что выбирать:

  • Просто запустить модель → Ollama (ollama run llama3) или LM Studio (GUI)
  • Максимум контроля → llama.cpp напрямую (C++, квантование, все платформы)
  • Продакшен с высокой нагрузкой → vLLM (универсальный) или SGLang (RAG/multi-turn, структурированный вывод)
  • Полноценная self-hosted платформа → Open WebUI поверх Ollama/vLLM (multi-user, RAG, MCP, функции)
  • Apple Silicon → MLX (разработан Apple, нативная оптимизация)
  • Максимум на NVIDIA → TensorRT-LLM (H100/B200, FP4)

Российских инструментов для локального инференса нет. Российские модели запускаются через международные инструменты — те же GGUF-квантизации GigaChat 3.1 работают в llama.cpp и Ollama без проблем.

Напоследок

Является ли этот гайд/обзор полным и исчерпывающим? Конечно нет. Во первых все онлан-чятики, провайдеров API, кодинг-агентов, различных около-ИИшных утилит и инструментов - не переназвать. Во ворых отрасль развивается очень быстро, и также быстро устареет этот материал. Где-то в середине лета выйдут новые крупные западные и китайские модели (скриньте этот твит). Скорее всего, еще раньше появится новая «хайповая» тема - навроде OpenClaw в начале этого года. Но парой вещей эта портянка ценна: она описывает логику знакомства обычного работяги с БЯМами, плюс тут очень много ссылочек на всяческую халяву и опен-сорц. Надеюсь, вам пригодится.

UPD: 17 мая 2026 года. Учтены замечания в комментариях: добавлены z.ai, minimax и другие модели и провайдеры. Добавлены инструменты Copilot и Codex. Переработан блок с плагинами и скиллами, добавлено описание контекст-файлов. Значительно обновлен раздел про инференс.



Проверено: hobbit ()
Последнее исправление: hobbit (всего исправлений: 6)
Ответ на: комментарий от LightDiver

Нет, в толксы пишут потому что хотят пофлудить. А если не разобрался - то в General.

firkax ★★★★★
()
Ответ на: комментарий от water_closed

как ее прикрутить к схеме типа Client <-> API <-> Backend

Хорошо спросил. Но эта тема - отдельная и большая. Простейший вариант такой схемы - пресловутый Open WebUI или любой другой комбайн.

Как настроить оркестрацию и тулзы у разных провайдеров

Вот тут и я не настоящий сварщик. Ручками это делать не умею. Многие инструменты сами спрашивают себе эндпоинт. Если так, то все просто: API твоей подписки + конкретный адрес вызова (в документации провайдера обычно все прописано).

ivbor
() автор топика
Ответ на: комментарий от LightDiver

Хейтеры будут хейтить. Но реальность такова, что ИИ-шные сервисы и инструменты - это уже мейнстрим. Я это понял года 1,5 - 2 назад, когда в топе моделек на HuggingFace были сплошь генеративные сетки разлоченные для создания порнокартинок. Если главная отрасль Интернета подхватила технологию, значит она уже успешна.

Сегодня на работе утро началось с удивления. Битрикс вкрутил ИИ-агента. Теперь это «Битрикс24 Вайбкод».

ivbor
() автор топика
28 июня 2026 г.

Ничего не понял. Вот мне, например, надо чтобы кто-то ходил на сайт «Правды» и мониторил: не появилась ли новая статья о деятельности третьего Интернационала? Если появилась, то отсылает её для анализа Gemini. Кто это будет делать?

Stalin ★★★★★
()
22 октября 2026 г.

Вы распробовали чаты. Теперь хочется большего

Тут на хабре прилетела статья от мужика, который от применения ИИ в разработке сначала сильно очаровался, потом страшно разочаровался, потом научился его правильно применять – в общем, всё как обычно. Так вот, он там интересный тезис высказал:

Мне кажется, что пока не разобрался с ИИ в обычном чате — лезть в агентов не только бесполезно, но даже опасно. Это как не научившись медленно ездить с инструктором по учебной площадке, сразу влезть за руль гоночного болида или даже просто слишком резвой спортивной машины. В целом, если очень хочется, то можно, и скучно не будет, но скорее выгоришь и разобьёшься, чем доберёшься до пункта назначения.

Понятно, что абсолютизировать это наблюдение не надо (это делают только ситхи), я, например, уже почти созрел для того, чтобы добавить автоматизации, поскольку в чате его всякий раз надо тыкать в прямую ссылку того, что надо доработать, иначе он будет брать свою старую версию вместо того, что надо, да и результат забирать довольно колготное занятие. Но наблюдение интересное.

hobbit ★★★★★
()
Последнее исправление: hobbit (всего исправлений: 2)
Ответ на: комментарий от wandrien

deepseek лучше чем GLM, если честно. не знаю насчёт поиска, но программирует лучше. вчера буквально на опенроутере $5 на GLM потратил и задачу не выполнил. после этого взял дипсик v4 pro там же, и за $2 выполнил задачу (задача была перенести код с одного языка на другой, небольшой кусочек, строк 500)

AndreyKl ★★★★★
()

А с помощью openclaw можно ли заливать посты на ЛОР?

Bakamashine
()

Про kobold.cpp можно упомянуть,как локальный инференс-форк проекта llama.cpp,работающий из коробки и более близкий по духу к оригиналу,чем замаравшая себя нечистоплотностью ollama

Ну а вообще не там бисер мечешь- тут противники прогресса, считающие,что код нужно обязательно понимать самому и уметь оддебажить вручную

james
()

Серьезно усложняют погружение в актуальный контекст (в человеческом смысле слова) блокировки со стороны западных разработчиков и провайдеров, блокировки от родного РКН и (с недавних пор) ФСБ.

Ну если руки из попы, то да усложняют. Мне чёт ничего не усложняют.

keeper_b ★★★★★
()

Добавьте еще и crush жрет меньше памяти и отдельно для уменьшение токенов RTK и ponytail , please

pinachet ★★★★★
()

Тему не читал. Кто пользуется памятью и какие ощущения? Кошусь в её сторону, но с появлением ИИ почему-то работы сильно прибавилось, хотя должно было быть ровно наоборот. В смысле тему читал, комменты не все читал.

den73 ★★★★★
()
Последнее исправление: den73 (всего исправлений: 1)
Ответ на: комментарий от AndreyKl

deepseek лучше чем GLM, если честно. не знаю насчёт поиска, но программирует лучше. вчера буквально на опенроутере $5 на GLM потратил и задачу не выполнил

У меня ровно обратные наблюдения. GLM-5.3 весьма успешно кодит, хотя и за дорого. Вот 5.3-Flash стремный, часто творит дичь и уходит в сторону.

maxcom ★★★★★
()

Был сёня на тренинге по ИИ. Ушел после первой половины. Собрались какие-то недоманагеры обсуждать, как им презентации пилить. Девченка в ИИ не специалист, о чём сказала сразу.

seiken ★★★★★
()
Ответ на: комментарий от maxcom

бог его знает, может задача специфичная (у меня) - язык с зависимой системой типов и довольно сложные конструкции. deepseek был V4 Pro 0813, glm - z-ai/glm-5.3, не флеш.

спасибо за отзыв, может ещё когда попробую на другой задачке.

AndreyKl ★★★★★
()
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от maxcom

Вот точно такое же мнение. У опенхандс были обе модели в бесплатном доступе и дипсик очень часто не мог сделать то, что глм делал с легкостью.

einhander ★★★★★
()

Для разработки под линукс рекомендую посетит https://sourcecraft.dev.

Это некое подобие гитхаба а не только ИИ агент, но ИИ агент там вполне достойный.

Есть бесплатная квота. Дают 4000 токенов или чего-то эквивалентного бонусом за регистрацию и 500 в мес. В принципе этого хватает на поиграться.

Я там себе сделал

  1. Портировал нужные мне эффекты wayfire с openGL на vulkan.
  2. Портировал на вулкан декоратор окон для того же Wayfire.
  3. Сделал демона который на фреймворковском тачпаде эмулирует полюбившиеся мне жесты хонора - громкость регулирует свайпом по правосу краю тача, яркость - по левому. Чисто софтово, хард тачпада на фреймворке в отличииот хонора такие жесты не распозныет.
  4. Портировал EAS (EnergyAware Scheduler )в ядре линукса на процессоры АМД (в стоке работает только на интел)
  5. Выпилил из своей ветки wayfire рендеринг через opengl оставив только вулкан - чтобы убрать эти постоянные дергания вызовов а у нас включен вулкан или опенГЛ.

Причем без знания потрохов вулкана или ГЛ. Просто - клонируешь репу и - а портируй мне вот этот эффект на вулкан.

Всем вышеперечисленным пользуюсь. Прямо сейчас. То есть оно не просто сгенерировало нечто но нечто рабочее и достаточно эффективное. Память не течет (заметно), батарею не жрет, не крашится (крашилось - краш репорты пихались в ИИ чат и фиксились.). Фиксились даже визуальные эффекты - ИИ,декорации окна съехали вправо-вниз и обрезались … А вот тебе диагностический патч - запусти пришли дебаг инфо. Или пришли хедер файл системной либы с которой линкуешь.

Qui-Gon ★★★★★
()
Последнее исправление: Qui-Gon (всего исправлений: 1)
Ответ на: комментарий от hobbit

тут бы определить что такое «разобрался с ИИ». Да, понятно, сразу запускать агента с полным доступом и говорить сделай збс не стоит, но есть риск так и застрять в чате, полностью упуская гораздо большие возможности. И получаем потом рассказы, что оно ничего не может (запуская на бесплатной модели с кучей ограничений), в то время как другим оно в режиме агента целиком решение создает. Насколько качественно - это другой вопрос, очень важный, но другой

user_undefined ★★
()
Ответ на: комментарий от anonymous

https://console.groq.com/docs/rate-limits и в принципе это можно юзать бесплатно, хоть и раньше было лучше.

anonymous (08.05.26 03:04:13 MSK)

Лимиты там уж прям очень жёсткие, у меня работать не получается. А платить то же не знаю как из РФ.

qwen3.8-27b кстати для моих целей слабовата, не знает что такое ТСПУ например, а я конфиги правлю для VDS.

Вообще меня привлекает именно groq. Кто-нибудь с ним работает? Мне кажется он должен очень быстро работать, что удобно. И должен быть недорог. Как его из РФ оплатить? Есть какие-нибудь вменяемые способы?

Модели там такие есть:

qwen/qwen3.8-27b (не знает что такое ТСПУ)

Llama-3.1-8b-instant (ни за чем мне не нужна)

Llama-3.3-70b-versatile (в чистом кодинге проигрывает qwen3.8-27b)

moonshotai/kimi-k2-instruct-0905 (должна быть в целом сопоставима с qwen3.8-27b, надо пробовать)

openai/gpt-oss-120b (серьёзная эрудированная модель, но да ИИ сервисов не дотянет так что из пушки по воробъям)

openai/gpt-oss-20b (особого смысла нет, т. к. на видеокарте могу её запустить)

openai/gpt-oss-safeguard-20b (не знаю что это)

qwen/qwen3.6-27b

То есть для правки кода наверное qwen3.8-27b хороша. По-крайней мере игру змейка (я не знаю как иначе протестировать) она делает на раз. Но какие-то специфические вопросы лучше с клодом решать (там неплохой лимит на день). Ещё минус этих моделей - отсутствие поиска.

Я использую Cline + VS Code. Единственный минус, неудобно переключать модели, приходится руками лезть, или я рукожом. Раньше юзал continue, но там свои сложности были. А чем пользуетесь вы? Opencode как вам?

По идее qwen3.8-27b должна быть большая скорость, а это делает работу в чём то приятной.

Сейчас думаю над immers.cloud или https://routerai.ru На первом сервисе мне давали qwen3.8-27b и довольно на долго хватало. Может ещё до сих пор работает, не знаю. Кстати у них есть qwen-coder-80b, вот это мощная и эрудированная модель именно для задач кодинга думаю. Есть ещё вариант kimi. Они принимают рубли. Но цены у них как у клода, похоже, а кривизны наверное поболее будет. И не факт что там будет эндпоинт, а это для меня главное. Так что самое интересное это эндпоинты groq или cerebras, вот что хотелось бы попробовать

baaba ★★★
()
Последнее исправление: baaba (всего исправлений: 5)
Ответ на: комментарий от anonymous

Другое дело, что он и не нужен совсем, даже в идеальном и структурированном виде, потому что меняется ситуация постоянно.

поэтому для прикола подтвердили через 5 месяцев после написания.

GPFault ★★★★
()

А что, есть что-то кроме claude opus 5.5 на high effort? o_O

ant1 ★
()
Ответ на: комментарий от baaba

Ну ты попробуй. Понравится, я уверен.

xaTa ★★★★
()
Ответ на: комментарий от anonymous

никто не платит карпатому > карпатый разоряется > дефицит железа рассасывается > все кому надо покупают видюхи и юзают гемму-4 до маковкина заговения

это же просто отлично

Laferadze
()
Ответ на: комментарий от user_undefined

в то время как другим оно

В то время как другим оно за деньги сделает чуток лучше, но это не точно. Найми уже программиста.

LightDiver ★★★★★
()
Ответ на: комментарий от GPFault

для прикола

Ну вообще первоначально это была просто тема на форуме. Но для форума она была слишком фундаментальной и могла потеряться (я её, кстати, сегодня нашёл с большим трудом). В статьях ей более подходящее место.

hobbit ★★★★★
()
Последнее исправление: hobbit (всего исправлений: 1)

Агенты: open-source и проприетарные

последующие два блока списком или, хотя бы, через \r\n оформить.

и про локальные варианты оценку ресурсов бы, в друк кто захочет на отдел поднять гемму/дипсик. ну хотя б примерно.

etwrq ★★★★★
()
Последнее исправление: etwrq (всего исправлений: 1)

Не узрел Таверну Кобольдов и погрустнел (

MEZON ★★★★★
()

Теперь понятно откуда столько луддитов. У них просто топовые модельки не работают, потому ориентация по дикпику.

peregrine ★★★★★
()
Ответ на: комментарий от dynamic_cast

Так наш профессор, когда я еще учился, так и сказал: у робототехники проблемы в основном с хардом, а не с софтом.

seiken ★★★★★
()
Ответ на: комментарий от vvvv

Где-то полгода использую в относительно сложном проекте (кодовая база на плюсах близится к миллиону строк с кучей легаси строк), полет нормальный. Написание новых функций, исправление багов, ответы на вопросы по кодовой базе - все есть. Да, с реально очень сложными задачами она автоматом вряд ли справится.

И да, код надо смотреть человеком, но это все ещё быстрее чем писать с нуля. И да, человек который не разбирается и не хочет разбираться, может нагенерировать мусор. БЯМы не очень хорошо следуют инструкциям и также не понимают критериев приемки.

Два промпта в 1кк/наносек это конечно маркетинговые истории.

Gary ★★★★★
()
Ответ на: комментарий от CrX

Для написания кода они пока(?) работают плохо.

Написание кода как раз одна из самых простых задач для ллмок, так как у неё есть близкая к формальной верификации. Код, в котором нейронка допустила ошибку, проходит через языковой сервер, линтер, компилятор, автотесты, etc. очень много этапов где она может получить отлуп и поправить свои ошибки без вмешательства человека.

Gary ★★★★★
()
Ответ на: комментарий от Gary

Всё так. Жаль только, что на практике получается говно.

Впрочем, за прошедшие с того моего комментария полгода прогресс в этом плане довольно значительный, и говно уже не такое лютое.

CrX ★★★★★
()
Ответ на: комментарий от wandrien

Потому что не надо пользоваться веб-чатом, это для разовых простых вопросов, и любая самая топовая модель будет скатываться в галлюны на нестандартных вопросах.

Задаешь конкретную задачку агенту, просишь подтверждение. Он качает исходники и ищет по ним, а также запускает найденные команды для проверки гипотезы. С вопросами как работает git в таком виде справится даже слабая дистиллированная модель.

Gary ★★★★★
()
Ответ на: комментарий от CrX

Если задачи правильно декомпозированы и обвязка для тестов нормально построена, то нормально получается, не говно 🤷

Gary ★★★★★
()
Ответ на: комментарий от seiken

Так наш профессор, когда я еще учился, так и сказал: у робототехники проблемы в основном с хардом, а не с софтом.

Развитие нейронок всегда сдерживало только неразвитость харда. Было бы в 80-ые годы такие же мощности что и сейчас, уже тогда был бы хайп. И сейчас не бегут сломя голову юзать нейронки только по одной причине-железа нет, дорогое, выхлоп от них не стоит тех денег, что ты за видюхи отдашь. Неожиданно, но вполне жизненно.

slew
()
Ответ на: комментарий от slew

Железа нет и железо дорогое - не одно и то же. Железо есть, но оно дорогое, потому что выхлоп кому-то стоит тех денег, а кому-то нет.

VIT ★★★
()
Ответ на: комментарий от VIT

Да мы эти нейронки уже лет 5 как заказчикам пытаемся навязать в составе продухта для разных целей. Вот только чтоб оно хоть какую-то пользу приносило, ей нужны видюхи, и серьезные, на обычном CPU нейронка выдает результаты, над которыми только поржать можно. А как заказчик слышит про видюхи, сразу сливается. У них дисков-то нормальных нет, какие там видухи. И эти заказчики-топы которые у всех на слуху.

slew
()
Ответ на: комментарий от slew

А что тут умничать? Вы сами наговорили на себя, я просто комментирую. Если вы как сами говорите «пять лет навязываете заказчикам своё решение и безуспешно», то вы просто не знаете проблемы своих заказчиков. Вот и вся тема.

VIT ★★★
()
Ответ на: комментарий от slew

Да это понятно, но я просто отвечал на другой вопрос, более конкретный, что ИИшка не приготовит и не нальёт борщ, а это уже не только нейронки, но и манипуляторы, робототехника это. И вот тут можно можно (во всяком случае, лет 10-20 назад можно было) констатировать, что манипулятор типа человеческой руки, чтобы и универсальный был, и надёжный ( не требовал бы ремонта каждый месяц) и не ломал хрупкие вещи - такого нет ни за какие деньги. То, что я видел 15 лет назад - говно, на уровень человеческой руки (даже старческой слабой) не тянет.

seiken ★★★★★
()
Ответ на: комментарий от VIT

пять лет навязываете заказчикам своё решение и безуспешно

Ну ты тут и наголлюционировал, как чатгепете. Все в порядке у нас с заказчиками, просто решение задач нерйонками не прокатывает, из-за их ресурсоемкости. Так что именно тут пока «триумф ИИ» откладывается. Вот как надо понимать то, что выше писал.

slew
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.