Ежели кому интересно

может НОРМАЛЬНО (единственный из всех мною пробованных, а перепробовал я десятки сортов) с дохлой локальной моделью.

Так что может-то?

Multi-Providers

Integrate seamlessly with over 20 leading LLM providers through a unified interface. Supported providers include OpenAI, Claude, Gemini (Google AI Studio), Ollama, Groq, Azure-OpenAI, VertexAI, Bedrock, Github Models, Mistral, Deepseek, AI21, XAI Grok, Cohere, Perplexity, Cloudflare, OpenRouter, Ernie, Qianwen, Moonshot, ZhipuAI, MiniMax, Deepinfra, VoyageAI, any OpenAI-Compatible API provider.

…и другие возможности. :)

Да в принципе как чятик, tools, анализировать код et cetera.

u@agent:~/aichat/target/debug#  ls / | ./aichat 'что это за система? Подробнее'
Это структура каталогов во FreeBSD или других Unix-подобных операционных систем. Каждый каталог служит для разного типа файлов и функций в системе.
u@agent:~/aichat/target/debug# cat /root/updports | ./aichat 'внимательно проанализируй скрипт. Для чего он?'
Этот скрипт используется для обновления портов в системе Unix. Он выполняет следующие действия:
1. Проверяет, что он запущен с правами root.
2. Загружает список изменений в директории портов.
3. Пытается загрузить обновления в директории портов.

А ты давно его делаешь? Вроде был уже aichat в aur.

Я всё пытаюсь родить такую серебряную пулю, чтобы голосовой ввод, чтение с экрана, операции с компьютером, с окнами, приложениями, поиск в интернете, пополнение «базы знаний» и просто «по душам поболтать». И всё никак не получается. Пробовал много подходов, никак.

Так что может-то?

Написано же — может НОРМАЛЬНО.

А ты давно его делаешь? Вроде был уже aichat в aur.

Это не мой проект, просто нашёл.

Я всё пытаюсь родить такую серебряную пулю, чтобы голосовой ввод, чтение с экрана, операции с компьютером, с окнами, приложениями, поиск в интернете, пополнение «базы знаний» и просто «по душам поболтать». И всё никак не получается. Пробовал много подходов, никак.

Думаю, подобное будет в течении полугода, в виде мобильного приложения. Прост подожди.

Написано же — может НОРМАЛЬНО.

Да задолбали вы :) Работать ессно.

// Если вы знаете что-то похожее, не стесняйтесь, - делитесь.

Подписывайся на тред Нейросети на C от создателя Redis. Возможно, что там и будет. :)

А я вспомнил еврейский анекдот в связи с этим.

― Доктор, мой сосед говорит, что может три раза за ночь.
― Ну так и вы говорите.

(ничего плохого сказать не хочу, если что)

Кстати, на форуме появился новый раздел: https://www.linux.org.ru/forum/ai/. Сам только сегодня случайно узнал.

Думаю, подобное будет в течении полугода, в виде мобильного приложения. Прост подожди.

Вот я и смирился (почти). Хотя нет, на выходных опять тыкал палочкой. Я хуже ИИ, у меня не работает даже то, что работает :)))

нашёл локальные. openai-compatible

v0.30.0 Latest on Jul 7, 2025

Зачем этот артефакт из прошлого использовать?

в моём случае granite4.1:3b-q4_0

Вот эту модельку плохо подхватывают современные «агенты»? Она не дохлая, а вполне навороченная, свежая и оптимизированная

не так наворочено, как, например, zeroclaw и picoclaw

Все «…claw» штуки - это именно что «персональные ассистенты». Их суть в интеграциях с мессенджерами и прочими модными штуками. Такая «Алиска» на максималках.

По теме «агентов»: https://github.com/earendil-works/pi пробовал? В базовом варианте установки - самое простое и легкое из современного.

но самое главное, может НОРМАЛЬНО (единственный из всех мною пробованных, а перепробовал я десятки сортов) с дохлой локальной моделью.

Так что же он может НОРМАЛЬНО?

Локально у меня всегда есть голова.

А почему именно эта модель? Как будто для русского языка такое себе.

Ничего оно не может как и подобные микрокастраты - чтобы была хоть какая-то польза от держания агента он должен быть на модели не меньше чем кimi 2.6 и память должна быть хонча та же, короче взять гермесса если нетакусик и openclaw не подходит и хотя бы эта дура не будет прошлое сообщение забывать.

zeroclaw и наворочено, лол, оно хоть скиллы само переписывать научилось? А еще помойка из архитектуры и коммиты про одно и тоже, один из слабейших проектов подобного рода уж лучше openfang если раст принципиален

А почему именно эта модель? Как будто для русского языка такое себе.

Не уходит в вечный loop, большой контекст 128k, быстро отвечает, не срёт иероглифами.

Так что может-то?

Может случайно банку колы. Но НОРМАЛЬНО :)

память должна быть хонча

Кстати, вот поставил hermes agent, и думаю к нему память поставить, но эта honcho какая-то слишком замороченая. Как ее вообще ставить надо? Локально, юзать облачную бесплатный тир или платить подписку? Ты ее пробовал?

granite4.1:3b-q4_0

Спасибо, а вот это хороший хайлайт.

А что вы делаете с такими монстрами? Переводите с древнешумерского на китайский?
3b-модель с нетипичным для нее языком это конечно печально, но обмазав костылями и такую можно сделать полезной.

гермес

Такое же говно, как и *claw, токены жрёт пц как.

Я тут про лёгкость так-то.

Смущает что:

v0.30.0
Latest
on Jul 7, 2025

С одной стороны 0.30 - это значит что делать еще есть что, и даже дофига, и сам автор это осознает.
С другой стороны - не релизились уже год почти, изменения тоже не прям свежак.
Вот как к этому относиться?

Я локально поставил управлять ей дал openai, пока лучшее что тыкал, за месяц проблем не было, сам гермес ее настроил и проверил и я еще его заставил раз в пару дней отчет слать по состоянию.

Вот как к этому относиться?

С грустью и пониманием, пока не найдём что-то свежее.

Грустно, но вкусно (С)

Да закиньте на опенроутер 2$ и пользуйтесь всякими qwen и подарочными моделями до посинения это будет лучше чем что угодно локальное. Сейчас бы токены считать при таком разнообразии китайцев.

Opencode сейчас идет с халявной дикпик 4 флеш, даже ничего не нужно закидывать.

Локально у меня всегда есть голова.

и я ею ем.

Я всё пытаюсь родить такую серебряную пулю, чтобы голосовой ввод, чтение с экрана, операции с компьютером, с окнами, приложениями, поиск в интернете, пополнение «базы знаний» и просто «по душам поболтать».

Я опасаюсь таких серебряных пуль. Можно попасть в положение героя песни:

Крыша едет у соседа:
Как жену зовут, не помнит.
Ему компьютер собеседник,
Собутыльник и любовник…

ею

По классике – «в неё».

С подключением! https://habr.com/ru/news/1034012/

По классике – «в неё».

ок, наверное. даже соглашусь, не знаю зачем. я вообще обычно воспроизвожу по памяти, а память дырявая. так что все может быть. но «в нее» у меня вызывает другие ассоциации.

Я всё пытаюсь родить такую серебряную пулю

Тебе принципиально, чтобы все тобой перечисленное в одном флаконе? Вроде всё перечисленное по отдельности существует. Или мне так кажется… Сам я весь пазл собирать не пытался, если что.

Эх. Люди нужны не только лишь всем.

А если серьёзнее, то комп-внешний мозг в том или ином виде существует уже давно. Один Obsidian и Ko чего стоят. Автоматизированые скрипты, которыми обвешиваются линуксоиды. И т.д. Всё это для упрощения жизни. И не достаёт лишь одной нотки. ИИ.

Мне не нравятся невидимые клешнеботы. Это действительно опасно. И мне не нравятся персонажи, которые создают на базе LLM, с сисястыми тянками. Мой ассистент должен и оставаться ассистентом. А «за жысь поговорить» - ну… Вот задал я вопрос ИИ - «почему везде глобальное потепление, а уже второй год холодно?» Он накидал мне кое чего, поговорили. Вот где бы я нашёл собеседника на эту тему? Спросил обзор составить на пневмо-моторы. Он составил. И мы обсудили детали. В этом смысле мне просто не к кому обратиться. Вокруг выжженая пустыня из… необразованных людей.

Воздействие ИИ на человечество будет разрушительным не потому, что он ужасен, а потому что люди и без него стремительно бегут в пропасть,как те хомячки. А я стою сбоку и обсуждаю со своим ИИ вотэтавот всё

Обычно всё или отдельными сущностями делается, типа, нажал кнопку,начитал текст в активное окно. или тупо чатик через который общаться. А мне должно работать со всеми окнами. И тут вейляндовцы так насрали… Хотя потихоньку запиливают нужные мне фичи. Уже даже kdotools стал делать нужное. А когда станет беспроблемной работа сокнами, кто- о гораздо умнее меня и запилит правильного ассистента.

Что эта модель может делать хотя бы на уровне «сносно»?

IBM Granite Models are a family of enterprise-ready, open foundation models that support multilingual capabilities, coding, retrieval-augmented generation (RAG), tool use, and structured JSON output. Released under Apache 2.0 license.

Это не ответ на мой вопрос, а просто копипаста. Меня интересует скорее практическая сторона. Что именно можно сделать с этой маленькой моделью на компе с 16GB ОЗУ?

Теоретически она тебе сожрет 16гб озу и чуток ядер процессора. Практически выдаст кучу мусора. Тебе мало?

Можно использовать как вспомогательную нейронку, сжимать контекст, извлекать из текста фичи итп.
Сделать сводку этого треда наверняка осилит.

Подсказывать код, утилиты, флаги. Коротко описать что-то неизвестное. Анализировать логи, конфиги.

А когда станет беспроблемной работа сокнами, кто- о гораздо умнее меня и запилит правильного ассистента.

А тогда кто-то гораздо умнее скажет «да сколько можно!» - и перепишет вейланд.

Так что может-то?

Нормально.

Сделать сводку этого треда наверняка осилит.

Мде, ну чет такое конечно.

**1. Main Project or Topic Discussed in [MAIN POST]:**  
The main project discussed is the development of a lightweight AI agent (aichat) capable of operating with a small local model (granite4.1:3b-q4_0) on CPU, supporting multiple operating systems including FreeBSD, Linux, MacOS X, and Windows. It emphasizes that this agent can work with heavy local models without consuming token budgets like many other solutions.

**2. Alternative Software Tools or Solutions Mentioned:**  
- Zeroclaw and Picoclaw (mentioned as more feature-rich but not needed for the described use case)  
- Various LLM providers through a unified interface (OpenAI, Claude, Gemini, Ollama, Groq, Azure-OpenAI, VertexAI, Bedrock, Github Models, Mistral, Deepseek, AI21, XAI Grok, Cohere, Perplexity, Cloudflare, OpenRouter, Ernie, Qianwen, Moonshot, ZhipuAI, MiniMax, Deepinfra, VoyageAI)  
- Hermes Agent (mentioned as an alternative for memory and functionality)

**3. Technical Complaints or Bugs Mentioned:**  
- The aichat project is noted to be outdated (v0.30.0 from July 7, 2025), suggesting potential issues with stability and lack of recent updates.  
- Concerns about the model's performance on Russian language tasks due to context limitations.  
- Issues related to memory management and token consumption not being optimal for heavy local models.

**4. Community Mood Summary:**  
The community mood is a mix of cautious optimism and skepticism. Positive reactions include praise for the project's ability to work normally with local models (e.g., "😊:1,🚮:1") and appreciation for its lightweight nature ("☕☕:5"). However, there are also notable criticisms such as concerns about outdated software versions, potential performance limitations with Russian language tasks, and doubts about the viability of using such a model compared to more modern alternatives. The overall tone leans toward cautious enthusiasm rather than outright dismissal, with several users suggesting alternative solutions or future improvements

Ну, похоже камень сдвигают с места. Оказывается многое уже давно было написано и не принималось вейляндцами по политическим и идеологическим причинам. Им давно указывают на то, что во всём мире и даже в старых иксах это было десятилетия назад,это никак не влияет на безопасность. И этих долдонов потихоньку заставляют принять одно, другое. Со скрипом дело идёт. Вообще поменять бы ответственных за это -, давно бы всё было и в вейланде. Там какие-то сектанты заседают. Или на зарплате у майков, чтобы саботировать развитие линукса как десктопа. Они не зря в редхат ходили.

granite4.1:3b

🤨

Нет слов..)

Там какие-то сектанты заседают.

Это всегда так. Надо быть идейным, чтобы действовать в стиле «верю в себя, не замечаю препятствий». А совсем без фанатизма, на расслабоне, никакое дело с мертвой точки не сдвинуть.
Умом я все это понимаю и даже где-то оправдываю, но все эти «заседатели в комитетах» дико раздражают. Сидишь, читаешь какой-нибудь «драфт нового стандарта» и думаешь - вы там что курили?

Блин. Писал долго,много и… Всё пропало :(

Ладно. Коротко.

Такие штуки это не просто так «писать на расслабоне» или"гореть идеей и лететь на крыльях". Такие штуки долго проектируются (а в открытом обществе хорошо бы с обсуждением от всех заинтересованых сторон) ДО написания кода. Они когда-то обвинялииксы в недопроектированности и написании всего на ходу, а сами сделали… ровно то же самое. Вплоть до практически полного переписывания вначале.Только с диким гонором типа «мы вам тут новое впердепланетное пишем вапчета, не лезьте всоим свиным рылом!».

Иксы писались действительно в процессе. Просто потому, что технологии появлялись в процессе. Невозможно спроектировать будущее. Хотя можно умно написать архитектуру так, чтобы при появлении нового не приходилось переписывать с нуля всё. И авторам вяленого нужно было только зафиксировать срез текущих технологий, с учётом того, что виднеется на горизонте и правильно спроектировать. Вместо этого они пошли по всем граблям демонстрируя не только неспособность проектировать (сказать, что вейлянд ни за что не отвечает - это очень плохое проектирование) и вахтёрство одновременно (если ваш вейлянд ни начто не отвечает,то почему вы рогами в землю упёрлись и не даёте реализовать возможность управлять окном?)

Но как и Лёнечка наш Поттеринг,они со временем умнеют, учатся и… становятся стариками. Я с нетерпением жду тех кто объявит их устаревшим говном и заменит вейлянд на что-то впердепланетное. И даже если это будет ужас как плохо, я хоть поехидничаю с вейляндописак

Подсказывать код, утилиты, флаги. Коротко описать что-то неизвестное. Анализировать логи, конфиги.

оно может это делать лучше, чем классические утилиты? ну кроме коротко описать что такое «шушпанцер».

Так что может-то?

Написано же — может НОРМАЛЬНО.

Учи русский. «НОРМАЛЬНО» это наречие, которое отвечает на вопрос «как?», а не «что?».