opencode + ollama + qwen3.8:27b = прерывается посередине рассуждений

Другой харнесс пробовал?

Нет. Какой посоветуешь?

Pi (pi.dev) неплохо подходит для селфхост моделей, нет жирного системного промпта и скрытых функций.

Reasoning effort включает в себя ограничение на количество токинов на рассуждения. Поставь максимальный, тогда обрываться не должен.

DS говорит, что у неё дефолтный reasoning level = Xhigh (максимальный).

Ещё один патч тоже не помог: посередине рассуждений не прерывалась, но в какой-то момент потеряла мой исходный вопрос - и при его повторе таки снова прерывалась на первом же «thiking». Похоже, придётся пробовать этот самый pi.dev (надеюсь, будет такой же красивенький-разноцветненький).

Во первых pi.dev, да, во вторых смотрите настройки модели в вашем агенте, там есть настройка maxTokens для ответа, возможно черезмерное словолюбие вашей модели упирается именно в него.

pi.dev рекомендуется использовать если вы «начинающий» в локальных LLM, у него хорошие «presets» и он не коверкает контекст свитчами между «plan» и «build»

opencode более фичастый, но его нужно уметь готовить, если не уметь готовить, то он будет выжирать лишние токены между разными вариантами работы, и другие выстрелы в ногу (собственно с которыми вы и встретились)

так же, было бы не плохо указать какой максимальный контекст вы сделали модели, в этом тоже может быть проблема

пауза между первым и вторым носком

Гы, гугл и ds дают разные инструкции по настройке. DS говорит там разные параметры для контекста и output – вот возможно как раз оно: на излишней болтливости срезается. Хотя казалось бы, кому какое дело: ну болтает и болтает; с третьей стороны, этот вывод «thinking» разве не посылается потом обратно в модель как часть контекста? Иначе откуда ей знать, чего она там надумала минуту назад?

я вам порекомендую учить матчасть и посмотреть мои и другие сообщение выше, если совсем отчаетесь, приходите сюда, будем разбираться вместе

так же рекомендую еще один вариант (если не хотите учить матчасть): если у вас есть возможность в вашем окружении к агенту подключить frontier LLM, чат гопоту, или другую, подключите и дайте ей задание разобраться, она посмотрит все логи, и вашего агента, и логи вашего inference и быстро найдет проблему и доходчиво объяснит где она (проблема) была.

и еще, сделайте одолжение: выкиньте ollama и перейдите на llama-cpp, спасибо.

pi.dev работает.

Кто где токены покупает люди посоветуйте..

Кстати у opencode вторая версия уже в бете. Жирный промпт урезан почти в двое, но сменился формат плагинов, и некоторые возможности не вернуть.

для домашнего использования обычно подписки берут

Уже давно не в бете. В репах арча 2.0.15 (ещё вчера было 2.0.14), на гитхабе 2.0.16. И да, плагины досвидос – как минимум opencode-proxy и ещё какой-то, фиксящий один из багов этого opencode (чёт дохрена в нём багов…).

Я тут про локальные модели, вообще-то. :) Ты бы лучше свой вопрос отдельной темой создал. :)

Понятно!

и еще, сделайте одолжение: выкиньте ollama и перейдите на llama-cpp, спасибо.

То советуют агента попроще, то менеджер моделей посложнее.

Уже давно не в бете.

Ну хз как назвать то состояние, когла половина ссылок с основной страницы еще вчера вела на v1, включая установку. Сегодня уже меньше, но все равно. Плагинов под v2, всё равно очень мало. Наверное единственный это oh-my-opencode-slim который полноценно работает.

вы видимо читали между строк

для локальной llm я рекомендую pi.dev из коробки, который работает

opencode (какой бы он ни был версии), новичку нужно настроить, т.к. из «коробки» он заточен на работу с frontier llm

я рекомнедую llama-cpp вместо ollama, только из-за того что вы получите выигрыш в decode tp/s и в prompt prefill tp/s.

Ну я пока в локальной модели в лимиты не вляпался, лишний раз напрягаться не буду. Так-то я помню ещё с этого вашего камента – хотя в закладке урл вышерасположенного «нет ножек - нет мультиков». :)

я крайне рекомендую попросить frontier LLM разобраться как настроить llama-cpp под вашу конкретную конфигурацию, после этого вы получите максимальные цифры которое может «выжать» ваше железо, что хорошо скажется на всех ваших дальнейших потугах экспериментах с локальной LLM

Да вот хз, у меня больше негативные впечатления от pi.dev, а opencode наоборот показался проще. Но у меня смешанный кейс, использую и локальную и облачные llm.

Ну у меня вопрос стоял не в проще/сложнее, а в том, что с opencode оно вообще не работало. (Хотя pi.dev не вижу где сложнее, скорее наобоброт; хотя opencode посимпатичнее гораздо.)

С pi.dev стала понятнее сабжевая ошибка: он посреди работы ругается:

Response was truncated before completion.
Context overflow detected, auto-compacting...

Но это при том, что opencode показывал, что контекст занят на 7..15%. Щас воткну llama.cpp, и буду дальше гуглить, чё ей надо и как тюнить. Не было у бабы забот…

Ты в ollama как контекст задаешь? У меня работало только через создание дочерней модели через Modelfile.

Связка llama.cpp + pi работает устойчиво.

патамушта оллама говно. оно даёт максимальный контекст вместо реального, харнесс и пердолит раз якобы можно