Opencode нет ответа ни от одной фришной модели.

Какая опасность от браузера который может юзать только локалхост?

Нужно относиться к нейросети как просто к автодополнению кода. Вы что против автодополнения кода?

ЗА, но разрабатываю иной путь разработки проектов.
И кстати нынешнии ПОНЯТИЯ о том какой должна быть архитектура работающего проекта весьма однобоки. Потому-то ныне нейросети и генерируют код.
Это весьма интересный путь разработки.
Кое-какие намётки есть, но пока это не приоритетный вопрос.

акая опасность от браузера который может юзать только локалхост?

Вы забываете о том, что код работающий в браузере использует сеть.
Дело даже вовсе не в браузерах …

Мне это напоминает «программистов Delphi», которые отличались невероятной производительностью, но только пока у них были нужные компоненты Delphi для решения задач. Когда компонента не находилось, начинались шарахания по форумам с просьбами поделиться нужным.

Это MoE модель, ей не обязательно влезать целиком в видеопамять, только кусочку.

35b нужно поди 64 vram.

Не нужно. Никто в 8 битах не инференсит модели, даже корпорации их гоняют в 2-5.

Я в основном гоняю модель локально через llama.cpp и Вам советую.

Коллега, сразу вопрос к более опытному - я только вот начинаю оный процесс, подо что собственно был взят Framework на AMD с 80 гигами рам (вулкан девайс получает 64 гига под модель). Какую модель стоит брать?

Пока гоняю разные сборки Qwen3-Coder-Next в примерно Q4 (S-M-L), пробовал Devstral Small 24B - без особого успеха пока ибо llama.cpp крашится слишком часто на ней. Ну и OpenCode в качестве агента. Ну так все спорно весьма, если сравнивать с облаком.

Qwen3-Coder-Next, Devstral Small 24B

Это же дремучая древность, которая в сравнении с даже крошечными(<10b) современными модельками ни на что не способна.

Вот тут, например, на потребительском железе запускают Qwen3.8-Flash-Next на 125b.

Это же дремучая древность, которая в сравнении с даже крошечными(<10b) современными модельками ни на что не способна

Вот поэтому и испрашиваю что смотреть - как раз что это за крошечные модельки <10b которые работают лучше.

Qwen3.8-Flash-Next на 125b

Это боюсь не вариант - запустить и использовать как показывает мой опыт - разные вещи. Запустить памяти хватает но по мере роста контекста оно жиреет и в конце концов падает выдав полезного результат с гулькин член.

Общее число параметров.

Начни с qwen3.8-27b, после нее можно сравнивать все остальные

Ну и OpenCode в качестве агента. Ну так все спорно весьма, если сравнивать с облаком.

У меня опенкод настроен и на облачную модель и на локальную. Последней пользуюсь чтобы уменьшить расход подписки в качестве субанента.

как раз что это за крошечные модельки <10b которые работают лучше.

Что то вроде этого.

• LiquidAI/LFM3-1.7B
• Nanbeige/Nanbeige4.2-3B
• XHToken/Spark-X2.6-4B

Само собой, это всё ещё игрушки, а не полноценные модели для основного кодинг агента, но до уровня того что было 2 года назад они дотягивают.

Это боюсь не вариант - запустить и использовать как показывает мой опыт - разные вещи. Запустить памяти хватает но по мере роста контекста оно жиреет и в конце концов падает выдав полезного результат с гулькин член.

Тогда стоит быть как все и гонять Qwen 3.8 27b, или что-то на его основе.

Утром проснулся, пофлудил, пошёл науку двигать. И потом, солдат спит, а служба идёт, разве нет?

Уверен, шапочка из фольги ваш надёжный атрибут. Я не говорю, что вы не правы, но и перебарщивать не следует.

20-30t/s, 400-500t/s прогрев.

https://pastebin.com/DuS5gC8S

AMD с 80 гигами рам (вулкан девайс получает 64 гига под модель)

Это shared память или GPU дискретная и у неё есть своя?

Какую модель стоит брать

Я бы погонял Qwen3.8-Flash-Next, но сомневаюсь что она влезет в 80 гб RAM. Смотри, модель грузить в RAM необязательно, можно читать её с SSD, тогда любая запустится, но в RAM работает заметно быстрее.

Если удастся запустить в 30 t/s и выше, то хорошо - это юзать можно.

Пока гоняю разные сборки Qwen3-Coder-Next в примерно Q4 (S-M-L)

Я сам ищу хорошие MoE модели, может выйдет Qwen 4 MoE… Ниже Q4 смысла нет - это совсем лоботомированная LLM.

Ну и OpenCode в качестве агента.

И ещё советую Openchamber.

И что, прям хватает на кодинг в опенкоде????

Ну вот буквально эту (github.com) фичу сделал вчера.

Самое интересное, кода мало, а когнитивная сложность для ИИ куда выше чем всякие сайтики.

Уверен, шапочка из фольги ваш надёжный атрибут. Я не говорю, что вы не правы, но и перебарщивать не следует.

У меня «безопасности» фобии нет.
Просто согласитесь, нехорошо когда лапшу на уши вешают и при этом говорят, что мы для вас стараемся.
Враньё весьма неприятно.

Это абсолютная правда, но у умных людей это часть политики. Они сочиняют правила, они по ним играют.

Утром проснулся, пофлудил, пошёл науку двигать.

Может быть и так.
Для меня так наоборот, участие в форумах весьма вредно отражается на тонусе работы.
Возможно вам действительно участие в форуме полезно.

Редко встречается в форуме треды в которых ведут речь о разработке.
В основном споры и «пальце загибание», которое лишь настроение портит.

Это абсолютная правда, но у умных людей это часть политики. Они сочиняют правила, они по ним играют.

Называю это ПОНЯТИЯ.
И мы должны придерживаться их ПОНЯТИЙ.
Оно нам нужно?

Ниже Q4 смысла нет - это совсем лоботомированная LLM.

От кванта к кванту. Вот нвидия недавно выпустила свой немотрон 3.5 bolt в нативных двух битах, который почти достигает уровня старшей модели той же версии. Другое дело что это немотрон, и чудес от него в целом ждать не стоит, но как доказательство концепции - хорошо.

Обратная связь. Мне нужно знать, как люди реагируют на те или иные события. Форум - один из способов получения этой реакции.

Мне больше по душе «правила игры», хотя конечно, это те же самые понятия.

Обратная связь. Мне нужно знать, как люди реагируют на те или иные события. Форум - один из способов получения этой реакции.

Да никак.
В основном чисто потребительское отношение к разработкам иных людей.
Мне весьма жаль к примеру разработчика Harbour.
Двадцать лет он тянул эту разработку и прощальном слове сказал, что устал от того, что
никому дела нет до разработки и даже моральной поддержки никакой нет.
Такова селяви это жизни.
Мне например никакой похвалы от других не нужно вовсе, по той причине, что те задачи, которые
решаю просто обязан решить.
Такова селяви моей жизни (впрочем о многом не сказал, так как это сугубое).

Нормальная, до сих пор.

На каком контексте?

131072

На заполненном или на пустом?

Разницы не вижу.

Нормальная, до сих пор.

Только их инференс все равно не имеет смысла, когда сейчас за тот же размер можно получить большее качество.

В общем, да. Qwen3.6-35B не хуже, при этом параметров меньше.

Разница есть… в скорости.

Небольшая, вот на частично заполненном контексте.

4.44.478.260 I slot print_timing: id  0 | task 0 | prompt eval time =  200115.60 ms / 95202 tokens (    2.10 ms per token,   475.74 tokens per second)
4.44.478.264 I slot print_timing: id  0 | task 0 |        eval time =    4352.17 ms /    98 tokens (   44.87 ms per token,    22.29 tokens per second)
4.44.478.265 I slot print_timing: id  0 | task 0 |       total time =  204467.77 ms / 95300 tokens
4.44.478.270 I slot print_timing: id  0 | task 0 |    graphs reused =         96
4.44.478.270 I slot print_timing: id  0 | task 0 |   graph reallocs =         87    /     0        (same size) / (changed size)
4.44.568.599 I slot      release: id  0 | task 0 | stop processing: n_tokens = 95299, truncated = 0
4.49.100.688 I slot get_availabl: id  0 | task -1 | selected slot by LCP similarity, f_sim_best = 0.999 (> 0.100 thold), f_keep = 1.000
4.49.102.005 I slot launch_slot_: id  0 | task 155 | processing task, is_child = 0
4.52.506.820 I slot print_timing: id  0 | task 155 | prompt eval time =    1415.84 ms /   132 tokens (   10.73 ms per token,    93.23 tokens per second)
4.52.506.823 I slot print_timing: id  0 | task 155 |        eval time =    1988.94 ms /    46 tokens (   44.20 ms per token,    22.63 tokens per second)
4.52.506.823 I slot print_timing: id  0 | task 155 |       total time =    3404.78 ms /   178 tokens
4.52.506.824 I slot print_timing: id  0 | task 155 |    graphs reused =        140
4.52.506.825 I slot print_timing: id  0 | task 155 |   graph reallocs =         87    /     0        (same size) / (changed size)
4.52.509.492 I slot      release: id  0 | task 155 | stop processing: n_tokens = 95476, truncated = 0
4.52.734.660 I slot get_availabl: id  0 | task -1 | selected slot by LCP similarity, f_sim_best = 0.942 (> 0.100 thold), f_keep = 1.000
4.52.735.434 I slot launch_slot_: id  0 | task 203 | processing task, is_child = 0
4.57.013.495 I slot print_timing: id  0 | task 203 | prompt processing, n_tokens =   2048, progress = 0.96, t =   4.28 s / 478.73 tokens per second
5.01.474.885 I slot print_timing: id  0 | task 203 | prompt processing, n_tokens =   4096, progress = 0.98, t =   8.74 s / 468.68 tokens per second
5.03.532.726 I slot print_timing: id  0 | task 203 | prompt processing, n_tokens =   4813, progress = 0.99, t =  10.80 s / 445.76 tokens per second
5.05.902.087 I slot print_timing: id  0 | task 203 | prompt processing, n_tokens =   5837, progress = 1.00, t =  13.17 s / 443.32 tokens per second
5.10.494.934 I slot print_timing: id  0 | task 203 | n_gen =    100, tg =  22.11 t/s, tg_3s =  22.34 t/s
5.13.520.523 I slot print_timing: id  0 | task 203 | n_gen =    169, tg =  22.39 t/s, tg_3s =  22.81 t/s
5.16.541.653 I slot print_timing: id  0 | task 203 | n_gen =    238, tg =  22.52 t/s, tg_3s =  22.84 t/s
5.19.556.472 I slot print_timing: id  0 | task 203 | n_gen =    309, tg =  22.75 t/s, tg_3s =  23.55 t/s
5.22.566.986 I slot print_timing: id  0 | task 203 | n_gen =    379, tg =  22.84 t/s, tg_3s =  23.25 t/s

Память общая - 48 отдал под видюху и 32 оставил на проц.

В итоге загрузил себе Qwen3.8-Flash-Next-Gyro-Coder-L-TQ3_0.gguf на 117B параметров от AgentionAI

ссылка тут

https://huggingface.co/agentionai/Qwen3.8-Flash-Next-Gyro-Coder-GGUF

Эта штука весит 84гб, но ее так хитро завернули что она вполне себе завелась на моей железке - правда пришлось собирать ихний форк llama-cpp специально обученный впихивать невпихуемое. По скорости сравнимо с Qwen3-Coder-Next, ну по крайней мере не медленнее. Понятно о 30 токенах речи не идет, в медленной части кода думает дает 5. На легкой - когда парсит сорсы - там 150 гдето. Но в принципе если закинуть задачу агенту на ночь то к утру разгребет, для хобби-проектов потянет.

ОН УДАВИЛСЯ! ВАМ НЕ УДАЛОСЬ СДЕЛАТЬ ИЗ НЕГО ВАЙБКОДЕРА!