на каком кванте у вас не тупит?

Уже на Q4_K_M уже хорошо работает, как правило.

на четвертом взлетит

Ниже 4 бит уже очень заметно начинает просаживаться точность, поэтому использую или 4 бита или что-то вроде UD-IQ3_K_XL

а что это за точность такая, в чём её просадка выражается? галлюцинаций на всю выдачу не наблюдаю как на одном бите, мелкие косяки само поправит - петля иначе не отпустит

Ну вот количество возникающих косяков в твоем случае и есть точность. Только ты запускаешь, конечно, qwen аж 3.6. А ты 3.8 запусти и почувствуешь разницу чуть ли не с ходу. Условно примерно учитываем, что Q4 - 90% от исходной модели, Q3 - только 70%, Q2 - уже половина, а Q1 хорошо если 20% от нее даёт. Это не истина, но близко к ней. Поэтому в каком-нить Q2 модель на 128b будет нервно курить в сторонке в сравнении с Q4 на 32b. Потому, что ошибки в рассуждениях накапливаются асимптотически.

У меня пока наилучший результат дает Qwen3.8-Flash-Next-GSQ-RCO-Coder-320-PLE8-IQ3_S.

Квант то может и поржать - но работет это куда лучше чем сильно обрубленные по параметрам и экспертам модели с более жырным квантом.

Поэтому в каком-нить Q2 модель на 128b будет нервно курить в сторонке в сравнении с Q4 на 32b.

Если придерживаться этой логики то Q8 на 16b должна уделывать Q4 на 32b и сильно проигрывать Q16 на 8b …

LLM архитектурно очень устойчивый к квантованию вид моделей, поэтому даже ужимаясь в один бит способны сохранять точность оригинала. Тестировал GLM 5.3 Flash в двух битах на хомяке, с бенч тасками справилась не хуже облачной, даже с учётом что контекст имела в десять раз меньший. Хотя не удтверждаю, что по апи мне продали не такой же двухбитный квант =)

Лучше q4-q5.

Если придерживаться этой логики то Q8 на 16b должна уделывать Q4 на 32b и сильно проигрывать Q16 на 8b …

Нет, перечитай ещё раз. А потом ещё. А так же сходи и узнай, что такое веса модели. Q16 - нет такого кванта. Между полноразмерной моделью и Q8 разница минимальная - в пределах процентов. В Q4 разница между полноразмерной моделью и квантованной составляет уже около 10%. И дальше все больше в геометрической прогрессии. Поэтому между Q8 и Q4 разница не большая. А Q2 и Q1 это уже по сути лоботомия модели.

LLM архитектурно очень устойчивый к квантованию вид моделей

Что ты несёшь?

GLM 5.3 Flash в двух битах на хомяке, с бенч тасками справилась не хуже облачной

Эээ. Ну если у тебя таски уровня «расскажи сказку на ночь», то два бита могут оказаться и лучше облачной, ага.

Для Q4 разница, обычно 1,5 - 2%. Для Q8 0,1 - 0,2%.

Ну у меня квен IQ3_S справляется с задачами типа вот тебе сорс на gtkmm wlroots vulkan а вот тебе бактрейс дампа - вылови плюху и поправь. И делает. Ну да - понятно там сорса на килобайты (по факту больше так как лопатятся еще и сорсы библиотек) - но находит же, и правит. При этом крутится на ноутбуке а не на сервере с кучей видеокарт и даже не на дестопе с какой нибудь 180 ваттной нвидией.

А попытка запустить что-то подобное в более жирном кванте кончалось epic fail - модель жужжала, пищала как грузинская пчела пытаясь влезть таки в улей но в итоге не влезала и llama падала задолго до какого-то - возможно потенциально более феноменального - результата.

Для Q4 разница, обычно 1,5 - 2%. Для Q8 0,1 - 0,2%.

Разница в чем? В общих знаниях модели или способности строить рассуждения, удерживать контекст и логическую целостность? При агентском использовании всё это охренеть как видно. И очень хорошо видно, как модель с понижением кванта превращается в тыкву. Эмпирически я для себя установил нижнюю границу в q4, но кое-где использую и q3 от unsloth. Всё, что ниже - оно просто полный шлак и для такого лучше взять условную gemma4-e4b к примеру. Не притязательного пользователя эта моделька ой как удовлетворит.

квен IQ3_S

А перед этим надо написать ещё UD, да? Это не совсем 3 бита. Там где-то и 4 бита есть, а где-то и полный вес сохранён, а где-то до одного бита ужато. Это не простой q4, да и я заявляю про лоботомию ниже q3. А q3 он… Ну где-то он тащит, но разница уже видна невооруженным взглядом, в общем.

Разница в чем? В общих знаниях модели или способности строить рассуждения, удерживать контекст и логическую целостность? При агентском использовании всё это охренеть как видно

Тут уместна следующая аналогия - кто тебе полезнее в качестве соавтора при написании с++/wayland/vulkan - юное дарование со способностью рассуждать но со школьным курсом питона в качестве знания или туповатый индус средних лет который особой сообразительностью не блещет но зато поднатаскан и в C++ и в вейланде и в вулкане и на зелчок пальца выдает тебе типовые решения? Вот я бы честно выбрал индуса. Пусть он и Q3 зато 132B.

Общие знания это всё же больше про число параметров. Квант влияет на точность рассуждений (если можно так сказать).

Qwen3.8-Flash-Next-GSQ-RCO-Coder-320-PLE8-IQ3_S.

При этом крутится на ноутбуке

эээээ?.. оно же 90 гб

Ну почти. Но он хитро сделан так что резидетная часть втягивается в 40Гб видеопамяти а остальное подтягивает по мере необходимости. Так что мой Ryzen AI 7 350 + 80Gb оперативки вполне его переваривают, при этом на ноуте можно еще и работать в офисном режиме.

Q3 - ни то ни другое, но ближе к индусу. А Q2 - как раз таки индус, но ещё и со старческим маразмом и проблемами с вниманием.

Что ты несёшь?

Большинство моделей если их ужать в 16 раз от натива разваливаются до уровня рандомных чисел, языковые очень хорошо на их фоне держатся и сохраняют генерацию осмысленного текста с удержанием внимания.

Эээ. Ну если у тебя таски уровня «расскажи сказку на ночь», то два бита могут оказаться и лучше облачной, ага.

Бенчил задачами из Terminal-Bench 4.0.

Terminal-Bench 4.0.

фигня, вот как надо:

write starfield generation in Z80 assembler for ZX-Spectrum

почему-то квен 3.6 справляется а 3.8 забивает контекст и всё

Ну. Уменьшаешь квант и общие знания то у модельки хорошие, но чуть задача в рассуждения и у нее уже связных мыслей нет.

3.8 он за счет размышлений и дает хорошую мощность. Там надо контекст хотя бы от 32к.

32к не хватает. 256к установил, а то контекст забивался слишком часто.

языковые очень хорошо на их фоне держатся и сохраняют генерацию осмысленного текста с удержанием внимания.

Ну что же за хрень ты несёшь… ).

Terminal-Bench 4.0.

Ну, ага. Рассказывай, что разницы с полновесной моделью в этом бенчмарке нет, мы верим.

Ну я же и сказал «от» поэтому. Я на 128к контекста гоняю в hermes.

тоесть, 350 и ещё какой то rtx pro на 40гб?

Нет, у него HSA. Там ноутбук с ускорителем и DDR5. Жить на таких конфигурациях не то, чтобы комфортно и очень не спешно, но можно.

тоесть, 350 и ещё какой то rtx pro на 40гб?

Нет, ровно один 350 со встройкой и ноут framework13 не про. В нем 48гб +32гб. 48 отдано в эксклюзивное владение встройке, которая там эту модель и вертит.

Там ноутбук с ускорителем

Ускоритель штука абсолютно бесполезная. Во первых его под линуксом не заведешь - интел еще как-то с горем пополам накачав бинарных пакетов, амд вообще никак. Но главная засада в том что этот ускоритель годен только для предварительного парсинга промпта, то есть сделано это говно чтобы ускорять полуоблачные копилоты от мелкомягких - чтобы энергоэффективно прожевать промпт и в более удобоваримом виде закинут на сервера к билли гейтсу. Лучше бы эти транзисторы отдали на еще пару видеоядер, на которых все и считается по сути.

Далее llama.cpp на vulkan бэкенде, ну я еще подсобрал патчей с миру по нитке для разгона ее под амдшные стриксы, но это не столь актуально ибо llama релизится по несколько раз в день и многое из того что было сторонним патчем оказывается в мейнлайне.

По скорости да, не особо шустро - но вполне себе жужжит. Для хоббийный проектиков и самоообразования хватает, но если что-то серьезное мутить то это уже другое железо и другие деньги. Память то обычная DDR5 стоит овердохрена, а если смотреть на профессиональные видеокарты 48+ то совсем как-то некомфортно. На всем этом фоне решение на AMD Strix - вполне приятный компромисс, особенно если брать на задушенный ноут на тдп 28ватт, а кубик на 395 StrixHalo - туда и памяти можно поболе напихать, и жужжать оно будет шустрее ибо охлад лучше и тдп можно подтнять - тут на неназываемой барахолке видел продают машинки со 128гиг рам по цене в половину 48гиговой нвидии.