Что вы думаете об этом PrismML Bonsai 2

Новая в линейке языковая модель PrismML Bonsai 2 27B представляет собой версию популярной открытой системы Alibaba Qwen3.8 27B, но в достаточно компактном размере — всего 5,9 Гбайт.

Они сжали обычный советский китайский Qwen в тернарное представление. В чем новость?

Что вы думаете

Думаю, что магии не бывает, квантование убивает точность в любом случае. Но как способ экономии ресурсов - рабочая тема.

В чем новость?

типа прорыв маленький

• Технология сжатия, которую применяет PrismML, уникальна, утверждает разработчик: созданные компанией модели практически не теряют в показателях производительности в сравнении с оригиналами. Новая Bonsai 2 демонстрирует 98 % от совокупных результатов бенчмарков, которые показала Qwen. *

На моих типичных тестовых заданиях обе этим модели такую чушь городят… Окей. Решил дать более простое задание:

Напиши обёртку на bash, показывающую аналог `git status --short`, но с информацией mtime о каждом файле.

Результат:

Размышлял 30 минут и был прерван сервером по таймауту. Сгенерировал 93 килобайта текста рассуждений. Какой только чуши там не понаписал. До чистового ответа добраться так и не успел.

Не хочу сказать, что проблема конкретно в Bonsai. Просто данная разновидность Qwen сама по себе слабая модель.

Bonsai наверное половина кто пробовал говорят что мусор!

Новую не пробовал. Предыдущие были дико тормозными по сравнению с оригинальными Qwen на том же оборудовании.

Qwen3.8-27B вполне нормальная. Всего год назад подобными возможностями обладали только модели размером в сотни ГБ.

Год назад модели «размером в сотни ГБ» запросто несли лютую дичь, так же как Qwen3.8-27B – в этом смысле паритет, да.

Но сейчас мы уже имеем, например, Qwen3.8-Flash-Next, которая в своих 125B вполне адекватна внутри агента.

А Qwen3.8-27B у меня ни одного тестового задания не смогла сделать. Я просто не знаю, для чего её применить в таком качестве.

Для обычного классификатора изображений и текстов она слишком большая, для работы над кодом – глупая.

на каком стеке задач и языках тестил? использую как вспомогательную модель для разработки на расте и администрирования, полет нормальный.

логические ошибки находит, код пишет в соответствии с качеством промпта, с контекстом норм работает, в тулзах не путается.

уровень опуса годовой давности и есть, примерно.

на каком стеке задач и языках тестил?

Если говорить о задачах, которые я решаю с участием облачных моделей:

js, python, php, bash по работе, всякая вебня

python, bash, c - для себя

Задачи - рефакторинг кода, ревью легаси, ревью правок/коммитов, локализация багов.

Я пробовал давать Qwen 27B ряд таких задач, для которых уже знаю, какие результаты ожидать от других моделей – результат не удовлетворил.

Выше также был частный пример, который я дал Bonsai - написать несложный скрипт «по памяти», вне агентного цикла. Думал, написать полстраницы кода на bash для неё будет более простым заданием. Оказалось, что нет.

Используя Q27b, недавно создал web shell для IP камеры tenda, просто скормив описание уязвимости и коротко описав, какой результат нужен. Уязвимость позволяет выполнять команды от root. Результат выполнения возвращается POST запросом через wget.

Код получился рабочим с первой попытки.

Использую квант с весами в Q8/Q6_K/Q4_K и kv=f16, контекст 160k.

Из моего опыта, Qwen3.8-Flash-Next у меня работает практически также, как Qwen3.8-27B, только медленнее.

а на каком железе у вас крутиться это все ?

RTX 5070 Ti + RTX 5060 Ti 16GB и 96GB DDR4. Вторая видеокарта подключена через PCIe 3.0x4.

и сколько такой сетап вышел?

Слабый интерконнект :(

Комп уже был и стоял почти все время без дела, докупал только видеокарты. Взял их прошлой осенью перед подорожанием за 85к + 56к. Память покупалсь на али еще в 2022. В сумме за 2 комплекта (32GB + 64GB) отдал 23к.