С бесплатными ИИ что-то случилось?

мы имеем счастье наблюдать

А Вы можете, пожалуйста, привести пример запроса и результаты генерации в прошлом (которые Вас удовлетворяли) и в настоящем (которые Вы считаете ухудшенными). И/или то же самое для онлайн чата и для локальной модели, если есть возможность. Спасибо.

Из особо эпичного: спрашиваю квен про статью 135 ТК РФ, а ответ получаю по 135 УК РФ. Дополнительные пинки сбили его на китайское законодательство, а потом он вдруг ответил как ожидалось.

Из неособо эпичного: постоянно путает субъекты федерации. У всех субъектов есть похожий набор региональных программ, я из них запрашиваю цели, например, а вот как раз цели у них могут быть разные.

Первые микрокомпьютеры «для бизнеса» типа Лизы стоили до $10K в ценах 80х годов.

Боже, какой «Лиза» тормозной! Вы бы видели.

Сейчас или в конце 80х годов?

Ну, увидел-то я его сейчас. Тогда, да, пользователям не с чем было сравнивать.

Более того, тогда это было также ново и необычно, что пользователи задавали те же самые вопросы, что мы в этом (и подобных) обсуждении. Прежде всего «зачем?» Зачем электронные таблицы в бизнесе? Как это ускорит или упростит бухгалтерский учёт? Текст - какой текст?

Зачем электронные таблицы в бизнесе?

А потом бизнесмену показывали, как можно вести двойной учёт, и компьютер покупался ;)

Ну, на самом деле, когда появился лотус и в нём стало можно графики с диаграммами строить :) Чуть позже, чем Лиза.

И сейчас опять можно спорить, кто кого вдохновил и почему получилось так, как получилось. А ведь Лотус только недавно прекратил поддержку, то есть просуществовал без малого сорок лет. Вы только подумайте, половина ЛОРа еще не родилось, а Лотус уже был!

но даже на 4х5090 выдает несчастные 3t/s. А на типичной машине лоровца будет 0,03t/s.

А как узнать сколько t\s выдает условный нейрогугл бесплатный? Ну либо мой любимый Composer в Курсоре? Просто интересно стало, насколько реально простые задачи(типа написания скриптов на баше для локалхоста) решать на этом самом локалхосте, например с одной 5080-5090 и 32-64Гб рамы? Если 5-10 минут на скрипт(который пишет Composer за 30сек), то это вполне допустимо даже.

Сам нагуглил «Composer 2.5 Normal — около 3–4 токенов в секунду.», т.е. по идее, 5080-5090 будет выдавать что-нибудь порядка 0,5t\s. Этого вполне достаточно даже для рабочих целей, если не гнать лошадей. Как раз успеешь прочитать что он нагенерил с предыдущей итерации к готовности следующей. А уж для домашних скриптов более чем, ну будет 3-5 минут на скрипт, дал задачу и ушел чаю попить.

А как узнать сколько t\s выдает условный нейрогугл бесплатный?

Прикинуть сколько символов в минуту он генерирует и поделить на 60, будет очень приблизительно t/s.

Просто интересно стало, насколько реально простые задачи(типа написания скриптов на баше для локалхоста) решать на этом самом локалхосте, например с одной 5080-5090

Почему то именно в bash они лажают, а тот же питон, раст или го вполне успешно пишут. Одной 3090 с 24Гб памяти хватит чтобы запустить квантованную qwen 3.6 27B с контекстом 160к. А это уже неплохая моделька, вполне достаточная для написания пет проектов. 5090 будет раза в два-три быстрее. В 5080 она не пшместится из-за объема памяти, нужно будет использовать qwen3.6 35B A3B с выгрузкой в оперативку и нагрузкой на проц. На 3090 она может выдать 40-100t/s, но эта модель прям видно что тупее. Имхо модели с параметрами ниже вообще не стоит использовать для кодинга. Только как ассист.

Блин, до меня сейчас дошло, что ЛЛМ это по сути архивная версия всех знаний человечества в удобной упаковке и с удобным доступом. Или вообще знаний. Упакованная в очень хитрую упаковку.

Не только, в LLM после упаковки знаний проявляются эмерджентные свойства. Без них LLM не была бы способна решать задачи, кроме тех, которые она встретила во время обучения.

доходит до того, что они даже из готового документа не могут вытащить таблицу без дополнительных пинков.

Ты в наглую тратишь входные токены, а потом жалуешься.

Блин, до меня сейчас дошло, что ЛЛМ это по сути архивная версия всех знаний человечества

Странно, я думал, что вот здесь было высказано это же самое мнение

https://www.linux.org.ru/forum/ai/18340894?cid=18341011

и мы с вами подробно это обсудили.

Да нет, ты о другом. Я вдруг осознал, что сами веса - это и есть архив знаний в первую очередь. То есть шаблон, в который эти знания заложены.

То есть по сути это создание перфокарты со всеми знаниями человечества, что само по себе поразительно. А то что оно еще и работать с ними умеет - вообще отдельная тема.

Ну в общем да, это такой зип всего, что человечество нарыло за 20000 лет своего существования.

Так это ж хорошо. ИИ только проблемы множит, не более.

О сколько нам открытий чудных
Готовят просвещенья дух
И опыт, сын ошибок трудных,
И гений, парадоксов друг,
И случай, бог изобретатель.

Блин, до меня сейчас дошло, что ЛЛМ это по сути архивная версия всех знаний человечества в удобной упаковке и с удобным доступом. Или вообще знаний. Упакованная в очень хитрую упаковку.

НЕТ! Взяли все данные, до которых дотянулись, пропустили через мясорубку фильтров и дедупликации. Потом прогнали через модель миллиарды раз, и на каждом прогоне модель получала по щам за неправильное предсказание следующего слова. Миллиарды раз. Пока веса не подогнулись так, что модель перестала хранить тексты и начала хранить выжатые из них закономерности: что за чем идёт, что с чем связано, где логика, а где бред.

Модель выдаёт распределение вероятностей: вот тут с вероятностью 40% идёт слово «кошка», с вероятностью 15% «собака», с вероятностью 0,001% «экскаватор». А потом из этого распределения кидают загруженный кубик и да, в броске есть случайность, но кубик-то кривой, и кривизну эту выучили на триллионах примеров.

Так что это больше статистический оттиск всего прочитанного, из которого при каждом запросе заново отливают ответ. Не фотография. Не ксерокс. Скорее гипсовый слепок, с которого каждый раз лепят новую фигуру. И да, иногда лепят криво но не потому что рандом, а потому что слепок в этом месте был тонкий.

А то о чем ты говоришь, скорее RAG

Ты мог ошибиться, но могло и правда такое случиться. Я достоверно пронаблюдал это с ChatGPT летом 2025 года: абсолютно на те же самые промты до лета чатгпт отвечал как доктор наук, летом отвечал как психолог первокурсник «вы точно хотите поговорить про эту тему? А можете больше мне рассказать про неё?». Причина в том, что мелкие модели намного, НАМНОГО дешевле вычислять, чем большие. Хвастаются-то эти компании большими моделями в статьях с бенчмарками, но самые большие модели очень дорого стоят — а простым пользователям достаются мелкие модели.

Иногда, как в случае с чатгпт, делается это незаметно для пользователя, типа «пипл хавает». И да, Enterprise версия имеет зафиксированную гарантированную версию, и для неё быстро исправляются баги.

Скорее всего не упрощенные версии, а с меньшей квантизацией, чтобы vram экономить

Как правило, квантизируют только веса. Всё остальное вычисляется с полной точностью. В принципе, есть разные штуки для частичной квантизации K-V кеша, но у такой оптимизации сомнительная польза. Хотя я и не исключаю, что какие-то наркоманы квантизовали K-V кеш, чтобы сэкономить копейку.

Как правило, квантизируют только веса.

Ну это правило появилось в reddit среди энтузиастов LocalLLM, не факт что оно соблюдается на frontier моделях. Там то соблазн миллионный контекст ужать экономически обоснован.

В таком раскладе проще сделать резюмирование контекста, как делает тот же Composer. Проблема квантизации контекста заключается в том, что контекст часто имеет значения самого разного масштаба. Особенно на LLama-подобных сетках экспоненциальный рост значений контекста со слоями является нормой — а это многие современные БЯМ. Фактически квантизация делает модель частично забывать и ошибаться в старом контексте, что в какой-то степени даже хуже, чем грамотное резюмирование.

При этом веса умножаются на контекст, благодаря чему им не нужно никуда масштабироваться, они автомасштабированы by-design.