История изменений

Вот еще интересный чат с GLM для углубления темы:
https://chat.z.ai/s/e6d24e97-cf17-4eda-8fe3-6ca60956c858

• В качестве промпта подано арифметическое вычисление, сделанное моделью gemma3n:e4b (около 7B параметров всего, 4B активно на токен). Модель раскладывает на простые множители число 132788.
• GLM ищет в вычислении ошибку. Если нажать на «Thought Process», можно увидеть развернутые пошаговые выкладки с проверками - результат того, что модель способна достаточно эффективно работать на уровне «Системы 2».
• GLM находит ошибку. Надо сказать, что если бы я не отдал распоряжение искать ошибку, он скорее всего пропустил бы её. (Проверено отдельными запусками.) Хотя когда он с нуля вычисляет, не видя чужого решения, он считает верно. (Тоже проверено.) Пропуск чужой ошибки - тут работает эффект доверия к уже имеющейся информации, в принципе, как и у людей.
• Далее также я попросил GLM рассказать о механизме арифметического «чутья» в LLM. В частности, он рассказывает об явлении перехода «от зубрёжки к прозрению» (grokking) и о том, что трансформер для «ощущения» чисел оперирует величинами в логарифмической шкале, а не абсолютными. Почитайте, интересно.

Вот еще интересный чат с GLM для углубления темы:
https://chat.z.ai/s/e6d24e97-cf17-4eda-8fe3-6ca60956c858

• В качестве промпта подано арифметическое вычисление, сделанное моделью gemma3n:e4b (около 7B параметров всего, 4B активно на токен). Модель раскладывает на простые множители число 132788.
• GLM ищет в вычислении ошибку. Если нажать на «Thought Process», можно увидеть развернутые пошаговые выкладки с проверками - результат того, что модель способна достаточно эффективно работать на уровне «Системы 2».
• GLM находит ошибку. Надо сказать, что если бы я не отдал распоряжение искать ошибку, он скорее всего пропустил бы её. (Проверено отдельными запусками.) Хотя когда он с нуля вычисляет, не видя чужого решения, он считает верно. (Тоже проверено.) Пропуск чужой ошибки - тут работает эффект доверия к уже имеющейся информации, в принципе, как и у людей.
• Далее также я попросил GLM рассказать о механизме арифметического «чутья» в LLM. В частности, он рассказывает об явлении перехода «от зубрёжки к прозрению» (grokking) и о том, что трансформер для «ощущения» чисел оперирует логарифмическими величинами, а не абсолютными. Почитайте, интересно.