История изменений

Любой LLM агент реализует точно такую же стратегию. И память тоже прикручивают, причём структурированную (Graph RAG + Self RAG).

Вроде бы кто-то еще мне здесь писал по подобному поводу, но не могу найти, кого упомянуть. Там что-то было про рефлексию на слоях модели, близких к выходу. Ну ладно.

Суть в чем.

Мысль человека нелинейна, она имеет встроенную связь с механизмами управления мыслью. В процессе мышления работает «наблюдатель» и «внутренний критик».

Метазнание - это знание о собственном знании, мышление о собственном мышлении. Оно позволяет оценивать свой собственный мыслительный процесс, его цели, его качество и корректировать его на лету. Это итеративный, рекурсивный процесс.

У LLM вычисление производится как единое матричное вычисление от входа к выходу. Это однопроходный механизм предсказания. Он выполняет сложный анализ контекста, но у него нет встроенного механизма для оценки и коррекции самого процесса генерации в реальном времени.

LLM не может написать абзац, а потом прийти к выводу: «Знаете, предыдущий абзац был плох, давайте я его удалю и сгенерю заново».

Она всегда движется только вперед, отталкиваясь от того, что уже есть. «Рефлексия» верхних слоев — это статичный анализ прошлого для предсказания будущего, а не динамическое управление настоящим и не критичный взгляд на свои выводы.

Если LLM пошла по неверному пути, она будет согласно проявляемому моделью свойству in-context learning идти по нему дальше. Если она сгенерировала несуществующий факт, то для неё этот факт такая же истина как и любой другой истина.

И еще LLM не способна «узнать, откуда она это знает». Она не имеет метазнания.

Петли на уровне RAG, то есть «петли», которые есть в современных AI-системах — это инженерные решения, а не фундаментальные решения. Они надстроены поверх фундаментальной архитектуры модели, чтобы заставить ее имитировать подобие человеческой рефлексии.

Любой LLM агент реализует точно такую же стратегию. И память тоже прикручивают, причём структурированную (Graph RAG + Self RAG).

Вроде бы кто-то еще мне здесь писал по подобному поводу, но не могу найти, кого упомянуть. Там что-то было про рефлексию на слоях модели, близких к выходу. Ну ладно.

Суть в чем.

Мысль человека нелинейна, она имеет встроенную связь с механизмами управления мыслью. В процессе мышления работает «наблюдатель» и «внутренний критик».

Метазнание - это знание о собственном знании, мышление о собственном мышлении. Оно позволяет оценивать свой собственный мыслительный процесс, его цели, его качество и корректировать его на лету. Это итеративный, рекурсивный процесс.

У LLM вычисление производится как единое матричное вычисление от входа к выходу. Это однопроходный механизм предсказания. Он выполняет сложный анализ контекста, но у него нет встроенного механизма для оценки и коррекции самого процесса генерации в реальном времени.

LLM не может написать абзац, а потом прийти к выводу: «Знаете, предыдущий абзац был плох, давайте я его удалю и сгенерю заново».

Она всегда движется только вперед, отталкиваясь от того, что уже есть. «Рефлексия» верхних слоев — это статичный анализ прошлого для предсказания будущего, а не динамическое управление настоящим и не критичный взгляд на свои выводы.

Если LLM пошла по неверному пути, она будет согласно проявляемому моделью свойству in-context learning идти по нему дальше. Если она сгенерировала несуществующий факт, то для неё этот факт такая же истина как и любой другой истина.

И еще LLM не способна «узнать, откуда она это знает». Она не имеет метазнания.

Петли на уровне RAG «петли», которые есть в современных AI-системах — это инженерные решения, а не фундаментальные решения. Они надстроены поверх фундаментальной архитектуры модели, чтобы заставить ее имитировать подобие человеческой рефлексии.

Любой LLM агент реализует точно такую же стратегию. И память тоже прикручивают, причём структурированную (Graph RAG + Self RAG).

Вроде бы кто-то еще мне здесь писал по подобному поводу, но не могу найти, кого упомянуть. Там что-то было про рефлексию на слоях модели, близких к выходу. Ну ладно.

Суть в чем.

Мысль человека нелинейна, она имеет встроенную связь с механизмами управления мыслью. В процессе мышления работает «наблюдатель» и «внутренний критик».

Метазнание - это знание о собственном знании, мышление о собственном мышлении. Оно позволяет оценивать свой собственный мыслительный процесс, его цели, его качество и корректировать его на лету. Это итеративный, рекурсивный процесс.

У LLM вычисление производится как единое матричное вычисление от входа к выходу. Это однопроходный механизм предсказания. Он выполняет сложный анализ контекста, но у него нет встроенного механизма для оценки и коррекции самого процесса генерации в реальном времени.

LLm не может написать абзац, а потом прийти к выводу: «Знаете, предыдущий абзац был плох, давайте я его удалю и сгенерю заново».

Она всегда движется только вперед, отталкиваясь от того, что уже есть. «Рефлексия» верхних слоев — это статичный анализ прошлого для предсказания будущего, а не динамическое управление настоящим и не критичный взгляд на свои выводы.

Если LLM пошла по неверному пути, она будет согласно проявляемому моделью свойству in-context learning идти по нему дальше. Если она сгенерировала несуществующий факт, то для неё этот факт такая же истина как и любой другой истина.

И еще LLM не способна «узнать, откуда она это знает». Она не имеет метазнания.

Петли на уровне RAG «петли», которые есть в современных AI-системах — это инженерные решения, а не фундаментальные решения. Они надстроены поверх фундаментальной архитектуры модели, чтобы заставить ее имитировать подобие человеческой рефлексии.

Любой LLM агент реализует точно такую же стратегию. И память тоже прикручивают, причём структурированную (Graph RAG + Self RAG).

Вроде бы кто-то мне здесь писал по подобному поводу, но не могу найти, кого кастануть. Там что-то было про рефлексию на слоях модели, близких к выходу. Ну ладно.