История изменений
Исправление LightDiver, (текущая версия) :
Это что то вроде динамической маршрутизации информации. Динамическое распределение важности информации в рамках одного запроса.
Мехнизм не выбирает что то одно, а распределяет единый бюджет важности (сумма 1) между всеми элементами. Но не равномерно. Вес, который присваивается токену, показывает насколько он математически релевантен для понимания текущего слова.
В этом и есть главное ограничение. Это не сквозной процесс. Каждый раз, когда вы отправляете новое сообщение, модель заново пересчитывает это распределение с нуля для всего контекстного окна. После ответа всё «забывается».
И это происходит внутри каждого слоя.
Исправление LightDiver, :
Это что то вроде динамической маршрутизации информации. Динамическое распределение важности информации в рамках одного запроса.
Мехнизм не выбирает что то одно, а распределяет единый бюджет важности (сумма 1) между всеми элементами. Но не равномерно. Вес, который присваивается токену, показывает насколько он математически релевантен для понимания текущего слова.
В этом и есть главное ограничение. Это не сквозной процесс. Каждый раз, когда вы отправляете новое сообщение, модель заново пересчитывает это распределение с нуля для всего контекстного окна. После ответа всё «забывается».
Исходная версия LightDiver, :
Это что то вроде динамической маршрутизации информации. Динамическое распределение важности информации в рамках одного запроса.