История изменений

Более конкретно если говорить про мой пример с LZ4, то модель «понимает» близость понятий исходя из статистических закономерностей обучающей выборки.

LZ4, LZ77, LZO, Lempel-Ziv, «скользящее окно», «словарь», «литерал» и т.п. — все эти слова находятся в общем облаке, активируемом вопросом. Но поскольку конкретных фактов модель либо не получала (формат сжатия LZ4 редко описывается в литературе, лекциях и т.п.), либо не смогла детально «запомнить» (малое количество параметров модели), то она начинает генерировать ерунду.

Об LZ4 она получала только общую информацию: что алгоритм быстрый, не очень сильно сжимает по сравнению с другими алгоритмами, часто применяется там, где критична скорость.

Это как артефачащие тени в играх. В теории тени мы можем нарисовать идеально. А на практике на реальном железе - как получится.

Устройство LLM не подразумевает механизмов оценки достоверности и полноты известной модели информации.

Хотя на этапе Reinforcement Learning модель обычно учат говорить, что она чего-то не знает, это не является системным свойством модели, а только очередным трюком - паттерном, который она запомнила.

Более конкретно если говорить про мой пример с LZ4, то модель «понимает» близость понятий исходя из статистических закономерностей обучающей выборки.

LZ4, LZ77, LZO, Lempel-Ziv, «скользящее окно», «словарь», «литерал» и т.п. — все эти слова находятся в общем облаке, активируемом вопросом. Но поскольку конкретных фактов модель либо не получала (формат сжатия LZ4 редко описывается в популярной литературе, лекциях и т.п.), либо не смогла детально «запомнить» (малое количество параметров модели), то она начинает генерировать ерунду.

Об LZ4 она получала только общую информацию: что алгоритм быстрый, не очень сильно сжимает по сравнению с другими алгоритмами, часто применяется там, где критична скорость.

Это как артефачащие тени в играх. В теории тени мы можем нарисовать идеально. А на практике на реальном железе - как получится.

Устройство LLM не подразумевает механизмов оценки достоверности и полноты известной модели информации.

Хотя на этапе Reinforcement Learning модель обычно учат говорить, что она чего-то не знает, это не является системным свойством модели, а только очередным трюком - паттерном, который она запомнила.

Более конкретно если говорить про мой пример с LZ4, то модель «понимает» близость понятий исходя из статистических закономерностей обучающей выборки.

LZ4, LZ77, LZO, Lempel-Ziv, «скользящее окно», «словарь», «литерал» и т.п. — все эти слова находятся в общем облаке, активируемом вопросом. Но поскольку конкретных фактов модель либо не получала (формат сжатия LZ4 редко описывается в популярной литературе, лекциях и т.п.), либо не смогла детально «запомнить» (малое количество параметров модели), то она начинает генерировать ерунду.

Об LZ4 она получала только общую информацию: что алгоритм быстрый, не очень сильно сжимает по сравнению с другими алгоритмами, часто применяется там, где критична скорость.

Это как артефачащие тени в играх. В теории темы мы можем нарисовать идеально. А на практике на реальном железе - как получится.

Устройство LLM не подразумевает механизмов оценки достоверности и полноты известной модели информации.

Хотя на этапе Reinforcement Learning модель обычно учат говорить, что она чего-то не знает, это не является системным свойством модели, а только очередным трюком - паттерном, который она запомнила.

Более конкретно если говорить про мой пример с LZ4, то модель «понимает» близость понятий исходя из статистических закономерностей обучающей выборки.

LZ4, LZ77, LZO, Lempel-Ziv, «скользящее окно», «словарь», «литерал» и т.п. — все эти слова находятся общем облаке, активируемом вопросом. Но поскольку конкретных фактов модель либо не получала (формат сжатия LZ4 редко описывается в популярной литературе, лекциях и т.п.), либо не смогла детально «запомнить» (малое количество параметров модели), то она начинает генерировать ерунду.

Об LZ4 она получала только общую информацию: что алгоритм быстрый, не очень сильно сжимает по сравнению с другими алгоритмами, часто применяется там, где критична скорость.

Это как артефачащие тени в играх. В теории темы мы можем нарисовать идеально. А на практике на реальном железе - как получится.

Устройство LLM не подразумевает механизмов оценки достоверности и полноты известной модели информации.

Хотя на этапе Reinforcement Learning модель обычно учат говорить, что она чего-то не знает, это не является системным свойством модели, а только очередным трюком - паттерном, который она запомнила.