История изменений
Исправление Obezyan, (текущая версия) :
уже привычные для нас нейронки не умеют работать с временем, хотя это не так.
К сожалению, это так, не умеют. Раскрою мысль:
В традиционных моделях время не используется как ось времени, оно преобразуется: кодируется позицией, подаётся как внешний числовой признак или используется как параметр интегрирования (Neural ODE). В таких моделях время не является внутренней динамической переменной нейрона. Если убрать время у такой модели просто будет на один признак меньше при обучении.
В описанной выше модели время это фундаментальная ось вычисления т.к. каждый нейрон имеет собственное внутреннее состояние, эволюционирующее во времени. Если убрать время эта модель перестанет существовать.
Также и с сигналом, в традиционных сетях он проходит синхронно, в этой модели - асинхронно. Вообще, асинхронность это признак того что нейронная сеть может работать со временем.
Ну и главное для чего вводится время это причинно-следственная связь, модель в статье различает не просто «что было», а кто за кем и через какое время. Тот же Transformer это не различает.
Если совсем по-простому:
- традиционные модели учитывают время как кодированный признак данных
- модель из статьи вычисляет во времени
Исправление Obezyan, :
уже привычные для нас нейронки не умеют работать с временем, хотя это не так.
К сожалению, это так, не умеют. Раскрою мысль:
В традиционных моделях время не используется как ось времени, оно преобразуется: кодируется позицией, подаётся как внешний числовой признак или используется как параметр интегрирования (Neural ODE). В таких моделях время не является внутренней динамической переменной нейрона. Если убрать время у такой модели просто будет на один признак меньше при обучении.
В описанной выше модели время это фундаментальная ось вычисления т.к. каждый нейрон имеет собственное внутреннее состояние, эволюционирующее во времени. Если убрать время эта модель перестанет существовать.
Также и с сигналом, в традиционных сетях он проходит синхронно, в этой модели - асинхронно. Вообще, асинхронность это признак того что нейронная сеть может работать со временем.
Ну и главное для чего вводится время это причинно-следственная связь, модель в статье различает не просто «что было», а кто за кем и через какое время. Тот же Transformer это не различает.
Если совсем по-простому:
- традиционные модели учитывают время
- модель из статьи вычисляет во времени
Исходная версия Obezyan, :
уже привычные для нас нейронки не умеют работать с временем, хотя это не так.
К сожалению, это так, не умеют. Раскрою мысль:
В традиционных моделях время не используется как ось времени, оно преобразуется: кодируется позицией, подаётся как внешний числовой признак или используется как параметр интегрирования (Neural ODE). В таких моделях время не является внутренней динамической переменной нейрона. Если убрать время у такой модели просто будет на один признак меньше при обучении.
В описанной выше модели время это фундаментальная ось вычисления т.к. каждый нейрон имеет собственное внутреннее состояние, эволюционирующее во времени. Если убрать время эта модель перестанет существовать.
Также и с сигналом, в традиционных сетях он проходит синхронно, в этой модели - асинхронно. Вообще, асинхронность это признак того что нейронная сеть может работать со временем.
Ну и главное для чего вводится время это причинно-следственная связь, модель в статье различает не просто «что было», а кто за кем и через какое время. Тот же Transformer это не различает.