История изменений

Да это всё детали. Базово любая сеть любой сложности, это тупо лего. Любая сетка точечно рассматриваемая топологически примитивна, вся сложность начинается с фокусов, взяли перцептрон, порезали связи, вот новый тип сети, взяли три слоя средний уменьшили в двое, вуаля и автоэнкодер, взяли выхлоп из жопы сети и подали его в хлебало первому или самому же себе вуаля рекурентная, взяли тоже самое, но теперь выхлоп подаётся через раз, ещё новый тип, новое красивое название. А теперь в каждой из этих комбинаций 100500 функций активаций, а к некоторым вообще без активации, а теперь всё это ещё и между собой, а ещё сбоку прицепить обычную логику програмную, а ещё… ну и так далее.

Сложность появляется когда оно в комплексе, а реальная же работа, любой части, любой сети сводится к детскому рисунку из кружков и стрелочек с простейшей арифметикой. Но когда оно всё вместе, это да, там ёгого

так что перцептрон тоже уже не совсем старый-добрый, а прокачанный.

Это как в хеш таблице заменить обход списков при колиизии на деревья. Да, оно теперь работает по другому, но это как была хеш табля так и осталась, принцип не поменялся, так и тут. Фундаментально меняй функции активации на что угодно, или вообще убирай их, как был перцептрон так перцептроном и останется. Сети бывают разные, в смысле вообще, где-то SwiGLU будет как пятая нога кобыле. Иными словами оно не прокачанное, оно просто другое. Сети по большей части отличаются друг от друга не тем что одна хуже, а другая лучше, а тем что они тупо другие, под разные задачи.

Да это всё детали. Базово любая сеть любой сложности, это тупо лего. Любая сетка точечно рассматриваемая топологически примитивна, вся сложность начинается с фокусов, взяли перцептрон, порезали связи, вот новый тип сети, взяли три слоя средний уменьшили в двое, вуаля и автоэнкодер, взяли выхлоп из жопы сети и подали его в хлебало первому или самому же себе вуаля рекурентная, взяли тоже самое, но теперь выхлоп подаётся через раз, ещё новый тип, новое красивое название. А теперь в каждой из этих комбинаций 100500 функций активаций, а к некоторым вообще без активации, а теперь всё это ещё и между собой, а ещё сбоку прицепить обычную логику програмную, а ещё… ну и так далее.

Сложность появляется когда оно в комплексе, а реальная же работа, любой части, любой сети сводится к детскому рисунку из кружков и стрелочек с простейшей арифметикой. Но когда оно всё вместе, это да, там ёгого

так что перцептрон тоже уже не совсем старый-добрый, а прокачанный.

Это как в хеш таблице заменить обход списков при колиизии на деревья. Да, оно теперь работает по другому, но это как была хеш табля так и осталась, принцип не поменялся, так и тут. Фундаментально меняй функции активации на что угодно, или вообще убирай их, как был перцептрон так перцептроном и останется. Сети бывают разные, в смысле вообще, где-то SwiGLU будет как пятая нога кобыле. Иными словами оно не прокачанное, оно просто другое. Сети по большей части отличаются друг от друга не тем что одна хуже, а другая лучше, а тем что они тупо другие.