LINUX.ORG.RU

топология нейросетей

 ,


0

1

Например: http://masters.donntu.org/2006/fvti/isaenko/library/art05_files/ffnn.gif

Практически все математические нейросети представляют из себя такую вот странную картинку, когда один нейрон имеет произвольное количество аксонов. Я никогда не видел, что в биологических нейросетях существует что-то подобное.

Напрашивается вопрос: неужели создатели нейросетей думали, что природа настолько глупа, что она облажалась, и не «догадалась» сделать вот такую вот «инновацию»?

Ясно, что это все ломает архитектуру, она уже другая. Не совсем пока понятно, какие преимущества глобально это может дать, ясно пока одно: это напрочь убивает иерархическую структуру, и экстремально затрудняет анализ.

Каковы были мотивы этого решения?

UPD не уверен, но похоже, я тут не прав. от некоторых аксонов идут ответвления — коллатерали, возможно они, в какой-о степени играют роль разветвителей для сигнала клетки. Не могу найти нормальную инфу по их функциональности.

природа настолько глупа, что она облажалась, и не «догадалась» сделать вот такую вот «инновацию»?

я не понял какую «такую» :(

Rastafarra ★★★ ()

Практически все математические нейросети представляют из себя такую вот странную картинку, когда один нейрон имеет произвольное количество аксонов. Я никогда не видел, что в биологических нейросетях существует что-то подобное.

Ещё, небось, и сигма-функцию в биологических сетях не видел? В задачи ИНС не входит копировать биологические нейронные сети, если что.

Напрашивается вопрос: неужели создатели нейросетей думали, что природа настолько глупа, что она облажалась, и не «догадалась» сделать вот такую вот «инновацию»?

Природа действительно бесконечно глупа и ограничена физическими рамками, и задачи у ней другие. А создатели нейросетей умные, ничем не ограничены, и используют общую, а значит более простую и функциональную модель.

Ясно, что это все ломает архитектуру, она уже другая.

Да наплевать, см. первый абзац.

Не совсем пока понятно, какие преимущества глобально это может дать

Гибкость и простота модели.

ясно пока одно: это напрочь убивает иерархическую структуру

Иерархическая структура это слои. Они никуда не делись и никак не зависят от количества связей внутри слоя.

и экстремально затрудняет анализ.

Какой ещё анализ?

slovazap ★★★★★ ()
Ответ на: комментарий от Rastafarra

Перевожу на русский: настоящие нейроны внутри тебя имеют только один «выход».

Gvidon ★★★★ ()
Ответ на: комментарий от portquest2016

а, у тебя пригорает от того что «нейронная сеть» в ИТ это абстракция?

ну... такие дела, да.

Rastafarra ★★★ ()
Ответ на: комментарий от slovazap

В задачи ИНС не входит копировать биологические нейронные сети, если что.

Пусть тогда называют свое кривое поделие по другому. Они пиарятся чтоли таким образом?

Природа действительно бесконечно глупа и ограничена физическими рамками, и задачи у ней другие

Заметно. Природа создала мозг, а горе академики 100 лет к ряду пытаются его имитировать с результатом близким к нулю. Оч глупа

portquest2016 ()
Ответ на: комментарий от Rastafarra

Абстракция — это по сути модель, в данном случае, это должно быть упрощение, но не извращение изначальной системы.

portquest2016 ()
Ответ на: комментарий от Gvidon

Ненастоящие внезапно тоже. Просто ОП клинический дебил, впрочем, и вы такие же.

anonymous ()
Ответ на: комментарий от Gvidon

Соединяется он со многими входами, тем не менее. Вообще, есть и дендро-дендритические синапсы.

slovazap ★★★★★ ()
Последнее исправление: slovazap (всего исправлений: 1)
Ответ на: комментарий от Rastafarra

упрощение, обобщение, но не извращение. Они должны были сохранить изначальные принципы работы. Представь себе, что было бы, если бы таким образом создавались принципиальные электрические схемы.

portquest2016 ()
Ответ на: комментарий от portquest2016

должно быть упрощение, но не извращение изначальной системы.

нет никакой «начальной системы». внезапно, правда? :)

http://www.ozon.ru/context/detail/id/135794246/?gclid=CjwKEAiApLDBBRC8oICb9Nv...

ну и ТАУ, конечно, вроде курсе на третьем преподают.

Rastafarra ★★★ ()
Ответ на: комментарий от portquest2016

а горе академики 100 лет к ряду

ага. всего-то за 100 лет сделали то, что природа «делала» миллиарды.

Хотя в твоем случае природа явно схалтурила.

anonymous ()
Ответ на: комментарий от Rastafarra

они это декларировали. Они это представяли и представляют до сих пор как модель биологических нейросетей.

portquest2016 ()
Ответ на: комментарий от portquest2016

Пусть тогда называют свое кривое поделие по другому. Они пиарятся чтоли таким образом?

Пусть природа подаст в суд, лол.

Заметно. Природа создала мозг, а горе академики 100 лет к ряду пытаются его имитировать с результатом близким к нулю. Оч глупа

Вопрос только в потенциале. Природа ограничена физикой, и по быстродействию (из-за участия химии), и по объёму, и по изменчивости сети, а ИНС ограничены только вычислительной мощностью которая экспоненциально растёт. Мозг, как мы видим, далеко не венец творения.

slovazap ★★★★★ ()
Ответ на: комментарий от portquest2016

упрощение, обобщение, но не извращение. Они должны были сохранить изначальные принципы работы. Представь себе, что было бы, если бы таким образом создавались принципиальные электрические схемы.

Во-первых, никому они ничего не должны. Во-вторых, это действительно обобщение и упрощение схемы. Сеть с меньшим числом соединений - частный случай сети с большим числом соединений, прост веса некоторых соединений нулевые.

slovazap ★★★★★ ()
Ответ на: комментарий от slovazap

Соединяется он со многими входами

В смысле, входов в нейрон может быть неограниченное количество, но выход из него только один

portquest2016 ()
Ответ на: комментарий от portquest2016

Т.е. ты смеешь рассуждать о естественных нейронных сетях, даже не зная как они устроены?

slovazap ★★★★★ ()
Ответ на: комментарий от portquest2016

Во-первых, нет - я повторюсь про дендро-дендритические соединения. Во-вторых, никакой разницы, важно только число связей. Один выход который соединяется с N входами и N выходов котоые соединяются с N входами это функционально одно и то же - N связей.

slovazap ★★★★★ ()
Ответ на: комментарий от slovazap

Один выход который соединяется с N входами

ты это откуда взял то вообще? Где ты это увидел?

portquest2016 ()
Ответ на: комментарий от slovazap

я так понял, что ты под «одним выходом» подразумеваешь пучек выходов в матнейросети(пучек аксонов) так чтоли? Ну так неужели ты не видишь разницу по связям, эти выхода связаны с разными нейронами одновременно, е-мое

portquest2016 ()
Ответ на: комментарий от portquest2016

они это декларировали. Они это представяли и представляют до сих пор как модель биологических нейросетей.

ты прям аж монитор забрызгал :)

нет, увы, «нейросети» --- это скорее «тау», нежели «биологические процессы».

тяжело спорить с объективной реальностью, правда? ))

Rastafarra ★★★ ()

это напрочь убивает иерархическую структуру

штоаа??

slackwarrior ★★★★★ ()
Ответ на: комментарий от slovazap

Мозг, как мы видим, далеко не венец творения.

Моск людей вообще создавался для выживания в дикой саванне, а не для моделирования «как же мы испускаем сеть думаем» :) Мы щас забиваем гвозди микроскопами (или наоборот).

slackwarrior ★★★★★ ()
Ответ на: комментарий от slackwarrior

у естественного отбора нет целей, он слеп, поэтому ничего ни для чего не создавалось, а имеем то что имеем

portquest2016 ()
Ответ на: комментарий от portquest2016

Ахах. Достаточно посмотреть историю возникновения моска и условий среды — а потом ты расскажешь, что связи нет :) С пруфами :)

slackwarrior ★★★★★ ()
Последнее исправление: slackwarrior (всего исправлений: 1)
Ответ на: комментарий от slackwarrior

иерархическая структура «многие к одному». По аналогии — начальник подчиненные, отношения

portquest2016 ()
Ответ на: комментарий от slackwarrior

ты просто не можешь зрить в корень. Нет никакого стремления и целей у видов, термин «выживает сильнейший» не вполне адекватен, выживает тот, кто случайно оказался в более выгодных условиях в текущем окружении.

portquest2016 ()
Ответ на: комментарий от portquest2016

У сети нет иерархии :) У нее есть слои — ствол, старый моск, неокортекс :) Некоторые льстят себя надеждой что неокортекс главнее ствола... Но фактически это не так. Он только квитанции об уже принятых решениях получает :) (Все аналогии социальные и компутерные — это ложь — или как минимум не вся правда :))

slackwarrior ★★★★★ ()
Ответ на: комментарий от portquest2016

ты просто не можешь зрить в корень

Ты просто пытаешься дропнуть геологичские масштабы и фактические условия возникновения :) Только это не получится: моск не меняется щас, потому что условия не меняются — некоторые на этом основании «отменили эволюцию» человеков :) Только масштабы существования «цивилизации» по сравнению с историей развития моска — это «пенка» на болоте.

slackwarrior ★★★★★ ()
Ответ на: комментарий от slackwarrior

о о чем ты говоришь, это не слои, а участки. И функционально иерархия есть не только у участков, блоков и тп, но и у отдельных нейронов. А термин слои, в том смысле в котором он применяется к матсетям, к биосетям вообще не применим, там нет никаких слоев в этом смысле

portquest2016 ()
Ответ на: комментарий от slackwarrior

мозг менялся на протяжении небольшого срока, за несколько миллионов лет он изменился существенно. К тому же мы не принимаем во внимание мелкие изменения. Наверняка мозг претерпел изменение даже за последние несколько сот лет массового распространения промпроизводства. Специализация труда не могла не сказаться на естественном отборе. Мозг более универсально-ориентированный уступает место более специализированному. Например аутистичный тип в настоящее время получил свой эволюционный шанс.

portquest2016 ()
Ответ на: комментарий от portquest2016

это не слои, а участки

Это виляние жеппой :) Функционально ты не можешь перестать дышать, если захочешь, и не можешь не отдернуть руку от огня, если предварительно не «отморозился» ее там «сознательно» подержать :)

slackwarrior ★★★★★ ()
Ответ на: комментарий от portquest2016

Наверняка мозг претерпел изменение даже за последние несколько сот лет массового распространения промпроизводства

На уровне погрешностей и видовой вариативности:)

slackwarrior ★★★★★ ()
Последнее исправление: slackwarrior (всего исправлений: 1)
Ответ на: комментарий от portquest2016

Например аутистичный тип в настоящее время получил свой эволюционный шанс.

Ой-вей... У фонтастов и шизофрения — «многоядерное преимущество» :)))

slackwarrior ★★★★★ ()
Ответ на: комментарий от slackwarrior

и не можешь не отдернуть руку от огня

Вполне можешь. в этом смысле интересы различных участков как раз всегда конфликтуют, и высшие сферы как правило главней, до тех пор пока болевая чувствительность на зашкалила за опасные по мнению мозга, значения(в терминах НС — терпеть дальше не возможно). И даже при этом, кора мозга сопоставляет варианты, и эта иерархия захардкорена в функциональность мозга, например, в состоянии эмоционального стресса болевая чувствительность глушится.

portquest2016 ()
Ответ на: комментарий от slackwarrior

шизофрения это не аутизм. Я имею в виду, что человек с феноменальной долговременной памятью при нарушениях в аналитических центрах может быть востребован сегодня во многих видах профдеятельности(вплоть до программирования, даже).

portquest2016 ()

когда один нейрон имеет произвольное количество аксонов. Я никогда не видел, что в биологических нейросетях существует что-то подобное.

Нейроны с несколькими аксонами бывают, но их немного. Основная масса действительно с одним аксоном у которого много терминалей, и которые могут контактировать даж с собственными синапсами в нескольких местах. То что на картинке не то что бывает, а слишком скромно, я бы сказал.

anonymous ()
Ответ на: комментарий от anonymous

и которые могут контактировать даж с собственными синапсами

это как то отменяет то что я сказал? Или по-вашему терминали аксона лезут на разные нейроны одновременно?

Кстати, хотелось бы пруф по «многоаксонным» нейронам

portquest2016 ()
Ответ на: комментарий от portquest2016

Или по-вашему терминали аксона лезут на разные нейроны одновременно

А как же. суть дентритного поля - иметь соединения с тысячами нейронов. Если аксон -> 1 нейрон -> .. , то и смысл этого нейрона посредника?

по пруфу двухаксонному тяжко, в педивикиях скудно все. но многообразие нейронов велико есть и безаксонные и бездендритные и с хитрыми дентритами которые ещё и как аксоны могут работать (в спинном мозге вроде)

anonymous ()
Ответ на: комментарий от anonymous

А как же. суть дентритного поля - иметь соединения с тысячами нейронов. Если аксон -> 1 нейрон -> .. , то и смысл этого нейрона посредника?

речь идет не о входах а о выходах нейрона. Входов нейрон имеет дофига, как правило, с этим никто не спорил

portquest2016 ()
Ответ на: комментарий от portquest2016

речь идет не о входах а о выходах нейрона

логически выход один, но «подключен» ко многим синапсам многих нейронов. Может путает схематическое обозначение, что от тела идут несколько выходов?

anonymous ()
Ответ на: комментарий от portquest2016

Кстати, о природных и искусственных сетях. Очень свежий взгляд на работу мозга мне понравился у Алексея Редозубова. Есть там изюминка и хорошая попытка представить волновую модель работы мозга. Минус - многа букф )

http://www.aboutbrain.ru/

https://habrahabr.ru/users/alexeyr/topics/

https://geektimes.ru/users/alexeyr/topics/

anonymous ()
Ответ на: комментарий от anonymous

логически выход один, но «подключен» ко многим синапсам многих нейронов

Это не важно, те же яйца, вид с боку. Нет этого в биологических сетях

portquest2016 ()

ИНС - это даже не искуственный интеллект, а гигантская система уравнений, которая оптимизируется тупым перебором параметров. Все остальное - хайп.

Shadow ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.