LINUX.ORG.RU

обучаемость нейросетей.

 ,


2

3

Почитал я тут на досуге про работу биологических нейросетей. хочу сказать, что математическая модель даже близко не то что не стояла, даже не лежала. Она неадекватна. Нет там механизмов, которые работают в биологических сетях. Я задумался о принципах обучаемости. Довольно базовым принципом обучаемости нейросетей является принцип собаки павлова — формирование условных рефлексов. Однако же, сам по себе эксперимент Павлова не нагляден в этом смысле, хотя там используются именно принципы обучаемости. Есть другой аналогичный эксперимент с крысой, который использует сходные механизмы, но показывает это именно в контексте обучаемости и формирования ассоциативной памяти.

Крыса располагается на металлическом полу, на котором ставится деревянная подставка. На пол подается слабый электрический ток, который неприятен крысе. Она начинает бегать, и довольно быстро обнаруживает удобное положение: она прыгает на подставку. При следующем эксперименте крыса уже ничего не ищет, она сразу прыгает на подставку. На следующем этапе, перед включением тока включается какой-нибудь посторонний раздражитель, например свет, а уже потом пускается ток. После серии экспериментов крыса начинает прыгать на подставку еще до того, как ток подается на пол.

Это дает представление о базовых принципах обучения. Крыса связывает ток с посторонним раздражителем, она выявляет закономерность, и таким образом, как бы заглядывает в будущее.

Я читал про математические нейросети, и, что-то в упор не увидел там этот принцип: общий принцип выявления заранее не заданных закономерностей. Есть ли он там? Каков механизм, если есть?

Я читал про математические нейросети, и, что-то в упор не увидел там этот принцип: общий принцип выявления заранее не заданных закономерностей.

СКК могёт КА.

P.S. «Зри в корень» © Козьма Прутков :)

quickquest ★★★★★ ()

почитай про аплизию, или что ты хочешь?

Rastafarra ★★★ ()

А подвержены ли нейросети шизофрении?
Ужасно интересно.

thesis ★★★★★ ()
Ответ на: комментарий от thesis

Если бы ты не был настолько туп, то ты бы понимал, что ответ на твой вопрос самоочевиден. Мозг — это биологическая нейросеть, и если есть люди страдающие шизофренией, то очевидно, что мозг подвержен шизофрении.

portquest2016 ()

Не, рано тебе туда.

Ты еще круг не нарисовал, а уже за нейросети. Рассуждать о математических моделях, в которых ты полный профан ... ну хз. наверное так можно.

anonymous ()

в упор не увидел там этот принцип: общий принцип выявления заранее не заданных закономерностей

Ради этого нейросети и используют. Если закономерности известны заранее, то иные методы будут эффективнее :)

KRoN73 ★★★★★ ()

Однако же, сам по себе эксперимент Павлова не нагляден в этом смысле

зато

Крыса связывает ток с посторонним раздражителем, она выявляет закономерность, и таким образом, как бы заглядывает в будущее.

она выявляет закономерность

Ты точно в этом уверен?

Я читал про математические нейросети, и, что-то в упор не увидел там этот принцип

И что читал? На, посмотри какие задачи _решаемы_.

https://en.wikipedia.org/wiki/Unsupervised_learning

сейчас придется анонiмус и скажет тебе что есть ИИ. Так что лучше не обольщайся насчет _обучения_.

Что это делает в development? Ты кармодрочер?

znenyegvkby ()
Ответ на: комментарий от KRoN73

Все что я прочитал до этого, все что изложено в сети в популярной форме, использует совершенно другой, и, по сути, довольно примитивный принцип, то что называется «обучение с учителем». Такого рода обучение сводится к тому, что попытки сверяются с заранее заданными правильными ответами. Под «обучением» там понимается что то вроде зазубривания правильных ответов, как, например, вызубрить таблицу умножения. Тут смысл понятия «обучение» искажен, в бОльшей степени слово притянуто за уши.

portquest2016 ()
Ответ на: комментарий от Rastafarra

Ну, это как раз биологическая нейросеть, там, очевидно, эти механизмы есть, иначе откуда взялся бы пример с крысой:)

Там, насколько я понял, эти механизмы основаны, преимущественно, на изменении синаптических связей.

portquest2016 ()
Ответ на: комментарий от portquest2016

основаны, преимущественно, на изменении синаптических связей.

на наполнении.

читай дальше.

Rastafarra ★★★ ()
Ответ на: комментарий от Rastafarra

Хотя, насчет конкретно аплизии, я не уверен. Это организм довольно простой, не уверен что на таком уровне существует способность к выработке безусловных рефлексов

portquest2016 ()
Ответ на: комментарий от portquest2016

Это организм довольно простой, не уверен что на таком уровне существует способность к выработке безусловных рефлексов

т.е. она при опасности не убегает что ли, по твоему? жги еще!

Rastafarra ★★★ ()

Сюрприз, мой сладкий!

У крысы на уровне нейронов тоже нет универсального алгоритма выявления закономерностей окружающего мира!

Но если взять более крупный масштаб, то ты обнаружишь, что структура мозга крысы неоднородна, там есть туева хуча различных участков.

То есть на макроуровне структура мозга крысы оптимизирована под решение задач, обычно возникающих перед крысой.

Эта структура складывалась миллионы лет в результате отбора наиболее приспособленных к решению своих задач особей.

Кароч, читани ка книжки по генетическим/эволюционным алгоритмам обучения, ну и всякие там методы Больцмана и искусственных муравьиных колоний не забудь.

Так ты познаешь дзен!

shkolnick-kun ★★★ ()
Последнее исправление: shkolnick-kun (всего исправлений: 1)
Ответ на: комментарий от shkolnick-kun

У крысы на уровне нейронов тоже нет универсального алгоритма выявления закономерностей окружающего мира!

Есть. Выработка животными условных рефлексов как раз является доказательством этому

portquest2016 ()
Ответ на: комментарий от portquest2016

Н - необучаемость.

Ты хотя бы мой поцт до конца прочитай, потом можешь начать читать про однослойный перцептрон.

shkolnick-kun ★★★ ()
Ответ на: комментарий от shkolnick-kun

Я прочитал. То о чем ты говоришь — обучаемость на генетическом уровне, путем отбора, относится к безусловным рефлексам, это к теме обучаемости нейросетей прямого отношения не имеет

portquest2016 ()
Ответ на: комментарий от portquest2016

Я хотел сказать условный, пардон

т.е. еще раз. я тебе говорю: возникновение условных рефлексов изучают вот так. и ты парируешь: сомневаюсь, что они там могут быть.

ну ок че.

царь такой царь.

Rastafarra ★★★ ()
Ответ на: комментарий от Rastafarra

Не, я не спорю. Посмотрю материал. Я тебя понял.

Ну а вообще, ты согласен, что матмодель нейросети неадекватна? Мало того, что она по архитектуре отличается, там даже такой абстракции как синапс нет, и механизмы эти полностью отсутствуют

portquest2016 ()

Необучаемый anonimous взялся за обучение нейросетей

Везде не успеешь. Попробуй глубоко разобраться хоть в чем-нибудь. А то ишь, один пэйпер прочитают и начинают тут.

staseg ★★★★★ ()
Ответ на: комментарий от portquest2016

А ты. — дурачок.

ЦНС - это сложная нелинейная динамическая система с миллиардами обратных связей, быстрое обучение навыкам происходит на уровне ВНД, за счет сложных процессов в этой динамической системе (в том числе во время сна, читай про машину Больцмана), а не за счет отбора.

Отбор гарантирует, что в типичных ситуациях система устойчива к внешним воздействиям и выполняет свои функции (в том числе когнитивные).

Гарантия эта дается прежде всего за счет «правильной» структуры мозга (нейроны с необходимым набором передаточных функций связаны правильным набором связей).

Алгоритмы обучения в твоей черепной коробке обусловлены структурой связей между нейронами (если упрощенно, связи то меняются в течение жизни), сами отдельные нейроны скорее всего обучаются за счет самообучения, а степень этого самообучения зависит от торможения, которое обеспечивается «генетически обусловленной» составляющей.

shkolnick-kun ★★★ ()

Надо закрывать википедию пока не поздно.

anonymous ()
Ответ на: комментарий от portquest2016

А про методы ее лечения там что-нибудь было написано?

thesis ★★★★★ ()

Скоро бюджет еще сильней урежут, пойдешь по помойкам вслед за царем.

anonymous ()
Ответ на: комментарий от thesis

Насколько я помню, шизофрения не лечится, во всяком случае на данный момент. Существует лишь возможность снять некоторые негативные симптомы, путем приема психоактивных препаратов, имитирующих действие нейромедиаторов.

portquest2016 ()
Ответ на: комментарий от portquest2016

Ну вот, понимание у тебя имеется. Теперь нужно действовать.

thesis ★★★★★ ()
Ответ на: комментарий от thesis

Перед тем как концентрироваться на проблемах других, что, безусловно, похвально, все таки имеет смысл подумать и о собственных проблемах. Пониженный уровень интеллекта(в сравнении с нормой) хоть не так страшен, как шизофрения, так же является серьезной проблемой. Направь свою энергию на решения этой проблемы, современная нейробиология может помочь в этом, хотя бы частично твою проблему решить можно, главное не запускать, чтобы не дойти до степени необратимого петросянства.

portquest2016 ()
Ответ на: комментарий от portquest2016

Такого рода обучение сводится к тому, что попытки сверяются с заранее заданными правильными ответами.

Это только один из методов. И, внезапно, он как раз ориентирован на выявление неявных закономерностей.

Под «обучением» там понимается что то вроде зазубривания правильных ответов, как, например, вызубрить таблицу умножения

Нет. Это некорректное использование нейросети, не являющееся нормальным обучением. Обычно бывает когда нейросеть _избыточна_ и её ресурсов хватает на то, чтобы не выявить закономерности, а тупо заучить образцы. Такой вариант не годится для реальной работы. Поэтому вопрос выбора размера нейросети очень важен. Обучение != заучиванию.

KRoN73 ★★★★★ ()
Ответ на: комментарий от portquest2016

У крысы на уровне нейронов тоже нет универсального алгоритма выявления закономерностей окружающего мира!

Есть.

На уровне нейрона — нет. Нейрон не обучаем.

Выработка животными условных рефлексов как раз является доказательством этому

Рефлексы — это деятельность нейросети, а не нейронов.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

На уровне нейрона — нет. Нейрон не обучаем.

Ясно, что человек имел в виду не отдельный нейрон, Ваше замечание тут неуместно

portquest2016 ()
Ответ на: комментарий от KRoN73

Да и вообще, в биологических нейросетях в процессе обучения ключевую роль играют не сами нейроны, которые служат, по-сути, лишь генераторами сигналов, а синаптические связи — их количество, плотность и свойства проводимости/торможения

portquest2016 ()
Ответ на: комментарий от portquest2016

Ясно, что человек имел в виду не отдельный нейрон

Фраза «У крысы на уровне нейронов» в контексте противопоставления нейросети сразу говорит именно об уровне единичных нейронов. Ибо группа связанных нейронов — это уже нейросеть.

Или учитесь выражаться яснее :)

KRoN73 ★★★★★ ()
Ответ на: комментарий от portquest2016

С учетом твоего уровня познаний в области нейрофизиологии, ты предлагаешь учиться телепатии.

anonymous ()

Научит ли anonimous нейросеть рисовать круг? Загадка! Интрига!

hateyoufeel ★★★★★ ()
Ответ на: комментарий от Rastafarra

так, ребяты, лизанием друг-другу задов занимайтесь в другом месте, это тред для натуралов

portquest2016 ()
Ответ на: комментарий от Rastafarra

В общем, ознакомился я с вопросом по аплизии, это касается только формирования короткой памяти в нейронах. Связано это с накоплением кальция в кончиках аксона, и работа основана на множественном повторении одного и того же стимула, изначально не вызывающем реакцию, но вызывающем ее при многократном повторении. Называется этот вид памяти суммацией. Как я и говорил, это самый примитивный из видов памяти, и какое он отношение имеет к формированию условных рефлексов пока не ясно.

portquest2016 ()

хочу сказать, что математическая модель даже близко не то что не стояла, даже не лежала. Она неадекватна. Нет там механизмов, которые работают в биологических сетях.

http://dx.doi.org/10.1016/j.neunet.2012.02.022

Solace ★★ ()

общий принцип выявления заранее незаданных закономерностей... Каков механизм, если есть?

Один из вариантов — иерархический:

Отдельные нейроны — greedy algorithm ©.
Кластер нейронов (мелкие отделы мозга)-- cluster analysis ©.
«Простые» нейронные сети (структуры мозга) — learning classifier system ©.
Сложные нейронные сети (мозг) — data mining ©.
portquest2016 (супермозг) — обращение к «кластеру мозгов ЛОРа» © :)

quickquest ★★★★★ ()
Ответ на: комментарий от Pavval

Хайвмайнду ЛОР-а, что ли?

з.ы. какой избыточный хайвмайнд. Обмен в каком-то псевдостандартизованном виде, вот это всё.

alex4321 ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.