LINUX.ORG.RU

Нейросети перцептрон и адалайн

 


0

3

Здравствуйте уважаемые. Я тут начал читать про нейросети Себастьяна Рашку. У него в самом начале описываются перцептрон и адалайн. И у них на вход подается массив x0, x1, x2 ... которые премножаются с весами w0, w1, w2 ... Причем x1, x2 ... это значения с настоящие входные параметры, а x0 всегда единица. Зачем нужен x0? Кто в теме, расскажите пожалуйста.

★★★★★

В говнонейронках не разбираюсь, но предположу что без единицы если все входные параметры будут нулевые, то на выходах не получишь никакого осмысленного сигнала, только нули.

slovazap ★★★★★ ()
Ответ на: комментарий от slovazap

0 - допустимое выходное значение для нейрона

Aswed ★★★★★ ()
Ответ на: комментарий от Aswed

Да. Только без единицы у тебя на нулевых входных данных на выходе всегда будут нули, независимо от структуры сети. Сеть не будет работать.

slovazap ★★★★★ ()
Последнее исправление: slovazap (всего исправлений: 1)

Подставь 2, ничего не изменится. Убери вовсе, ничего не изменится. Если есть вход то должен быть смысл в нём, если смысла нет то это хак или просто бесполезная фигня для вида))

Dron ★★★★★ ()
Ответ на: комментарий от slovazap

Да. Только без единицы у тебя на нулевых входных данных на выходе всегда будут нули, независимо от структуры сети. Сеть не будет работать.

Нет, отсутствие значения это тоже значение, которое влияет на дальнейшие связи.

Да и вообще, в принципе работа нейронной сети никогда не может быть гарантированно рабочей. (Исключения примитивные случаи)

Dron ★★★★★ ()

Линейный перцептрон задает разделение пространства гиперплоскостью на два полупространства: выходное значение такого перцептрона - нечто вроде расстояния от точки (x1, x2, ...) до гиперплоскости перпендикулярной вектору заданному вектором весов (w1, w2, ...) и проходящую через некоторую точку. Гиперплоскость в афинном пространстве задается уравнением (x,w) + b = 0, где (*,*) скалярное произведение, w - нормаль плоскости, b - скаляр определяющийся подставлением точки через которую проходит плоскость в уравнение. Если b=0 то плоскость обязательно проходит через начало координат, что обычно не наилучшим образом разделяет точки обучающей выборки.

Координату x0 = 1 вводят для упрощения записи и хранения весов в многослойных сетях: тогда всю все действие нейрона сводится к вычислению одного скалярного произведения ((x0=1,x1,x2,..), (w0=b,w1,w1,..)) = 1*b + x1*w1 + x2*w2 ... Обычно вес w0 соответсвующий называют смещение (bias). При использовании такой записи вычисление всех значений нейронов полносвязной сети на одном слое можно свести к одному произведению матрицы весов W на вектор значений x с предидущего слоя: W*x

klokik ()
Ответ на: комментарий от Dron

Нет, отсутствие значения это тоже значение, которое влияет на дальнейшие связи.

Нет, отсутствие значения это отсутствие значения. А чтобы у сети был адекватный выход, нужны опорные сигналы - 0 и 1. Ноль и так есть, а единице без явного входа взяться неоткуда.

Для примера, пусть у тебя есть простая сеть которая сравнивает два входа и выдаёт меру их одинаковости. Для (1, 1) она выдаст значение близкое к 1, а для (0, 0) она выдаст только 0 без опорной единицы, что неверно. А с опорной единицей - без проблем.

slovazap ★★★★★ ()

С дополнительным x_0=0 линейный слой это афинная функция, а без - всего лишь линейная (афинная, и при этом обязательно имеющая значение 0 в точке 0).

hlebushek ()

Все книги по нейросетям отстают лет на 5-10 минимум и это критично в данном случае, т.к. их теория не смотря на использование находится на стадии активной разработки.

ТС, изучил нейронные сети? Работаешь с ними? Пригодилось?

hlebushek, некропостить плохо.

peregrine ★★★★★ ()
Ответ на: комментарий от peregrine

Все книги по нейросетям отстают лет на 5-10 минимум

Вовсе нет. Эта конкретная книга отстаёт (есть её более новое издание), но есть и книги, соответствующие современному состоянию практики использования. На английском языке выбор лучше, чем на русском. Поэтому если кто предпочитает на русском, то надо выбирать внимательнее и обращать внимание на год издания оригинала.

Partisan ★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.