Правило дельты - Delta rule

В машинное обучение, то правило дельты это градиентный спуск правило обучения для обновления весов входных данных до искусственные нейроны в однослойная нейронная сеть.^[1] Это частный случай более общего обратное распространение алгоритм. Для нейрона ${ displaystyle j}$ с функция активации ${ displaystyle g (x)}$ , дельта-правило для ${ displaystyle j}$ с ${ displaystyle i}$ й вес ${ displaystyle w_ {ji}}$ дан кем-то

{ displaystyle Delta w_ {ji} = alpha (t_ {j} -y_ {j}) g '(h_ {j}) x_ {i}}

,

куда

	${ displaystyle alpha}$ небольшая константа, называемая скорость обучения
	${ displaystyle g (x)}$ функция активации нейрона
	${ displaystyle g '}$ это производная из ${ displaystyle g}$
	${ displaystyle t_ {j}}$ целевой результат
	${ displaystyle h_ {j}}$ - взвешенная сумма входов нейрона
	${ displaystyle y_ {j}}$ это фактический результат
	${ displaystyle x_ {i}}$ это ${ displaystyle i}$ -й ввод.

Он считает, что ${ displaystyle h_ {j} = sum x_ {i} w_ {ji}}$ и ${ displaystyle y_ {j} = g (h_ {j})}$ .

Правило дельты обычно формулируется в упрощенной форме для нейрона с линейной функцией активации как

{ displaystyle Delta w_ {ji} = alpha (t_ {j} -y_ {j}) x_ {i}}

Хотя правило дельты похоже на перцептрон Правило обновления, происхождение другое. Персептрон использует Ступенчатая функция Хевисайда как функция активации ${ displaystyle g (h)}$ , а это значит, что ${ displaystyle g '(h)}$ не существует в нуле и равен нулю в другом месте, что делает невозможным прямое применение правила дельты.

Вывод правила дельты

Правило дельты выводится путем попытки минимизировать ошибку на выходе нейронной сети с помощью градиентный спуск. Ошибка для нейронной сети с ${ displaystyle j}$ выходы могут быть измерены как

{ displaystyle E = sum _ {j} { frac {1} {2}} (t_ {j} -y_ {j}) ^ {2}}

.

В этом случае мы хотим перемещаться через «пространство весов» нейрона (пространство всех возможных значений всех весов нейрона) пропорционально градиенту функции ошибок относительно каждого веса. Для этого мы вычисляем частная производная ошибки по каждому весу. Для ${ displaystyle i}$ -го веса, эту производную можно записать как

{ displaystyle { frac { partial E} { partial w_ {ji}}}}

.

Потому что мы озабочены только ${ displaystyle j}$ -й нейрон, мы можем заменить формулу ошибки выше, опуская суммирование:

{ displaystyle { frac { partial E} { partial w_ {ji}}} = { frac { partial left ({ frac {1} {2}} left (t_ {j} -y_ { j} right) ^ {2} right)} { partial w_ {ji}}}}

Далее мы используем Правило цепи чтобы разделить это на две производные:

{ displaystyle = { frac { partial left ({ frac {1} {2}} left (t_ {j} -y_ {j} right) ^ {2} right)} { partial y_ {j}}} { frac { partial y_ {j}} { partial w_ {ji}}}}

Чтобы найти левую производную, мы просто применяем Правило цепи:

{ displaystyle = - left (t_ {j} -y_ {j} right) { frac { partial y_ {j}} { partial w_ {ji}}}}

Чтобы найти правую производную, мы снова применяем цепное правило, на этот раз дифференцируя общий вклад в ${ displaystyle j}$ , ${ displaystyle h_ {j}}$ :

{ displaystyle = - left (t_ {j} -y_ {j} right) { frac { partial y_ {j}} { partial h_ {j}}} { frac { partial h_ {j} } { partial w_ {ji}}}}

Обратите внимание, что вывод ${ displaystyle j}$ й нейрон, ${ displaystyle y_ {j}}$ , это просто функция активации нейрона ${ displaystyle g}$ применяется к входу нейрона ${ displaystyle h_ {j}}$ . Следовательно, мы можем записать производную от ${ displaystyle y_ {j}}$ относительно ${ displaystyle h_ {j}}$ просто как ${ displaystyle g}$ первая производная:

{ displaystyle = - left (t_ {j} -y_ {j} right) g '(h_ {j}) { frac { partial h_ {j}} { partial w_ {ji}}}}

Далее перепишем ${ displaystyle h_ {j}}$ в последнем семестре как сумма по всем ${ displaystyle k}$ веса каждого веса ${ displaystyle w_ {jk}}$ раз его соответствующий ввод ${ displaystyle x_ {k}}$ :

{ displaystyle = - left (t_ {j} -y_ {j} right) g '(h_ {j}) { frac { partial left ( sum _ {k} x_ {k} w_ {jk } right)} { partial w_ {ji}}}}

Потому что мы озабочены только ${ displaystyle i}$ -го веса, единственный релевантный член суммирования - это ${ displaystyle x_ {i} w_ {ji}}$ . Четко,

{ displaystyle { frac { partial x_ {i} w_ {ji}} { partial w_ {ji}}} = x_ {i}}

,

давая нам окончательное уравнение градиента:

{ displaystyle { frac { partial E} { partial w_ {ji}}} = - left (t_ {j} -y_ {j} right) g '(h_ {j}) x_ {i}}

Как отмечалось выше, градиентный спуск сообщает нам, что наше изменение для каждого веса должно быть пропорционально градиенту. Выбор константы пропорциональности ${ displaystyle alpha}$ и удалив знак минус, чтобы мы могли перемещать вес в отрицательном направлении градиента, чтобы минимизировать ошибку, мы приходим к нашему целевому уравнению:

{ displaystyle Delta w_ {ji} = alpha (t_ {j} -y_ {j}) g '(h_ {j}) x_ {i}}

.

Смотрите также

Стохастический градиентный спуск
Обратное распространение
Модель Рескорла – Вагнера - происхождение правила дельты

Правило дельты - Delta rule

Вывод правила дельты

Смотрите также

Рекомендации