Обобщенный алгоритм Хебба - Generalized Hebbian algorithm - Wikipedia

В обобщенный алгоритм Хебба (ГСГ), также известный в литературе как Правило Сангера, является линейным прямая связь модель нейронной сети за обучение без учителя с приложениями в основном в анализ основных компонентов. Впервые определено в 1989 г.,^[1] это похоже на Правило Оджи по своей формулировке и стабильности, за исключением того, что он может применяться к сетям с несколькими выходами. Название происходит из-за сходства между алгоритмом и гипотезой, сделанной Дональд Хебб^[2] о способе модификации синаптических сил в мозге в ответ на опыт, т.е. о том, что изменения пропорциональны корреляции между активацией пре- и постсинаптических нейроны.^[3]

Теория

ГСГ сочетает правило Оджи с Процесс Грама-Шмидта создать обучающее правило формы

${\displaystyle \,\Delta w_{ij}~=~\eta \left(y_{i}x_{j}-y_{i}\sum _{k=1}^{i}w_{kj}y_{k}\right)}$,^[4]

куда ш_ij определяет синаптический вес или прочность связи между jй вход и яth выходных нейронов, Икс и у - входной и выходной векторы соответственно, и η это скорость обучения параметр.

Вывод

В матричной форме правило Оджи можно записать

${\displaystyle \,{\frac {{\text{d}}w(t)}{{\text{d}}t}}~=~w(t)Q-\mathrm {diag} [w(t)Qw(t)^{\mathrm {T} }]w(t)}$,

а алгоритм Грама-Шмидта -

${\displaystyle \,\Delta w(t)~=~-\mathrm {lower} [w(t)w(t)^{\mathrm {T} }]w(t)}$,

куда ш(т) любая матрица, в данном случае представляющая синаптические веса, Q = η Икс Икс^Т - это автокорреляционная матрица, просто внешнее произведение входных данных, диагональ это функция, которая диагонализует матрица и ниже - это функция, которая устанавливает все матричные элементы на диагонали или над ней равными 0. Мы можем объединить эти уравнения, чтобы получить наше исходное правило в матричной форме,

${\displaystyle \,\Delta w(t)~=~\eta (t)\left(\mathbf {y} (t)\mathbf {x} (t)^{\mathrm {T} }-\mathrm {LT} [\mathbf {y} (t)\mathbf {y} (t)^{\mathrm {T} }]w(t)\right)}$,

где функция LT устанавливает все элементы матрицы над диагональю равными 0, и обратите внимание, что наш вывод у(т) = ш(т) Икс(т) представляет собой линейный нейрон.^[1]

Стабильность и PCA

^[5][6]

Приложения

ГСГ используется в приложениях, где самоорганизующаяся карта необходимо, или если функция или анализ основных компонентов может быть использован. Примеры таких случаев включают: искусственный интеллект и обработка речи и изображений.

Его важность исходит из того факта, что обучение - это однослойный процесс, то есть синаптический вес изменяется только в зависимости от реакции входов и выходов этого уровня, что позволяет избежать многослойной зависимости, связанной с обратное распространение алгоритм. Он также предлагает простой и предсказуемый компромисс между скоростью обучения и точностью сходимости, установленной учусь параметр скорости η.^[5]

Смотрите также

• Hebbian обучение
• Факторный анализ

Рекомендации

1. Сэнгер, Теренс Д. (1989). «Оптимальное обучение без учителя в однослойной линейной нейронной сети с прямой связью» (PDF). Нейронные сети. 2 (6): 459–473. CiteSeerX  10.1.1.128.6893. Дои:10.1016/0893-6080(89)90044-0. Получено 2007-11-24.
2. Хебб, Д.О. (1949). Организация поведения. Нью-Йорк: Wiley & Sons. ISBN  9781135631918.
3. Герц, Джон; Андерс Кроу; Ричард Г. Палмер (1991). Введение в теорию нейронных вычислений. Редвуд-Сити, Калифорния: издательство Addison-Wesley Publishing Company. ISBN  978-0201515602.
4. Горрелл, Женевьева (2006), "Обобщенный алгоритм Хебба для инкрементальной декомпозиции сингулярных значений при обработке естественного языка", EACL, CiteSeerX  10.1.1.102.2084
5. Хайкин, Симон (1998). Нейронные сети: всеобъемлющий фундамент (2-е изд.). Прентис Холл. ISBN  978-0-13-273350-2.
6. Оя, Эркки (Ноябрь 1982 г.). «Упрощенная модель нейрона как анализатор главных компонент». Журнал математической биологии. 15 (3): 267–273. Дои:10.1007 / BF00275687. PMID  7153672. S2CID  16577977. BF00275687.