Правило оджаса - Ojas rule - Wikipedia

Правило обучения Оджи, или просто Правило Оджи, названный в честь финского ученого-информатика Эркки Оя, представляет собой модель того, как нейроны в головном мозге или в искусственные нейронные сети со временем измените силу соединения или научитесь. Это модификация стандартного правила Хебба (см. Hebbian обучение ), который посредством мультипликативной нормализации решает все проблемы устойчивости и генерирует алгоритм для анализ основных компонентов. Это вычислительная форма эффекта, который, как полагают, происходит в биологических нейронах.

Теория

Правило Оджи требует ряда упрощений для вывода, но в его окончательной форме оно очевидно стабильно, в отличие от правила Хебба. Это частный случай одиночного нейрона Обобщенный алгоритм Хебба. Однако правило Оджи можно обобщить и другими способами до разной степени стабильности и успеха.

Формула

Рассмотрим упрощенную модель нейрона. который возвращает линейную комбинацию своих входов Икс с использованием пресинаптических весов ш:

Правило Оджи определяет изменение пресинаптических весов ш учитывая выходной ответ нейрона на его входы Икс быть

куда η это скорость обучения которые также могут измениться со временем. Обратите внимание, что жирным шрифтом выделены векторов и п определяет итерацию с дискретным временем. Правило также может быть сделано для непрерывных итераций как

Вывод

Простейший правило обучения Известно правило Хебба, которое концептуально утверждает, что нейроны, которые срабатывают вместе, соединяются вместе. В компонентной форме в виде разностного уравнения записывается

,

или в скалярной форме с неявным п-зависимость,

,

куда у(Иксп) снова является выходом, на этот раз явно зависящим от его входного вектора Икс.

Правило Хебба имеет синаптические веса, приближающиеся к бесконечности с положительной скоростью обучения. Мы можем остановить это, нормализовав веса, чтобы величина каждого веса была ограничена от 0, что соответствует отсутствию веса, и 1, что соответствует единственному входному нейрону с любым весом. Мы делаем это, нормализуя весовой вектор, чтобы он имел длину один:

.

Обратите внимание, что в оригинальной статье Оджи[1] п=2, соответствующий квадратуре (корень из суммы квадратов), который является знакомым Декартово правило нормализации. Однако любой тип нормализации, даже линейный, даст тот же результат. не теряя общий смысл.

За небольшую скорость обучения уравнение можно разложить как Силовая серия в .[1]

.

Для малых η, наш условия высшего порядка О(η2) перейти к нулю. Мы снова делаем спецификацию линейного нейрона, то есть выход нейрона равен сумме произведения каждого входа и его синаптического веса, или

.

Мы также указываем, что наши веса нормализуются до 1, что будет необходимым условием устойчивости, поэтому

,

который, будучи замененным в нашем расширении, дает правило Оджи, или

.

Стабильность и PCA

Анализируя сходимость отдельного нейрона, развивающегося по правилу Оджи, извлекают первую главный компонентили особенность набора данных. Кроме того, с расширениями, использующими Обобщенный алгоритм Хебба, можно создать нейронную сеть с несколькими Oja, которая может извлекать столько функций, сколько требуется, что позволяет анализ основных компонентов.

Главный компонент аj извлекается из набора данных Икс через некоторый связанный вектор qj, или же аj = qjИкс, и мы можем восстановить наш исходный набор данных, взяв

.

В случае одиночного нейрона, обученного по правилу Оджи, мы обнаруживаем, что весовой вектор сходится к q1, или первый главный компонент, когда время или количество итераций приближается к бесконечности. Мы также можем определить, учитывая набор входных векторов Икся, что его корреляционная матрица рij = ИксяИксj имеет связанный собственный вектор данный qj с собственное значение λj. В отклонение выходов нашего нейрона Oja σ2(п) = ⟨Y2(п)⟩ затем сходится с итерациями по времени к главному собственному значению, или

.

Эти результаты получены с использованием Функция Ляпунова анализ, и они показывают, что нейрон Оджи обязательно сходится строго на первом главном компоненте, если определенные условия выполняются в нашем исходном правиле обучения. Самое главное, наша скорость обучения η может изменяться со временем, но только так, чтобы его сумма расходящийся но его сумма мощности сходящийся, то есть

.

Наша продукция функция активации у(Икс(п)) также может быть нелинейным и нестатическим, но он должен быть непрерывно дифференцируемым в обоих Икс и ш и имеют производные, ограниченные по времени.[2]

Обобщения

Недавно в контексте ассоциативного обучения было показано, что правило Хебба, которое похоже на правило Оджи, может быть обобщено с использованием модели, подобной Изингу:[3] Основная идея обобщения основана на формулировке энергетической функции, как в модели Изинга, с последующим применением стохастический градиентный спуск алгоритм к этой энергетической функции. Энергетическая функция и правило обновления, соответствующие следующей производной, задаются следующим образом:

,
,

куда:, это связь между входами, - сила корреляции между моделью и выходом, соответствует наличию внешнего магнитного поля, определяет связи между входами.

Тогда для , , и мы получаем правило Хебба, а для , , , и , куда является единичной матрицей, введем убывание веса. Затем формула сводится к:

,

Приложения

Правило Оджи было первоначально описано в статье Оджи 1982 г.,[1] но принцип самоорганизации, к которому он применяется, в первую очередь приписывается Алан Тьюринг в 1952 г.[2] PCA также имел долгую историю использования до того, как правило Оджи формализовало его использование в сетевых вычислениях в 1989 году. Таким образом, модель может быть применена к любой проблеме самоорганизующееся отображение, в особенности те, в которых извлечение признаков представляет особый интерес. Таким образом, правило Оджи занимает важное место в обработке изображений и речи. Это также полезно, поскольку оно легко расширяется до более высоких измерений обработки, что позволяет быстро интегрировать несколько выходов. Каноническим примером является его использование в бинокулярное зрение.[4]

Биология и правило подпространства Оджи

Есть явные доказательства того, что оба долгосрочное потенцирование и длительная депрессия в биологических нейронных сетях, наряду с эффектом нормализации как входных весов, так и выходов нейронов. Однако, хотя пока нет прямых экспериментальных доказательств того, что правило Оджи действует в биологической нейронной сети, биофизический возможен вывод обобщения правила. Такое происхождение требует ретроградной передачи сигналов от постсинаптического нейрона, что является биологически вероятным (см. нейронное обратное распространение ), и принимает вид

где как раньше шij это синаптический вес между яй вход и jth выходных нейронов, Икс это вход, у постсинаптический выход, и мы определяем ε быть постоянной, аналогичной скорости обучения, и cпредварительно и cпочтовый представляют собой пресинаптические и постсинаптические функции, моделирующие ослабление сигналов с течением времени. Обратите внимание, что угловые скобки обозначают среднее значение, а оператор ∗ является свертка. Взяв пре- и постсинаптические функции в частотное пространство и комбинируя члены интегрирования со сверткой, мы обнаруживаем, что это дает произвольное обобщение правила Оджи, известное как Подпространство Оджи,[5] а именно

[6]


Смотрите также

Рекомендации

  1. ^ а б c Оя, Эркки (Ноябрь 1982 г.). «Упрощенная модель нейрона как анализатор главных компонент». Журнал математической биологии. 15 (3): 267–273. Дои:10.1007 / BF00275687. PMID  7153672. S2CID  16577977. BF00275687.
  2. ^ а б Хайкин, Симон (1998). Нейронные сети: всеобъемлющий фундамент (2-е изд.). Прентис Холл. ISBN  978-0-13-273350-2.
  3. ^ Якуб М. Томчак, Ассоциативное обучение с использованием модели Изинга, в «Достижения в системной науке», (ред.) Ежи Свёнтек, Адам Гжех, Павел Свёнтек, Якуб М. Томчак, Достижения в области интеллектуальных и мягких вычислений, Vol. 240, Springer-Verlag, 2014, стр. 295-304, PDF
  4. ^ Интратор, Натан (2007). «Обучение без учителя». Лекции по нейронным вычислениям. Тель-Авивский университет. Получено 2007-11-22.
  5. ^ Оя, Эркки (1989). «Нейронные сети, основные компоненты и подпространства». Международный журнал нейронных систем. 1 (1): 61–68. Дои:10.1142 / S0129065789000475.
  6. ^ Friston, K.J .; CD. Фрит; Р.С.Дж. Frackowiak (22 октября 1993 г.). "Алгоритмы обучения анализу главных компонентов: нейробиологический анализ". Труды: Биологические науки.. 254 (1339): 47–54. Bibcode:1993РСПСБ.254 ... 47F. Дои:10.1098 / rspb.1993.0125. JSTOR  49565. PMID  8265675. S2CID  42179377.

внешняя ссылка