Проблема исчезающего градиента - Vanishing gradient problem

Часть серии по
Машинное обучение
и
сбор данных

В машинное обучение, то проблема исчезающего градиента встречается при обучении искусственные нейронные сети с методы обучения на основе градиента и обратное распространение. В таких методах каждый из весов нейронной сети получает обновление, пропорциональное частная производная функции ошибок относительно текущего веса на каждой итерации обучения. Проблема в том, что в некоторых случаях градиент будет исчезающе маленьким, что эффективно предотвращает изменение значения веса. В худшем случае это может полностью остановить дальнейшее обучение нейронной сети. Как один из примеров причины проблемы, традиционный функции активации такой как гиперболический тангенс функция имеет градиенты в диапазоне (-1, 1), а обратное распространение вычисляет градиенты по Правило цепи. Это имеет эффект умножения п этих небольших чисел для расчета градиентов "передних" слоев в п-уровневая сеть, что означает, что градиент (сигнал ошибки) экспоненциально уменьшается с п а передние слои тренируются очень медленно.

Обратное распространение позволило исследователям обучать под наблюдением глубокие искусственные нейронные сети с нуля, поначалу без особого успеха. Hochreiter дипломная работа 1991 г.[1][2] формально идентифицировал причину этой неудачи в «проблеме исчезающего градиента», которая не только влияет на многослойный сети прямого распространения,[3] но также повторяющиеся сети.[4] Последние обучаются путем разворачивания их в очень глубокие сети прямого распространения, где новый слой создается для каждого временного шага входной последовательности, обрабатываемой сетью. (Комбинация разворачивания и обратного распространения называется обратное распространение во времени.)

Когда используются функции активации, производные которых могут принимать большие значения, существует риск столкнуться с соответствующими проблема взрывающегося градиента.

Решения

Многоуровневая иерархия

Для преодоления этой проблемы было предложено несколько методов. Один Юрген Шмидхубер многоуровневая иерархия сетей (1992) предварительно обучила по одному уровню за раз с помощью обучение без учителя, настроен через обратное распространение.[5] Здесь каждый уровень изучает сжатое представление наблюдений, которое передается на следующий уровень.

Связанный подход

Подобные идеи использовались в нейронных сетях с прямой связью для неконтролируемого предварительного обучения для структурирования нейронной сети, что делает ее сначала полезной. детекторы функций. Затем сеть обучается под присмотром обратное распространение для классификации помеченных данных. В сеть глубоких убеждений модель Hinton et al. (2006) включает изучение распределения представления высокого уровня с использованием последовательных слоев двоичных или вещественных значений. скрытые переменные. Он использует ограниченная машина Больцмана для моделирования каждого нового слоя функций более высокого уровня. Каждый новый слой гарантирует увеличение нижняя граница из логарифмическая вероятность данных, тем самым улучшая модель при правильном обучении. Как только будет изучено достаточно много уровней, глубокая архитектура может использоваться как генеративная модель путем воспроизведения данных при выборке модели («наследственный переход») из активаций функций верхнего уровня.[6] Хинтон сообщает, что его модели эффективно извлекают признаки из структурированных данных большой размерности.[7]

Долговременная кратковременная память

Основная статья: Долговременная кратковременная память

Другой метод, особенно используемый для повторяющиеся нейронные сети это долговременная кратковременная память (LSTM) сеть 1997 г. Hochreiter & Шмидхубер.[8] В 2009 году глубокие многомерные сети LSTM продемонстрировали силу глубокого обучения с множеством нелинейных уровней, выиграв три ICDAR 2009 соревнования по подключенным распознавание почерка, без каких-либо предварительных знаний о трех разных языках, которые нужно выучить.[9][10]

Более быстрое оборудование

Аппаратный прогресс привел к тому, что с 1991 по 2015 гг. Мощность компьютеров (особенно поставляемых GPU ) увеличился примерно в миллион раз, что сделало возможным стандартное обратное распространение для сетей на несколько уровней глубже, чем когда была обнаружена проблема исчезающего градиента. Шмидхубер отмечает, что это «в основном то, что сейчас побеждает во многих соревнованиях по распознаванию изображений», но «на самом деле это не решает проблему фундаментальным образом»[11] поскольку оригинальные модели, решающие проблему исчезающего градиента, Хинтон и другие обучались Процессор Xeon, а не графические процессоры.[6]

Остаточные сети

Одним из новейших и наиболее эффективных способов решения проблемы исчезающего градиента является использование остаточные нейронные сети, или ResNets[12] (не путать с повторяющимися нейронными сетями).[13] ResNets относятся к нейронным сетям, в которых пропускаемые или остаточные соединения являются частью сетевой архитектуры. Эти пропускаемые соединения позволяют информации о градиенте проходить через слои, создавая "магистрали" информации, где выходные данные предыдущего слоя / активации добавляются к выходным данным более глубокого слоя. Это позволяет передавать информацию из более ранних частей сети в более глубокие части сети, помогая поддерживать распространение сигнала даже в более глубоких сетях. Пропускные соединения являются важным компонентом успешного обучения более глубоких нейронных сетей. [14]

ResNets[15] дали более низкую ошибку обучения (и ошибку теста), чем их более мелкие аналоги, просто за счет повторного введения выходных данных из более мелких слоев в сети для компенсации исчезающих данных.[16]Обратите внимание, что ResNets представляют собой ансамбль относительно неглубоких сетей и не решают проблему исчезающего градиента, сохраняя градиентный поток на всей глубине сети - скорее, они избегают проблемы, просто создавая ансамбли из многих коротких сетей вместе. (Ансамбль по постройке[17])

Другие функции активации

Выпрямители Такие как ReLU меньше страдают от проблемы исчезающего градиента, потому что они насыщаются только в одном направлении.[18]

Другой

Бенке опирался только на знак градиента (Rprop ) при тренировке своего Пирамида нейронной абстракции[19] для решения таких задач, как реконструкция изображения и локализация лица.[нужна цитата ]

Нейронные сети также могут быть оптимизированы с помощью универсального алгоритма поиска в пространстве весов нейронной сети, например, случайное предположение или более систематически генетический алгоритм. Этот подход не основан на градиенте и позволяет избежать проблемы исчезающего градиента.[20]

Смотрите также

Рекомендации

  1. ^ С. Хохрайтер. Untersuchungen zu Dynamischen Neuronalen Netzen. Дипломная работа, Institut f. Informatik, Technische Univ. Мюнхен, 1991 г.
  2. ^ С. Хохрайтер, Ю. Бенжио, П. Фраскони и Я. Шмидхубер. Градиентный поток в повторяющихся сетях: трудность изучения долгосрочных зависимостей. В С. К. Кремере и Дж. Ф. Колене, редакторах, Полевое руководство по динамическим рекуррентным нейронным сетям. IEEE Press, 2001.
  3. ^ Goh, Garrett B .; Hodas, Nathan O .; Вишну, Абхинав (15 июня 2017 г.). «Глубокое обучение для вычислительной химии». Журнал вычислительной химии. 38 (16): 1291–1307. arXiv:1701.04503. Bibcode:2017arXiv170104503G. Дои:10.1002 / jcc.24764. PMID  28272810.
  4. ^ Паскану, Разван; Миколов, Томас; Бенхио, Йошуа (21 ноября 2012 г.). «О сложности обучения рекуррентных нейронных сетей». arXiv:1211.5063 [cs.LG ].
  5. ^ Дж. Шмидхубер. «Обучающие сложные, расширенные последовательности с использованием принципа сжатия истории». Нейронные вычисления4. С. 234–242, 1992.
  6. ^ а б Хинтон, Дж. Э.; Осиндеро, С .; Тех, Ю. (2006). «Алгоритм быстрого обучения для сетей глубоких убеждений» (PDF). Нейронные вычисления. 18 (7): 1527–1554. CiteSeerX  10.1.1.76.1541. Дои:10.1162 / neco.2006.18.7.1527. PMID  16764513.
  7. ^ Хинтон, Г. (2009). "Сети глубоких убеждений". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ ... 4.5947H. Дои:10.4249 / scholarpedia.5947.
  8. ^ Хохрайтер, Зепп; Шмидхубер, Юрген (1997). «Кратковременная долговременная память». Нейронные вычисления. 9 (8): 1735–1780. Дои:10.1162 / neco.1997.9.8.1735. PMID  9377276.
  9. ^ Грейвс, Алекс; и Шмидхубер, Юрген; Распознавание рукописного ввода в автономном режиме с помощью многомерных рекуррентных нейронных сетейв Бенджио, Йошуа; Шурманс, Дейл; Лафферти, Джон; Уильямс, Крис К. И .; и Кулотта, Арон (ред.), Достижения в системах обработки нейронной информации 22 (NIPS'22), 7–10 декабря 2009 г., Ванкувер, Британская Колумбия, Фонд нейронных систем обработки информации (NIPS), 2009, стр. 545–552.
  10. ^ Graves, A .; Liwicki, M .; Fernandez, S .; Bertolami, R .; Bunke, H .; Шмидхубер, Дж. (2009). «Новая система коннекционистов для улучшения неограниченного распознавания почерка». IEEE Transactions по анализу шаблонов и машинному анализу. 31 (5): 855–868. CiteSeerX  10.1.1.139.4502. Дои:10.1109 / тпами.2008.137. PMID  19299860.
  11. ^ Шмидхубер, Юрген (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети. 61: 85–117. arXiv:1404.7828. Дои:10.1016 / j.neunet.2014.09.003. PMID  25462637.
  12. ^ «Остаточные нейронные сети - захватывающая область исследований в области глубокого обучения». 28 апреля 2016 г.
  13. ^ http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf
  14. ^ Он, Кайминг; Чжан, Сянъюй; Рен, Шаоцин; Сунь, Цзянь (2015). «Глубокое остаточное обучение для распознавания изображений». arXiv:1512.03385 [cs.CV ].
  15. ^ "ResNets, HighwayNets и DenseNets, о боже! - Жизнь чат-бота". 14 октября 2016 г.
  16. ^ Он, Кайминг; Чжан, Сянъюй; Рен, Шаоцин; Сунь, Цзянь (2015). «Глубокое остаточное обучение для распознавания изображений». arXiv:1512.03385 [cs.CV ].
  17. ^ Вейт, Андреас; Уилбер, Майкл; Белонги, Серж (20 мая 2016 г.). «Остаточные сети ведут себя как ансамбли относительно неглубоких сетей». arXiv:1605.06431 [cs.CV ].
  18. ^ Глорот, Ксавьер; Бордес, Антуан; Бенхио, Йошуа (14 июня 2011 г.). «Нейронные сети глубокого разреженного выпрямителя». PMLR: 315–323.
  19. ^ Свен Бенке (2003). Иерархические нейронные сети для интерпретации изображений (PDF). Конспект лекций по информатике. 2766. Springer.
  20. ^ "Фундаментальная проблема глубокого обучения Зеппа Хохрайтера (1991)". people.idsia.ch. Получено 7 января 2017.