Мета-обучение (информатика) - Meta learning (computer science)

Эта статья посвящена метаобучению в машинном обучении. Для метаобучения в социальной психологии см. Мета обучение. Для метаобучения в неврологии см. Metalearning (нейробиология).

Мета обучение[1][2]является подполем машинное обучение где алгоритмы автоматического обучения применяются к метаданные об экспериментах с машинным обучением. По состоянию на 2017 год термин не нашел стандартной интерпретации, однако основная цель состоит в том, чтобы использовать такие метаданные, чтобы понять, как автоматическое обучение может стать гибким при решении задач обучения и, следовательно, для повышения производительности существующих алгоритмы обучения или изучить (вызвать) сам алгоритм обучения, отсюда и альтернативный термин учиться усваивать знания.[1]

Гибкость важна, потому что каждый алгоритм обучения основан на наборе предположений о данных, их индуктивное смещение.[3] Это означает, что он будет хорошо учиться, только если предвзятость соответствует задаче обучения. Алгоритм обучения может очень хорошо работать в одной области, но не в другой. Это накладывает строгие ограничения на использование машинное обучение или сбор данных техники, поскольку взаимосвязь между проблемами обучения (часто база данных ), а эффективность различных алгоритмов обучения еще не изучена.

Используя различные виды метаданных, такие как свойства задачи обучения, свойства алгоритма (например, показатели производительности) или шаблоны, ранее полученные из данных, можно изучать, выбирать, изменять или комбинировать различные алгоритмы обучения для эффективного решения заданного обучения. проблема. Критика подходов к метаобучению очень похожа на критику метаэвристический, возможно, связанная проблема. Хорошая аналогия с метаобучением и вдохновение для Юрген Шмидхубер ранние работы (1987)[1] и Йошуа Бенжио и др. (1991),[4] считает, что генетическая эволюция изучает процедуру обучения, закодированную в генах и выполняемую в мозгу каждого человека. В открытой иерархической системе метаобучения[1] с помощью генетическое программирование, лучшие методы эволюции могут быть изучены с помощью метаэволюции, которая сама может быть улучшена с помощью метаэволюции и т. д.[1]

Определение

Предлагаемое определение[5] Система метаобучения сочетает в себе три требования:

  • Система должна включать в себя обучающую подсистему.
  • Опыт приобретается за счет использования извлеченных мета-знаний
    • в предыдущем учебном эпизоде ​​по одному набору данных или
    • из разных доменов.
  • Пристрастие к обучению должно выбираться динамически.

Предвзятость относится к предположениям, которые влияют на выбор пояснительных гипотез[6] а не понятие предвзятости, представленное в дилемма смещения и дисперсии. Мета-обучение связано с двумя аспектами предвзятости обучения.

  • Декларативное смещение определяет представление пространства гипотез и влияет на размер пространства поиска (например, представление гипотез с использованием только линейных функций).
  • Процедурная предвзятость накладывает ограничения на порядок индуктивных гипотез (например, предпочитая меньшие гипотезы). [7]

Общие подходы

Существует три общих подхода: 1) использование (циклических) сетей с внешней или внутренней памятью (на основе моделей); 2) изучение эффективных дистанционных метрик (на основе метрик); 3) явная оптимизация параметров модели для быстрого обучения (на основе оптимизации).[8]

На основе модели

Модели метаобучения, основанные на моделях, быстро обновляют свои параметры с помощью нескольких шагов обучения, которые могут быть достигнуты с помощью его внутренней архитектуры или контролироваться другой моделью метаобучения.[8].

Нейронные сети с расширенной памятью

Модель известна как MANN, сокращение от Memory-Augmented. Нейронные сети, который, как ожидается, будет быстро кодировать новую информацию и, таким образом, адаптироваться к новым задачам всего после нескольких выборок, он хорошо подходит для метаобучения.[9]

Мета Сети

Meta Networks (MetaNet) изучает метауровневые знания по задачам и смещает их индуктивные предубеждения с помощью быстрой параметризации для быстрого обобщения.[10]

На основе метрики

Основная идея метаобучения на основе метрик похожа на ближайшие соседи алгоритмы, вес которых генерируется функцией ядра. Он нацелен на изучение функции метрики или расстояния по объектам. Понятие хорошей метрики зависит от проблемы. Он должен представлять взаимосвязь между входами в пространстве задач и способствовать решению проблем.[8].

Сверточный сиамский Нейронная сеть

Сиамский нейронная сеть состоит из двух двойных сетей, выход которых обучается совместно. Выше приведена функция для изучения взаимосвязи между парами выборок входных данных. Две сети одинаковы, имеют одинаковый вес и параметры сети.[11]

Соответствующие сети

Matching Networks изучает сеть, которая сопоставляет небольшой помеченный набор поддержки и немаркированный пример со своей меткой, устраняя необходимость тонкой настройки для адаптации к новым типам классов.[12]

Сеть отношений

Сеть отношений (RN) обучается от начала до конца с нуля. Во время метаобучения он учится изучать метрику большого расстояния для сравнения небольшого количества изображений в эпизодах, каждый из которых предназначен для имитации настройки нескольких кадров.[13]

Прототипные сети

Прототипные сети изучают метрическое пространство в котором классификация может выполняться путем вычисления расстояний до прототипных представлений каждого класса. По сравнению с недавними подходами к обучению с несколькими выстрелами, они отражают более простое индуктивное смещение, которое выгодно в этом режиме ограниченных данных, и позволяют достичь удовлетворительных результатов.[14]

На основе оптимизации

Алгоритмы метаобучения на основе оптимизации предназначены для настройки алгоритм оптимизации чтобы модель могла хорошо учиться на нескольких примерах[8].

LSTM Meta-Learner

Метаобучающий на основе LSTM должен научиться точному алгоритм оптимизации используется для обучения другого ученика нейронная сеть классификатор в режиме нескольких выстрелов. Параметризация позволяет ему узнавать соответствующие обновления параметров специально для сценарий где будет выполнено заданное количество обновлений, а также будет изучена общая инициализация сети учащегося (классификатора), которая обеспечивает быструю конвергенцию обучения.[15]

Временная дискретность

MAML, сокращение от Model-Agnostic Meta-Learning, является довольно общим алгоритм оптимизации, совместим с любой моделью, обучающейся через градиентный спуск.[16]

Рептилия

Reptile - это удивительно простой алгоритм оптимизации метаобучения, учитывая, что оба основаны на метаоптимизации посредством градиентного спуска и оба не зависят от модели.[17]

Примеры

Некоторые подходы, которые рассматривались как примеры метаобучения:

  • Рекуррентные нейронные сети (RNN) - универсальные компьютеры. В 1993 г. Юрген Шмидхубер показали, как "самореферентные" RNN в принципе могут учиться обратное распространение для запуска собственного алгоритма изменения веса, который может сильно отличаться от обратного распространения ошибки.[18] В 2001, Зепп Хохрайтер & В КАЧЕСТВЕ. Янгер и П.Р. Конвелл создали успешного контролируемого метаобучаемого на основе Долговременная кратковременная память РНС. Он изучил посредством обратного распространения алгоритм обучения квадратичным функциям, который намного быстрее, чем обратное распространение.[19][2] Исследователи из Deepmind (Марцин Андрыхович и др.) Расширили этот подход до оптимизации в 2017 году.[20]
  • В 1990-х годах Meta Обучение с подкреплением или Meta RL была достигнута в исследовательской группе Шмидхубера посредством самомодифицируемых политик, написанных на универсальном языке программирования, который содержит специальные инструкции для изменения самой политики. Есть единственный суд на всю жизнь. Цель агента RL - максимизировать вознаграждение. Он учится ускорять получение вознаграждения, постоянно улучшая свой собственный алгоритм обучения, который является частью политики «самореференции».[21][22]
  • Экстремальный тип Мета Обучение с подкреплением воплощается в Машина Гёделя, теоретическая конструкция, которая может проверять и изменять любую часть своего собственного программного обеспечения, которое также содержит общие средство доказательства теорем. Это может достичь рекурсивное самосовершенствование доказуемо оптимальным способом.[23][2]
  • Модельно-агностическое метаобучение (MAML) был представлен в 2017 году Челси Финн и др.[24] При заданной последовательности задач параметры данной модели обучаются таким образом, что несколько итераций градиентного спуска с небольшим количеством обучающих данных из новой задачи приведут к хорошей производительности обобщения для этой задачи. MAML «обучает модель простоте настройки».[24] MAML был успешно применен к тестам классификации изображений с несколькими снимками и к обучению с подкреплением на основе градиентов.[24]
  • Открытие мета-знание работает, стимулируя знания (например, правила), которые выражают, как каждый метод обучения будет работать с разными учебными проблемами. Метаданные формируются характеристиками данных (общие, статистические, теоретико-информационные, ...) в задаче обучения и характеристиками алгоритма обучения (тип, настройки параметров, показатели эффективности, ...). Затем другой алгоритм обучения изучает, как характеристики данных соотносятся с характеристиками алгоритма. Учитывая новую проблему обучения, измеряются характеристики данных и прогнозируется производительность различных алгоритмов обучения. Следовательно, можно предсказать алгоритмы, наиболее подходящие для новой задачи.
  • Сложное обобщение работает, комбинируя несколько (разных) алгоритмов обучения. Метаданные формируются на основе прогнозов этих различных алгоритмов. Другой алгоритм обучения учится на основе этих метаданных предсказывать, какие комбинации алгоритмов обычно дают хорошие результаты. Учитывая новую проблему обучения, прогнозы выбранного набора алгоритмов объединяются (например, посредством (взвешенного) голосования), чтобы обеспечить окончательный прогноз. Поскольку предполагается, что каждый алгоритм работает с подмножеством проблем, ожидается, что комбинация будет более гибкой и сможет давать хорошие прогнозы.
  • Повышение относится к составному обобщению, но использует один и тот же алгоритм несколько раз, где примеры в обучающих данных получают разные веса при каждом запуске. Это дает разные прогнозы, каждый из которых ориентирован на правильное прогнозирование подмножества данных, а объединение этих прогнозов приводит к лучшим (но более дорогостоящим) результатам.
  • Выбор динамического смещения работает, изменяя индуктивное смещение алгоритма обучения, чтобы соответствовать данной задаче. Это делается путем изменения ключевых аспектов алгоритма обучения, таких как представление гипотез, эвристические формулы или параметры. Существует много разных подходов.
  • Индуктивный перенос изучает, как со временем можно улучшить процесс обучения. Метаданные состоят из знаний о предыдущих этапах обучения и используются для эффективной разработки эффективной гипотезы для новой задачи. Связанный подход называется учиться усваивать знания, цель которого - использовать знания, полученные в одной области, для помощи в обучении в других областях.
  • Другие подходы с использованием метаданных для улучшения автоматического обучения: обучающие системы классификаторов, аргументация по делу и удовлетворение ограничений.
  • Была начата некоторая первоначальная теоретическая работа по использованию Прикладной поведенческий анализ в качестве основы для агентно-опосредованного метаобучения о деятельности учащихся-людей и корректировать учебный курс искусственного агента.[25]
  • AutoML например, проект Google Brain «ИИ, создающий ИИ», который, согласно Google, ненадолго превзошел существующие ImageNet ориентиры в 2017 году.[26][27]

Рекомендации

  1. ^ а б c d е Шмидхубер, Юрген (1987). «Эволюционные принципы в самореферентном обучении или в обучении тому, как учиться: мета-мета-... крючок» (PDF). Дипломная работа, техн. Univ. Мюнхен.
  2. ^ а б c Шауль, Том; Шмидхубер, Юрген (2010). «Металлообразование». Scholarpedia. 5 (6): 4650. Bibcode:2010SchpJ ... 5.4650S. Дои:10.4249 / scholarpedia.4650.
  3. ^ П. Э. Утгофф (1986). «Сдвиг предвзятости для индуктивного изучения концепции». В книге Р. Михальски, Дж. Карбонелл и Т. Митчелл: Машинное обучение: 163–190.
  4. ^ Бенхио, Йошуа; Бенджио, Сами; Клотье, Джоселин (1991). Изучение синаптического правила (PDF). IJCNN'91.
  5. ^ Лемке, Кристиана; Будка, Марчин; Габрис, Богдан (20.07.2013). «Metalearning: обзор тенденций и технологий». Обзор искусственного интеллекта. 44 (1): 117–130. Дои:10.1007 / s10462-013-9406-y. ISSN  0269-2821. ЧВК  4459543. PMID  26069389.
  6. ^ Браздил, Павел; Carrier, Кристоф Жиро; Соарес, Карлос; Вилалта, Рикардо (2009). Мета-обучение - Springer. Когнитивные технологии. Дои:10.1007/978-3-540-73263-1. ISBN  978-3-540-73262-4.
  7. ^ Гордон, Диана; Дежарден, Мари (1995). «Оценка и выбор предубеждений в машинном обучении» (PDF). Машинное обучение. 20: 5–22. Дои:10.1023 / А: 1022630017346. Получено 27 марта 2020.
  8. ^ а б c d [1] Лилиан Вэн (2018). Мета-обучение: быстрое обучение. Блог OpenAI. Ноябрь 2018. Проверено 27 октября 2019 г.
  9. ^ [2] Адам Санторо, Сергей Бартунов, Даан Виерстра, Тимоти Лилликрап. Мета-обучение с помощью нейронных сетей с расширенной памятью. Google DeepMind. Проверено 29 октября 2019 г.
  10. ^ [3] Цендсурэн Мункдалай, Хун Юй (2017). Meta Networks.arXiv: 1703.00837 [cs.LG]
  11. ^ [4] Грегори Кох ГКОЧ, Ричард Земель ЗЕМЕЛЬ, Руслан Салахутдинов (2015) Сиамские нейронные сети для однократного распознавания изображений. Департамент компьютерных наук Университета Торонто. Торонто, Онтарио, Канада.
  12. ^ [5] Виньялс О., Бланделл К., Лилликрап Т., Кавукчуоглу К. и Виерстра Д. (2016). Соответствующие сети для обучения одним выстрелом. Google DeepMind. Дата обращения 3 ноября 2019.
  13. ^ [6] Сунг, Ф., Ян, Ю., Чжан, Л., Сян, Т., Торр, П. Х. С., и Хоспедалес, Т. М.. (2018). Учимся сравнивать: сеть отношений для быстрого обучения
  14. ^ [7] Снелл, Дж., Сверски, К., и Земель, Р. С.. (2017). Прототипные сети для обучения по частям.
  15. ^ [8] Сачин Рави * и Хьюго Ларошель (2017) ». Оптимизация как модель для пошагового обучения ». ICLR 2017. Дата обращения 3 ноября 2019.
  16. ^ [9] Челси Финн, Питер Аббил, Сергей Левин (2017). «Модельно-независимое метаобучение для быстрой адаптации глубоких сетей» arXiv: 1703.03400 [cs.LG]
  17. ^ [10] Челси Финн, Питер Аббил, Сергей Левин (2017). Алекс Никол, Джошуа Ачиам и Джон Шульман (2018) ». Об алгоритмах метаобучения первого порядка ». arXiv: 1803.02999 [cs.LG]
  18. ^ Шмидхубер, Юрген (1993). «Самореферентная матрица весов». Слушания ICANN'93, Амстердам: 446–451.
  19. ^ Хохрайтер, Зепп; Младший, A. S .; Конвелл П. Р. (2001). «Учимся учиться с помощью градиентного спуска». Материалы ICANN'01: 87–94.
  20. ^ Андрыхович, Марцин; Денил, Миша; Гомес, Серхио; Хоффманн, Мэтью; Пфау, Дэвид; Шауль, Том; Шиллингфорд, Брендан; де Фрейтас, Нандо (2017). «Обучение обучению методом градиентного спуска». Труды ICML'17, Сидней, Австралия.
  21. ^ Шмидхубер, Юрген (1994). «Об обучении тому, как изучать стратегии обучения». Технический отчет FKI-198-94, Tech. Univ. Мюнхен.
  22. ^ Шмидхубер, Юрген; Zhao, J .; Виринг, М. (1997). «Смена индуктивного предубеждения с помощью алгоритма истории успеха, адаптивного поиска Левина и постепенного самосовершенствования». Машинное обучение. 28: 105–130. Дои:10.1023 / а: 1007383707642.
  23. ^ Шмидхубер, Юрген (2006). «Машины Гёделя: оптимальные универсальные самоулучшители с полной самооценкой». В B. Goertzel & C. Pennachin, Eds .: Artificial General Intelligence: 199–226.
  24. ^ а б c Финн, Челси; Аббель, Питер; Левин, Сергей (2017). «Модель-агностическое метаобучение для быстрой адаптации глубоких сетей». arXiv:1703.03400 [cs.LG ].
  25. ^ Беголи, Эдмон (май 2014 г.). Архитектура процедурного обоснования для инструкций на основе прикладного анализа поведения. Ноксвилл, Теннесси, США: Университет Теннесси, Ноксвилл. стр. 44–79. Получено 14 октября 2017.
  26. ^ «Роботы создают новых роботов, - говорит технический репортер». NPR.org. 2018. Получено 29 марта 2018.
  27. ^ «AutoML для крупномасштабной классификации изображений и обнаружения объектов». Блог Google Research. Ноябрь 2017 г.. Получено 29 марта 2018.

внешняя ссылка