Metalearning (нейробиология) - Metalearning (neuroscience)

Эта статья о метаобучении в нейробиологии. Для метаобучения в информатике см. Мета-обучение (информатика). Для метаобучения в социальной психологии см. мета-обучение.

Metalearning это нейробиологический термин, предложенный Кенджи Дойей,[1] в качестве теории того, как нейротрансмиттеры способствуют распределенным механизмам обучения в Базальный ганглий. Теория в первую очередь предполагает роль нейротрансмиттеры в динамично корректировка алгоритмов вычислительного обучения[2] взаимодействуют, чтобы произвести виды устойчивого обучающего поведения, в настоящее время уникальные для биологических форм жизни.[3] «Мета-обучение» ранее применялось к областям Социальная психология и Информатика но в этом контексте существует совершенно новая концепция.

Теория метаобучения основывается на более ранней работе Дойи в алгоритмах обучения Контролируемое обучение, Обучение с подкреплением и Обучение без учителя в Мозжечок, Базальный ганглий и Кора головного мозга соответственно.[4] Теория возникла в результате попыток объединить процесс динамического выбора для этих трех алгоритмов обучения в регуляторный механизм, сводимый к отдельным нейротрансмиттерам.

Роль нейромодуляторов

Дофамин

Дофамин предлагается действовать как сигнал «глобального обучения», имеющий решающее значение для прогнозирования вознаграждений и усиление действия. Таким образом, дофамин участвует в алгоритме обучения, в котором действующий субъект, окружающая среда и критик связаны динамическим взаимодействием, которое в конечном итоге стремится максимизировать сумму будущих вознаграждений за счет получения оптимального выбор действия политика. В этом контексте Критик и Действующий субъект характеризуются как независимые границы сети, которые также образуют одного Комплексного агента. Этот агент коллективно влияет на информационное состояние среды, которое возвращается агенту для будущих вычислений. Отдельным путем Окружающая среда также возвращается Критику в виде вознаграждения, полученного за данное действие, что означает, что может быть достигнуто равновесие между прогнозируемой наградой данной политики для данного состояния и развивающейся перспективой будущих вознаграждений.

Серотонин

Серотонин предлагается контролировать баланс между краткосрочным и долгосрочным прогнозом вознаграждения, по существу, путем переменного «дисконтирования» ожидаемых будущих сумм вознаграждения, для достижения которых может потребоваться слишком много затрат. Таким образом, серотонин может облегчить ожидание вознаграждения на квазиэмоциональном уровне и, таким образом, либо поощрять, либо препятствовать настойчивости в стремлении к вознаграждению в зависимости от требований задачи и продолжительности требуемой настойчивости. Поскольку глобальное предсказание вознаграждения теоретически могло бы быть результатом вычислений с модуляцией серотонина, достигающих устойчивое состояние с вычислениями, аналогичным образом модулированными Дофамин; высокий уровень серотонинергической передачи сигналов может перекрыть вычисления дофамина и создать дивергентную парадигму вознаграждения, которая не является математически жизнеспособной только посредством вычислений, модулированных дофамином.

Норэпинефрин

Норэпинефрин предлагается облегчить "широкое исследование" стохастический выбор действия. Выбор между сосредоточением внимания на известных эффективных стратегиях или выбором новых экспериментальных стратегий известен в теория вероятности как Проблема разведки-эксплуатации.[5] Таким образом, взаимодействие между ситуационной срочностью и эффективностью известных стратегий влияет на дилемму между надежным отбором для получения наибольшего предсказанного вознаграждения и исследовательским отбором за пределами известных параметров. Поскольку каскады возбуждения нейронов (например, те, которые необходимы для идеального удара клюшкой) по определению нестабильны и подвержены изменениям; Таким образом, норэпинефрин выбирает наиболее надежную из известных схем выполнения на более высоких уровнях и допускает более случайный и ненадежный выбор на низких уровнях с целью потенциально обнаружения более эффективных стратегий в процессе.

Ацетилхолин

Ацетилхолин предлагается для облегчения баланса между хранением и обновлением памяти,[6] поиск оптимального баланса между стабильностью и эффективностью алгоритмов обучения для конкретной экологической задачи. Таким образом, ацетилхолин модулирует пластичность в Гиппокамп, Кора головного мозга и Полосатое тело для облегчения идеальных условий обучения в мозгу. Таким образом, высокие уровни ацетилхолина позволят очень быстро обучиться и перестроить синаптические связи, в результате чего существующее обучение может быть отменено. Точно так же изучение состояний происходит в течение длительного времени. временное разрешение может быть переопределено до того, как достигнет функционального уровня, и, таким образом, обучение может происходить слишком быстро, чтобы его можно было выполнять эффективно. Предполагается, что при более низких уровнях норэпинефрина пластические изменения происходят гораздо медленнее, потенциально защищая от бесполезных условий обучения или позволяя изменениям информации воплощать гораздо более широкое временное разрешение.

Metalearning

В основе идеи Metalearning лежит то, что глобальное обучение можно моделировать как функцию эффективного выбора этих четырех нейромодуляторы. Пока нет механистическая модель предлагается там, где в конечном итоге Metalearning существует в иерархии агентство, модель до сих пор продемонстрировала динамика необходимо сделать вывод о существовании такого агента в биологическом обучении в целом. Пока вычислительные модели информационные системы еще далеки от того, чтобы приблизиться к сложности человеческого обучения; Мета-обучение открывает многообещающий путь для будущей эволюции таких систем, поскольку они все больше приближаются к сложности биологического мира.

Возможные приложения

Исследование Metalearning как нейробиологической концепции имеет потенциальные преимущества как для понимания, так и для лечения Психиатрическое заболевание, а также восполнение пробелов между Нейронные сети, Информатика и Машинное обучение.[7]

Рекомендации

  1. ^ Дойя, К. (2002). «Мета-обучение и нейромодуляция». Нейронные сети. 15 (4–6): 495–506. Дои:10.1016 / S0893-6080 (02) 00044-8. PMID  12371507.
  2. ^ Дойя, К. (1999). «Каковы вычисления мозжечка, базальных ганглиев и коры головного мозга?». Нейронные сети. 12 (7–8): 961–974. Дои:10.1016 / S0893-6080 (99) 00046-5. PMID  12662639.
  3. ^ Дойя, К. (2000). «Метаобразование, нейромодуляция и эмоции» (PDF). Аффективные умы. Архивировано из оригинал (PDF) 21.02.2007. Получено 2013-08-04.
  4. ^ Дойя, К. (1999). «Каковы вычисления мозжечка, базальных ганглиев и коры головного мозга?». Нейронные сети. 12 (7–8): 961–974. Дои:10.1016 / S0893-6080 (99) 00046-5. PMID  12662639.
  5. ^ Usher; и другие. (1999). «Роль Locus Coeruleus в регуляции когнитивной деятельности». Наука. Получено 2013-08-04. Цитировать журнал требует | журнал = (помощь)
  6. ^ Хассельмо, Майкл (1993). «Ацетилхолин и память». Тенденции в неврологии. 16 (6): 218–222. Дои:10.1016 / 0166-2236 (93) 90159-Дж. PMID  7688162.
  7. ^ Дойя, К. (2002). «Метаобразование и нейромодуляция». Нейронные сети. Получено 2013-08-04.

внешняя ссылка