Стивен Гроссберг - Stephen Grossberg

Стивен Гроссберг
Гроссберг в июле 2016 года.
Родившийся	(1939-12-31) 31 декабря 1939 г. (возраст 80) Нью-Йорк, Нью-Йорк
Национальность	Соединенные Штаты

Стивен Гроссберг (родился 31 декабря 1939 г.) учёный-когнитивист, теоретические и расчетные психолог, нейробиолог, математик, инженер-биомедик, и нейроморфный технолог. Он является профессором Ванга когнитивных и нейронных систем и почетным профессором математики и статистики, психологии и науки о мозге, а также биомедицинской инженерии в Бостонский университет.^[1]

Карьера

ранняя жизнь и образование

Гроссберг сначала жил в Вудсайде, Королевы, в Нью-Йорк. Его отец умер от Лимфома Ходжкина когда ему был один год. Он переехал со своей матерью и старшим братом Митчеллом в Джексон Хайтс, Королевы.^[2] Затем он посещает среднюю школу Стуйвесант в младших классах. Манхэттен после сдачи конкурсного вступительного экзамена. Он окончил первым в своем классе Stuyvesant в 1957 г.^[2]

Он начал учебу в Дартмутский колледж в 1957 году, где он впервые задумал парадигма использования нелинейных дифференциальных уравнений для описания нейронных сетей, моделирующих динамику мозга, а также основных уравнений, которые сегодня используют многие ученые для этой цели. Затем он продолжил изучать психологию и нейробиологию.^[3] Он получил степень бакалавра искусств. в 1961 г. из Дартмут как его первая совместная специальность в математика и психология.

Гроссберг затем отправился в Стэндфордский Университет, которую он окончил в 1964 году со степенью магистра математики и перевелся в Институт медицинских исследований Рокфеллера (ныне Университет Рокфеллера ) в Манхэттене. Гроссберг получил кандидат наук Он получил степень по математике от Рокфеллера в 1967 году за диссертацию, которая доказала первые теоремы о глобальной адресной памяти о моделях нейронного обучения, которые он открыл в Дартмуте. Его научный руководитель по докторской диссертации был Джан-Карло Рота.

Вход в академию

Гроссберг был принят на работу доцентом прикладной математики в Массачусетский технологический институт следуя строгим рекомендациям Каца и Роты. В 1969 году Гроссберг был назначен доцентом после публикации серии концептуальных и математических результатов по многим аспектам нейронных сетей.

Не получив должностей в Массачусетском технологическом институте, Гроссберг в 1975 году был принят на должность профессора в Бостонском университете, где он до сих пор работает на факультете. Находясь в Бостонском университете, он основал кафедру когнитивных и нейронных систем, несколько междисциплинарных исследовательских центров и различные международные организации.

Исследование

Гроссберг - основоположник областей вычислительная нейробиология, коннекционистская когнитивная наука и нейроморфные технологии. Его работа сосредоточена на принципах и механизмах проектирования, которые позволяют поведению людей или машин автономно адаптироваться в реальном времени к неожиданным экологическим проблемам. Это исследование включало нейронные модели зрения и обработка изображений; изучение объектов, сцен и событий, распознавание образов, и поиск; прослушивание, речь и язык; когнитивная обработка информации и планирование; обучение с подкреплением и когнитивно-эмоциональные взаимодействия; автономная навигация; адаптивное сенсомоторное управление и робототехника; самоорганизующийся нейродинамика; и психические расстройства. Гроссберг также сотрудничает с экспериментаторами для разработки экспериментов, которые проверяют теоретические предсказания и заполняют концептуально важные пробелы в экспериментальной литературе, проводит анализ математической динамики нейронных систем и переносит биологические нейронные модели в приложения в инженерии и технологии. Он опубликовал семнадцать книг или специальных выпусков журналов, более 500 научных статей и имеет семь патентов.

Гроссберг изучал, как мозг порождает умы, с тех пор, как прошел вводный курс психологии на первом курсе в Дартмутский колледж в 1957 году. Тогда Гроссберг представил парадигму использования нелинейные системы из дифференциальные уравнения показать, как механизмы мозга могут вызывать поведенческие функции.^[4] Эта парадигма помогает решить классическую проблему разума / тела и является основным математическим формализмом, который сегодня используется в исследованиях биологических нейронных сетей. В частности, в 1957-1958 годах Гроссберг открыл широко используемые уравнения для (1) кратковременной памяти (STM) или нейронной активации (часто называемой аддитивной и шунтирующей моделями или моделью Хопфилда после того, как в 1984 году Джон Хопфилд применил аддитивную модель. уравнение); (2) среднесрочная память (MTM), или привыкание, зависящее от активности (часто называемое привычными воротами-передатчиками или подавляющими синапсами после введения этого термина Ларри Эбботтом в 1997 г.); и (3) долговременная память (LTM) или нейронное обучение (часто называемое обучением с закрытым наискорейшим спуском). Один вариант этих обучающих уравнений, названный Instar Learning, был введен Гроссбергом в 1976 году в теорию адаптивного резонанса и самоорганизующиеся карты для изучения адаптивных фильтров в этих моделях. Это уравнение обучения также использовалось Кохоненом в его приложениях самоорганизующихся карт, начиная с 1984 года. Другой вариант этих уравнений обучения, названный Outstar Learning, использовался Гроссбергом начиная с 1967 года для обучения пространственным образцам. Обучение Outstar и Instar было объединено Гроссбергом в 1976 году в трехуровневую сеть для изучения многомерных карт из любого m-мерного входного пространства в любое n-мерное выходное пространство. Это приложение было названо компанией Hecht-Nielsen в 1987 году "Встречное распространение".

Основываясь на своей докторской диссертации Рокфеллера 1964 года, в 1960-х и 1970-х годах Гроссберг обобщил аддитивные и шунтирующие модели на класс динамических систем, который включал эти модели, а также ненейронные биологические модели, и доказал теоремы адресуемой памяти для этого более общего класс моделей. В рамках этого анализа он представил функциональный метод Ляпунова, который помогает классифицировать ограничивающую и колебательную динамику конкурентных систем, отслеживая, какая популяция выигрывает во времени. Этот метод Ляпунова привел его и Майкла Коэна к открытию в 1981 году и публикации в 1982 и 1983 годах функции Ляпунова, которую они использовали для доказательства существования глобальных пределов в классе динамических систем с симметричными коэффициентами взаимодействия, который включает аддитивные и шунтирующие модели.^[5] Джон Хопфилд опубликовал эту функцию Ляпунова для аддитивной модели в 1984 году. Большинство ученых начали называть вклад Хопфилда моделью Хопфилда. В 1987 году Барт Коско адаптировал модель Коэна-Гроссберга и функцию Ляпунова, которые доказали глобальную сходимость STM, для определения адаптивной двунаправленной ассоциативной памяти, которая сочетает в себе STM и LTM и которая также глобально сходится к пределу.

Гроссберг представил и разработал вместе со своими коллегами фундаментальные концепции, механизмы, модели и архитектуры по широкому спектру тем, касающихся мозга и поведения. Он сотрудничал с более чем 100 аспирантами и докторантами.^[6]

Гроссберг представил и помог разработать следующие модели:

• основы исследования нейронных сетей: соревновательное обучение, самоорганизующиеся карты, возрастные категории и маскирующие поля (для классификации), outstars (для обучения пространственным образцам), лавины (для последовательного обучения и выполнения), стробированные диполи (для обработки оппонентов);
• перцептивное и когнитивное развитие, социальное познание, рабочая память, когнитивная обработка информации, планирование, числовая оценка и внимание: теория адаптивного резонанса (ART), ARTMAP, STORE, CORT-X, SpaN, LIST PARSE, lisTELOS, SMART, CRIB;
• визуальное восприятие, внимание, обучение объектов и сцен, распознавание, прогнозирующее переназначение и поиск: BCS / FCS, FACADE, 3D LAMINART, aFILM, LIGHTSHAFT, Motion BCS, 3D FORMOTION, MODE, VIEWNET, dARTEX, ARTSCAN, pARTSCAN, dARTSCAN, 3D ARTSCAN, ARTSCAN Search, ARTSCENE, ARTSCENE Search;
• аудиопоток, восприятие, речь и языковая обработка: SPINET, ARTSTREAM, NormNet, PHONET, ARTPHONE, ARTWORD;
• когнитивно-эмоциональная динамика, обучение с подкреплением, мотивированное внимание и адаптивно рассчитанное по времени поведение: CogEM, START, MOTIVATOR; Спектральная синхронизация;
• визуальная и пространственная навигация: SOVEREIGN, STARS, ViSTARS, GRIDSmap, GridPlaceMap, Spectral Spacing;
• адаптивный сенсомоторный контроль движений глаз, рук и ног: VITE, FLETE, VITEWRITE, DIRECT, VAM, CPG, SACCART, TELOS, SAC-SPEM;
• аутизм: iSTART

Карьера и развитие инфраструктуры

Учитывая, что инфраструктура для поддержки областей, в которых развивались он и другие пионеры моделирования, практически отсутствовала, Гроссберг основал несколько институтов, нацеленных на обеспечение междисциплинарного обучения, исследований и публикаций в области вычислительной нейробиологии, коннекционистской когнитивной науки и нейроморфных технологий. . В 1981 году он основал Центр адаптивных систем в Бостонском университете и остается его директором. В 1991 году он основал кафедру когнитивных и нейронных систем в Бостонском университете и был ее председателем до 2007 года. В 2004 году он основал Центр передового опыта NSF для обучения в области образования, науки и технологий (CELEST).^[7] и занимал должность директора до 2009 года.^[8].

Все эти институты были нацелены на ответ на два связанных вопроса: i) Как мозг контролирует поведение? ii) Как технология может имитировать биологический интеллект?

Кроме того, Гроссберг основал и был первым президентом Международного общества нейронных сетей (INNS), которое за четырнадцать месяцев его президентства выросло до 3700 членов из 49 штатов США и 38 стран. Формирование INNS вскоре привело к формированию Европейское общество нейронных сетей (ENNS) и Японского общества нейронных сетей (JNNS). Гроссберг также основал официальный журнал INNS,^[9] и был его главным редактором с 1988 по 2010 год.^[10] Нейронные сети также является архивным журналом ENNS и JNNS.

Серия лекций Гроссберга в лаборатории Линкольна Массачусетского технологического института положила начало национальному исследованию нейронных сетей DARPA в 1987-88 годах, что привело к повышенному интересу правительства к исследованиям нейронных сетей. Он был генеральным председателем первой Международной конференции IEEE по нейронным сетям (ICNN) в 1987 году и сыграл ключевую роль в организации первого ежегодного собрания INNS в 1988 году, слияние которого в 1989 году привело к Международной совместной конференции по нейронным сетям (IJCNN). который остается крупнейшим ежегодным собранием, посвященным исследованиям нейронных сетей. Гроссберг также является организатором и председателем ежегодной Международной конференции по когнитивным и нейронным системам (ICCNS) с 1997 года, а также многих других конференций в области нейронных сетей.^[11]

Гроссберг входил в редколлегию 30 журналов, в том числе Журнал когнитивной неврологии, Поведенческие науки и науки о мозге, Когнитивные исследования мозга, Наука о мышлении, Нейронные вычисления, IEEE-транзакции в нейронных сетях, Эксперт IEEE, а Международный журнал гуманоидной робототехники.

Награды

Награды, присужденные Гроссбергу:

• Премия IEEE Neural Network Pioneer 1991 г.
• 1992 Премия за лидерство INNS
• 1992 Премия Бостонского компьютерного общества в области технологий мышления
• Премия 2000 года в области информатики Ассоциации интеллектуальных машин
• 2002 Лаборатории Чарльз-Ривер приз Общества поведенческой токсикологии
• Премия им. Гельмгольца 2003 года.

Членство:

• 1990 член Общества исследования нарушений памяти
• 1994 член Американской психологической ассоциации
• 1996 член Общества экспериментальных психологов
• 2002 член Американского психологического общества
• 2005 г., сотрудник IEEE
• 2008 Первый член Американской ассоциации исследований в области образования
• 2011 сотрудник INNS

Гроссберг получил в 2015 году Премию Нормана Андерсона за заслуги перед обществом экспериментальных психологов «за новаторское теоретическое исследование того, как мозг порождает умы, и за его фундаментальный вклад в вычислительную нейробиологию и коннекционистскую когнитивную науку».^[12] Его благодарственную речь можно найти здесь.^[13]

Он получил премию Фрэнка Розенблатта Института инженеров по электротехнике и электронике (IEEE) в 2017 году со следующей цитатой: «За вклад в понимание познания и поведения мозга и их имитацию с помощью технологий».

В 2019 году он выиграл премию Дональда О. Хебба от Международного общества нейронных сетей, которая присуждается «за выдающиеся достижения в области биологического обучения».

Теория искусства

С Гейл Карпентер, Гроссберг разработал теория адаптивного резонанса (ИЗОБРАЗИТЕЛЬНОЕ ИСКУССТВО). ART - это когнитивная и нейронная теория того, как мозг может быстро учиться, стабильно запоминать и распознавать объекты и события в меняющемся мире. ART предложило решение дилеммы стабильности-пластичности; а именно, как мозг или машина могут быстро узнавать о новых объектах и ​​событиях, не заставляя так же быстро забывать ранее изученные, но все же полезные воспоминания.

ART предсказывает, как полученные нисходящие ожидания фокусируют внимание на ожидаемых комбинациях функций, что приводит к синхронному резонансу, который может стимулировать быстрое обучение. ART также предсказывает, насколько большое несоответствие между паттернами восходящих функций и нисходящими ожиданиями может привести к поиску в памяти или проверке гипотез для категорий распознавания, с помощью которых можно лучше научиться классифицировать мир. Таким образом, ART определяет тип самоорганизующейся производственной системы.

ART на практике было продемонстрировано с помощью семейства классификаторов ART (например, ART 1, ART 2, ART 2A, ART 3, ARTMAP, нечеткий ARTMAP, ART eMAP, распределенный ARTMAP), разработанных с помощью Гейл Карпентер, которые широко использовались. приложения в машиностроении и технологиях, где необходимы быстрая, но стабильная, постепенно обучающаяся классификация и прогнозирование.

Новые вычислительные парадигмы

Гроссберг представил и возглавил разработку двух вычислительных парадигм, имеющих отношение к биологическому интеллекту и его приложениям:

Дополнительные вычисления

Какова природа специализации мозга? Многие ученые предположили, что наш мозг обладает независимыми модулями, как в цифровом компьютере. Организация мозга на отдельные анатомические области и потоки обработки показывает, что обработка данных действительно специализирована. Однако независимые модули должны иметь возможность полностью вычислять свои процессы самостоятельно. Многие поведенческие данные опровергают эту возможность.

Дополнительные вычисления (Гроссберг, 2000,^[14] 2012^[15]) касается открытия, что пары параллельных корковых потоков обработки вычисляют дополнительные свойства в мозге. Каждый поток имеет дополнительные вычислительные сильные и слабые стороны, как и в физических принципах, таких как принцип неопределенности Гейзенберга. Каждый корковый поток также может иметь несколько стадий обработки. Эти этапы реализуют иерархическое разрешение неопределенности. «Неопределенность» здесь означает, что вычисление одного набора свойств на данном этапе предотвращает вычисление дополнительного набора свойств на этом этапе.

Комплементарные вычисления предполагают, что вычислительная единица обработки мозга, которая имеет поведенческое значение, состоит из параллельных взаимодействий между дополнительными корковыми потоками обработки с несколькими этапами обработки для вычисления полной информации об определенном типе биологического интеллекта.

Ламинарные вычисления

Кора головного мозга, центр высшего интеллекта во всех модальностях, организована в многоуровневые схемы (часто шесть основных уровней), которые подвергаются характерным взаимодействиям снизу вверх, сверху вниз и по горизонтали. Как специализации этого общего ламинарного дизайна воплощают различные типы биологического интеллекта, включая зрение, речь и язык, а также познание? Laminar Computing предлагает, как это может происходить (Grossberg, 1999,^[16] 2012^[15]).

Laminar Computing объясняет, как ламинарный дизайн неокортекса может реализовать лучшие свойства обработки с прямой связью и обратной связью, цифровой и аналоговой обработки, восходящей обработки данных и нисходящей обработки, основанной на внимательных гипотезах. Внедрение таких конструкций в микросхемы СБИС обещает сделать возможной разработку универсальных адаптивных автономных алгоритмов для множества приложений.

Смотрите также

• Сеть Гроссберг

Рекомендации

1. Страница факультета в Бостонском университете В архиве 8 мая 2012 г. Wayback Machine
2. «Нейробиолог Стив Гроссберг, обладатель премии Общества экспериментальных психологов | The Brink». Бостонский университет. Получено 13 декабря 2019.
3. Интересы Гроссберга
4. На пути к созданию сообщества нейронных сетей
5. Теорема Коэна-Гроссберга
6. Аспиранты и постдоки Гроссберга
7. CELEST в Бостонском университете
8. «36,5 миллиона долларов для трех центров по изучению того, как учатся люди, животные и машины», Национальный научный фонд, цитируется в Newswise, 30 сентября 2004 г.
9. Журнал нейронных сетей В архиве 22 июня 2006 г. Wayback Machine
10. "Elsevier объявляет о новом соредакторе Neural Networks", Эльзевьер, 23 декабря 2010 г.
11. Гроссберг конференции
12. Награда за заслуги перед SEP
13. Речь о вручении премии SEP за выслугу лет
14. Дополнительный мозг: объединение динамики и модульности мозга.
15. Теория адаптивного резонанса: как мозг учится сознательно присутствовать, учиться и распознавать меняющийся мир.
16. Как работает кора головного мозга? Обучение, внимание и группировка ламинарными цепями зрительной коры.

внешняя ссылка

• Официальный профиль в Бостонском университете