Джеффри Хинтон - Geoffrey Hinton

Джеффри Хинтон

CC ФРС FRSC
Джеффри Хинтон на UBC.jpg
Хинтон в 2013 году
Родившийся
Джеффри Эверест Хинтон

(1947-12-06) 6 декабря 1947 г. (возраст 72)[1]
Уимблдон, Лондон
Альма-матер
Известен
Награды
Научная карьера
Поля
УчрежденияУниверситет Торонто
Google
Университет Карнеги Меллон
Университетский колледж Лондона
Калифорнийский университет в Сан-Диего
ТезисРасслабление и его роль в зрении  (1977)
ДокторантКристофер Лонге-Хиггинс[3][4][5]
Докторанты
Другие известные студенты
Интернет сайтwww.cs.Торонто.edu/ ~ хинтон/

Джеффри Эверест Хинтон CC ФРС FRSC[11] (родился 6 декабря 1947 г.) Английский канадский когнитивный психолог и специалист в области информатики, наиболее известен своей работой над искусственные нейронные сети. С 2013 года он делит свое время, работая на Google (Google Brain ) и Университет Торонто. В 2017 году он стал соучредителем и главным научным консультантом Института вектора в Торонто.[12][13]

С Дэвид Румелхарт и Рональд Дж. Уильямс, Хинтон был соавтором широко цитируемой статьи, опубликованной в 1986 году, в которой популяризовалась обратное распространение алгоритм обучения многослойных нейронных сетей,[14] хотя они не были первыми, кто предложил такой подход.[15] Хинтон считается ведущей фигурой в глубокое обучение сообщество.[16][17][18][19][20] Драматическая веха в распознавании изображений AlexNet разработан в сотрудничестве со своими учениками Алексей Крижевский[21] и Илья Суцкевер для ImageNet вызов 2012[22] был прорывом в области компьютерного зрения.[23]

Хинтон получил 2018 Премия Тьюринга, вместе с Йошуа Бенжио и Янн ЛеКун, за их работу по глубокому обучению.[24] Их иногда называют «крестными отцами искусственного интеллекта» и «крестными отцами глубокого обучения».[25][26]

Образование

Хинтон получил образование в Королевский колледж, Кембридж, который окончил в 1970 г. Бакалавр искусств в экспериментальной психологии.[1] Он продолжил учебу в Эдинбургский университет где он был награжден кандидат наук в искусственный интеллект в 1978 г. для исследований под руководством Кристофер Лонге-Хиггинс.[3][27]

Карьера и исследования

После получения докторской степени работал в Университет Сассекса, и (после трудностей с поиском финансирования в Великобритании)[28] в Калифорнийский университет в Сан-Диего, и Университет Карнеги Меллон.[1] Он был директором-основателем Благотворительный фонд Гэтсби Подразделение вычислительной неврологии в Университетский колледж Лондона,[1] и в настоящее время[29] а профессор в Информатика отдел в Университет Торонто. Он держит Кафедра исследований Канады в машинном обучении, а в настоящее время является консультантом Обучение в машинах и мозгах программа на Канадский институт перспективных исследований. Хинтон провел бесплатный онлайн-курс по нейронным сетям на образовательной платформе. Coursera в 2012.[30] Хинтон присоединился Google в марте 2013 года, когда была приобретена его компания DNNresearch Inc. Он планирует «разделить свое время между университетскими исследованиями и работой в Google».[31]

В исследовании Хинтона изучаются способы использования нейронных сетей для машинное обучение, объем памяти, восприятие и обработка символов. Он является автором или соавтором более 200 экспертная оценка публикации.[2][32]

В то время как Хинтон был профессором в Университет Карнеги Меллон (1982–1987), Дэвид Э. Румелхарт и Хинтон и Рональд Дж. Уильямс применил алгоритм обратного распространения ошибки многослойным нейронным сетям. Их эксперименты показали, что такие сети могут учиться полезному внутренние представления данных.[14] В интервью 2018 г.[33] Хинтон сказал, что "Дэвид Э. Румелхарт придумал основную идею обратного распространения ошибки, так что это его изобретение ». Хотя эта работа сыграла важную роль в популяризации обратного распространения ошибки, она не была первой, кто предложил такой подход.[15] Обратный режим автоматическая дифференциация, частным случаем которого является обратное распространение, было предложено Сеппо Линнаинмаа в 1970 г. и Пол Вербос предложил использовать его для обучения нейронных сетей в 1974 году.[15]

В тот же период Хинтон стал соавтором Машины Больцмана с Дэвидом Экли и Терри Сейновски.[34] Его другие вклады в исследования нейронных сетей включают: распределенные представления, нейронная сеть с задержкой, смеси экспертов, Машины Гельмгольца и Продукт экспертов. В 2007 году Хинтон стал соавтором обучение без учителя статья под названием Обучение преобразованию изображений без учителя.[35] Доступное введение в исследования Джеффри Хинтона можно найти в его статьях в Scientific American в сентябре 1992 г. и октябре 1993 г.[36]

В октябре и ноябре 2017 г. соответственно Hinton опубликовал два открытый доступ научно-исследовательские работы[37][38] на тему капсульные нейронные сети, которые, по словам Хинтона, «наконец-то хорошо работают».[39]

Известные бывшие аспиранты и постдокторанты из его группы включают Питер Даян,[40] Сэм Роуис,[40] Ричард Земель,[3][6] Брендан Фрей,[7] Рэдфорд М. Нил,[8] Руслан Салахутдинов,[9] Илья Суцкевер,[10] Янн ЛеКун[41] и Зубин Гахрамани.

Почести и награды

Слева направо Русь Салахутдинов, Ричард С. Саттон, Джеффри Хинтон, Йошуа Бенжио и Стив Юрветсон в 2016 году

Хинтон был избран Член Королевского общества (FRS) 1998 г..[11] Он был первым победителем Премия Румельхарта в 2001.[42] Его свидетельство об избрании в Королевское общество гласит:

Джеффри Э. Хинтон известен во всем мире своей работой над искусственными нейронными сетями, особенно тем, как они могут быть разработаны для обучения без помощи человека-учителя. Это вполне может быть началом создания автономных интеллектуальных машин, подобных мозгу. Он сравнил эффекты повреждения мозга с последствиями потерь в такой сети и обнаружил поразительное сходство с человеческими нарушениями, например, в распознавании имен и потере классификации. Его работа включает изучение мысленных образов и придумывание головоломок для проверки оригинальности и творческого интеллекта. Он концептуальный, математически сложный и экспериментальный. Он объединяет эти навыки с поразительным эффектом для создания важной работы, представляющей большой интерес.[43]

В 2001 году Хинтон был награжден Почетный доктор от Эдинбургский университет.[44] Он был получателем 2005 года Премия IJCAI за научные достижения награда за заслуги.[нужна цитата ] Он также был награжден премией 2011 года. Золотая медаль Герцберга Канады в области науки и техники.[45] В 2013 году Хинтон был удостоен звания почетного доктора Université de Sherbrooke.[нужна цитата ]

В 2016 году он был избран иностранным членом Национальная инженерная академия «За вклад в теорию и практику искусственных нейронных сетей и их применение для распознавания речи и компьютерного зрения».[46] Он также получил 2016 Премия IEEE / RSE Wolfson James Clerk Maxwell.[47]

Он выиграл Премия Фонда BBVA Frontiers of Knowledge (2016) в категории «Информационные и коммуникационные технологии» «за новаторскую и весьма влиятельную работу», направленную на наделение машин способностью к обучению.[нужна цитата ]

Вместе с Янн ЛеКун, и Йошуа Бенжио, Хинтон выиграл 2018 Премия Тьюринга за концептуальные и инженерные прорывы, которые сделали глубокие нейронные сети важным компонентом вычислений.[48][49][50]

В 2018 году награжден Товарищем Орден Канады.[51]

Личная жизнь

Хинтон - праправнук обоих логиков. Джордж Буль чьи работы в конечном итоге стали одной из основ современной информатики, а также работы хирурга и автора Джеймс Хинтон.[52] кто был отцом Чарльз Ховард Хинтон. Отец Хинтона был Говард Хинтон.[1][53] Его второе имя от другого родственника, Джордж Эверест.[28] Он племянник экономиста Колин Кларк.[54] В 1994 году он потерял свою первую жену из-за рака яичников.[55]

Взгляды

Хинтон переехал из США в Канаду отчасти из-за разочарования в Рональд Рейган -эра политика и неодобрение военного финансирования искусственного интеллекта.[28]

Хинтон подал прошение против летальное автономное оружие. Касательно экзистенциальный риск от искусственного интеллекта Хинтон обычно отказывается делать прогнозы на будущее более чем на пять лет, отмечая, что экспоненциальный прогресс делает неопределенность слишком большой.[56] Однако в неформальной беседе с исследователем рисков ИИ Ник Бостром в ноябре 2015 года, услышал журналист Раффи Хачадурян,[57] Сообщается, что он заявил, что не ожидал генерал А. должны быть достигнуты на десятилетия («Не раньше 2070 года»), и это в контексте дихотомии, ранее введенной Бостромом между людьми, которые думают, что управление экзистенциальный риск от искусственного интеллекта вероятно, безнадежно или достаточно просто, чтобы решить эту проблему автоматически, Хинтон «[находится] в лагере безнадежности».[57] Он заявил: «Я думаю, что политические системы будут использовать это для террора людей», и выразил уверенность в том, что такие агентства, как Национальное Агенство Безопасности (АНБ) уже пытаются злоупотребить подобной технологией.[57]

На вопрос Ника Бострома, почему он продолжает исследования, несмотря на свои серьезные опасения, Хинтон ответил: «Я мог бы привести вам обычные аргументы. Но правда в том, что перспектива открытия слишком велика. милая."[57]

Согласно тому же отчету, Хинтон категорически не исключает, что люди управляют искусственным суперинтеллектом, но предупреждает, что «нет хорошей репутации менее разумных вещей, управляющих объектами с большим интеллектом».[57]

Рекомендации

  1. ^ а б c d е Аноним (2015) "Хинтон, профессор Джеффри Эверест". Кто есть кто. ukwhoswho.com (онлайн Oxford University Press ред.). A&C Black, отпечаток Bloomsbury Publishing plc. (подписка или Членство в публичной библиотеке Великобритании требуется) Дои:10.1093 / ww / 9780199540884.013.20261 (требуется подписка)
  2. ^ а б Джеффри Хинтон публикации, проиндексированные Google ученый Отредактируйте это в Викиданных
  3. ^ а б c Джеффри Хинтон на Проект "Математическая генеалогия"
  4. ^ Академическая генеалогия Джеффри Э. Хинтона
  5. ^ Gregory, R.L .; Мюррелл, Дж. Н. (2006). "Хью Кристофер Лонге-Хиггинс. 11 апреля 1923 - 27 марта 2004: избран ФРС в 1958 году". Биографические воспоминания членов Королевского общества. 52: 149–166. Дои:10.1098 / rsbm.2006.0012.
  6. ^ а б Земель, Ричард Стэнли (1994). Структура минимальной длины описания для обучения без учителя (Кандидатская диссертация). Университет Торонто. OCLC  222081343. ProQuest  304161918.
  7. ^ а б Фрей, Брендан Джон (1998). Байесовские сети для классификации шаблонов, сжатия данных и кодирования каналов (Кандидатская диссертация). Университет Торонто. OCLC  46557340. ProQuest  304396112.
  8. ^ а б Нил, Рэдфорд (1995). Байесовское обучение для нейронных сетей (Кандидатская диссертация). Университет Торонто. OCLC  46499792. ProQuest  304260778.
  9. ^ а б Салахутдинов, Руслан (2009). Изучение глубоких генеративных моделей (Кандидатская диссертация). Университет Торонто. ISBN  9780494610800. OCLC  785764071. ProQuest  577365583.
  10. ^ а б Суцкевер, Илья (2013). Обучение рекуррентных нейронных сетей (Кандидатская диссертация). Университет Торонто. OCLC  889910425. ProQuest  1501655550.
  11. ^ а б Анон (1998). "Профессор Джеффри Хинтон, ФРС". Лондон: Королевское общество. Архивировано из оригинал 3 ноября 2015 г. Одно или несколько предыдущих предложений включают текст с веб-сайта royalsociety.org, где:

    "Весь текст, опубликованный под заголовком" Биография "на страницах профиля участника, доступен в Международная лицензия Creative Commons Attribution 4.0." --«Положения, условия и политика Королевского общества». Архивировано 11 ноября 2016 года.. Получено 9 марта 2016.CS1 maint: BOT: статус исходного URL-адреса неизвестен (связь)

  12. ^ Даниэла Эрнандес (7 мая 2013 г.). «Человек, стоящий за мозгом Google: Эндрю Нг и поиски нового ИИ». Проводной. Получено 10 мая 2013.
  13. ^ "Джеффри Э. Хинтон - Google AI". Google AI.
  14. ^ а б Румелхарт, Дэвид Э .; Хинтон, Джеффри Э .; Уильямс, Рональд Дж. (9 октября 1986 г.). «Изучение представлений путем обратного распространения ошибок». Природа. 323 (6088): 533–536. Bibcode:1986Натура.323..533R. Дои:10.1038 / 323533a0. ISSN  1476-4687. S2CID  205001834.
  15. ^ а б c Шмидхубер, Юрген (1 января 2015 г.). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети. 61: 85–117. arXiv:1404.7828. Дои:10.1016 / j.neunet.2014.09.003. PMID  25462637. S2CID  11715509.
  16. ^ «Джеффри Хинтон ненадолго проработал стажером в Google в 2012 году из-за бюрократии - TechCrunch». techcrunch.com. Получено 28 марта 2018.
  17. ^ Сомерс, Джеймс. «Прогресс в области искусственного интеллекта, кажется, ускоряется, но вот почему он может замедлиться». Обзор технологий MIT. Получено 28 марта 2018.
  18. ^ «Как« крестный отец »глубокого обучения U of T переосмысливает ИИ». Новости Университета Торонто. Получено 28 марта 2018.
  19. ^ "'Крестный отец глубокого обучения переосмысливает ИИ ". Получено 28 марта 2018.
  20. ^ «Джеффри Хинтон,« крестный отец »глубокого обучения, на AlphaGo». Macleans.ca. 18 марта 2016 г.. Получено 28 марта 2018.
  21. ^ Дэйв Гершгорн (18 июня 2018 г.). «Внутренняя история того, как ИИ стал достаточно хорош, чтобы доминировать в Кремниевой долине». Кварцевый. Получено 5 октября 2018.
  22. ^ Крижевский, Алексей; Суцкевер, Илья; Хинтон, Джеффри Э. (3 декабря 2012 г.). «Классификация ImageNet с глубокими сверточными нейронными сетями». Nips'12. Curran Associates Inc.: 1097–1105. Цитировать журнал требует | журнал = (помощь)
  23. ^ «Как исследования профессора из Торонто произвели революцию в области искусственного интеллекта | Toronto Star». thestar.com. Получено 13 марта 2018.
  24. ^ 27 марта, Эмили Чанг · Новости CBC · Опубликовано; 27 марта 2019 г., 6:00 по восточному времени | Последнее обновление. «Канадские исследователи, которые научили ИИ учиться, как люди, получают премию в 1 миллион долларов | CBC News». CBC. Получено 27 марта 2019.
  25. ^ Раноса, Тед (29 марта 2019 г.). «Крестные отцы искусственного интеллекта выиграли в этом году премию Тьюринга и 1 миллион долларов». Tech Times. Получено 5 ноября 2020.
  26. ^ Шид, Сэм. «Трое« крестных отцов »искусственного интеллекта получили престижную премию Тьюринга в 1 миллион долларов». Forbes. Получено 5 ноября 2020.
  27. ^ Хинтон, Джеффри Эверест (1977). Расслабление и его роль в зрении (Кандидатская диссертация). Эдинбургский университет. HDL:1842/8121. OCLC  18656113. EThOS  uk.bl.ethos.482889. Бесплатно читать
  28. ^ а б c Смит, Крейг С. (23 июня 2017 г.). «Человек, который помог превратить Торонто в очаг высоких технологий». Нью-Йорк Таймс. Получено 27 июн 2017.
  29. ^ https://www.cs.toronto.edu/~hinton/fullcv.pdf
  30. ^ «Архивная копия». Архивировано из оригинал 31 декабря 2016 г.. Получено 30 декабря 2016.CS1 maint: заархивированная копия как заголовок (связь)
  31. ^ "Стартап нейронных сетей U of T, приобретенный Google" (Пресс-релиз). Торонто, ОН. 12 марта 2013 г.. Получено 13 марта 2013.
  32. ^ Джеффри Хинтон публикации, проиндексированные Scopus библиографическая база данных. (требуется подписка)
  33. ^ Форд, Мартин (2018). Архитекторы интеллекта: правда об ИИ от создателей его. Packt Publishing. ISBN  978-1-78913-151-2.
  34. ^ Экли, Дэвид Х; Хинтон Джеффри Э; Сейновски, Терренс Дж. (1985), "Алгоритм обучения для машин Больцмана", Когнитивная наука, Elsevier, 9 (1): 147–169
  35. ^ Хинтон, Джеффри Э. "Публикации Джеффри Э. Хинтона в обратном хронологическом порядке".
  36. ^ "Рассказы Джеффри Э. Хинтона в журнале Scientific American".
  37. ^ Сабур, Сара; Фросст, Николай; Хинтон, Джеффри. Октябрь 2017 г. «Динамическая маршрутизация между капсулами»
  38. ^ «Матричные капсулы с ЭМ-маршрутизацией» 3 ноября 2017. OpenReview.net
  39. ^ Гейб, Клаудия. 2 ноября 2017. «Мы наконец создали сеть искусственного интеллекта, над созданием которой шли десятилетия» Futurism.com
  40. ^ а б "Постдоки Джеффри Хинтона". Джеффри Хинтон.
  41. ^ «Исследования и вклад Янна ЛеКуна». yann.lecun.com. Получено 13 марта 2018.
  42. ^ «Текущие и предыдущие получатели». Премия Дэвида Э. Румелхарта. Архивировано из оригинал 2 марта 2017 г.
  43. ^ Анон (1998). "Свидетельство об избрании EC / 1998/21: Джеффри Эверест Хинтон". Лондон: Королевское общество. Архивировано из оригинал 5 ноября 2015 г.
  44. ^ «Выдающийся выпускник Эдинбурга получает премию ACM A.M. Turing». Получено 9 апреля 2019.
  45. ^ «Ученый в области искусственного интеллекта получает премию M». CBC Новости. 14 февраля 2011 г.
  46. ^ «Национальная инженерная академия избирает 80 членов и 22 иностранных члена». NAE. 8 февраля 2016 г.
  47. ^ «Получатели медалей и наград IEEE 2016, а также награды» (PDF). IEEE. Получено 7 июля 2016.
  48. ^ «Главный научный советник Vector Institute д-р Джеффри Хинтон получает премию ACM A.M. Turing вместе с д-ром Йошуа Бенджио и д-ром Яном Лекуном». NAE. 27 марта 2019.
  49. ^ «Три пионера в области искусственного интеллекта выиграли премию Тьюринга». Нью-Йорк Таймс. 27 марта 2019 г.. Получено 27 марта 2019.
  50. ^ «Отцы революции в области глубокого обучения получили премию ACM A.M. Тьюринга - Бенджио, Хинтон и Лекун совершили крупные прорывы в области искусственного интеллекта». Ассоциация вычислительной техники. 27 марта 2019 г.. Получено 27 марта 2019.
  51. ^ «Генерал-губернатор объявляет о 103 новых назначениях на основании указа Канады, декабрь 2018 года».
  52. ^ Логика Исаака Ньютона
  53. ^ Соль, Джордж (1978). "Говард Эверест Хинтон. 24 августа 1912 г. - 2 августа 1977 г.". Биографические воспоминания членов Королевского общества. 24: 150–182. Дои:10.1098 / rsbm.1978.0006. ISSN  0080-4606.
  54. ^ Шут, Джо (26 августа 2017 г.). «Крестный отец ИИ» о том, как сделать машины умными и научатся ли роботы убивать всех нас? ». Телеграф. Получено 20 декабря 2017.
  55. ^ Шут, Джо (26 августа 2017 г.). «Крестный отец ИИ» о том, как сделать машины умными и научатся ли роботы убивать всех нас? ». Телеграф. Получено 30 января 2018.
  56. ^ Хинтон, Джеффри. «Лекция 16г. Туман прогресса» (PDF).
  57. ^ а б c d е Хатчадурян, Раффи (16 ноября 2015 г.). «Изобретение судного дня». Житель Нью-Йорка. Получено 30 января 2018.