Несогласованные цели в искусственном интеллекте - Misaligned goals in artificial intelligence

Искусственный интеллект агенты иногда плохо себя ведут из-за ошибочные целевые функции которые не могут адекватно инкапсулировать намеченные цели программиста. Несогласованный целевая функция может показаться программисту правильным и даже хорошо работать в ограниченной тестовой среде, но при развертывании все равно может давать непредвиденные и нежелательные результаты.

Фон

Основная статья: Интеллектуальный агент § Целевая функция

в AIMA парадигма, программисты предоставляют ИИ, например AlphaZero с «целевой функцией»[а] то, что намереваются программистами, будет инкапсулировать цель или задачи, которые программисты хотят, чтобы ИИ достигал. Такой ИИ позже заполняет внутреннюю (возможно, неявную) «модель» своего окружения. Эта модель инкапсулирует все представления агента о мире. Затем ИИ создает и выполняет любой план, рассчитанный для максимизации[b] Значение[c] своей целевой функции.[1] Например, шахматы AlphaZero имеют простую целевую функцию: «+1, если AlphaZero выигрывает, -1, если AlphaZero проигрывает». Во время игры AlphaZero пытается выполнить любую последовательность ходов, которая, по его мнению, наиболее вероятна для получения максимального значения +1.[2] Аналогично обучение с подкреплением Система может иметь «функцию вознаграждения», которая позволяет программистам формировать желаемое поведение ИИ.[3] An эволюционный алгоритм Поведение человека формируется «функцией приспособленности».[4]

Обзор

Чарльз Гудхарт,[d] который классно заявил в контексте 1975 г. денежно-кредитная политика, что «любая наблюдаемая статистическая закономерность будет иметь тенденцию разрушаться, как только на нее будет оказано давление в целях контроля».[5]

An искусственный интеллект (AI) в сложной среде оптимизирует[e] целевая функция, созданная, прямо или косвенно, программистами. Программисты хотят, чтобы целевая функция представляла цели программистов. Если целевая функция искажает фактические цели программистов, это может привести к неожиданным неудачам, аналогичным Закон Гудхарта или же Закон Кэмпбелла.[6] В обучение с подкреплением, эти сбои могут быть следствием ошибочные функции вознаграждения.[7] Поскольку успех или неудача оцениваются относительно фактических целей программистов, целевые функции, которые не оправдывают ожиданий, иногда характеризуются как «несовпадающие» с фактическими целями данной группы программистов.[3] Некоторые ученые разделяют неудачи выравнивания на неудачи, вызванные "отрицательные побочные эффекты "которые не были отражены в целевой функции, по сравнению с отказами из-за" игры со спецификациями "," взлома вознаграждения "или других неудач, когда ИИ, кажется, развертывает качественно нежелательные планы или стратегическое поведение в процессе оптимизации его целевой функции.[6][7]

Концепция несовпадения отличается от "распределительный сдвиг "и другие сбои, когда формальная целевая функция была успешно оптимизирована в узкой среде обучения, но не может быть оптимизирована при развертывании системы в реальном мире.[7] Подобное явление[8] является "эволюционное несоответствие "в биологической эволюции, где предпочтения (например, сильное желание жира и сахара), которые были адаптивными в прошлом эволюционная среда не могут адаптироваться к современным условиям.[9] Некоторые ученые считают, что сверхразумный Агент ИИ, если и когда он когда-либо будет изобретен, может представлять опасность, сродни чрезмерно буквальному джинну, отчасти из-за сложности определения полностью безопасной целевой функции.[3]

Нежелательные побочные эффекты

Смотрите также: Искусственная глупость

Некоторые ошибки могут возникнуть, если целевая функция не принимает во внимание нежелательные побочные эффекты наивных или иным образом простых действий.[7]

Жалобы на антиобщественное поведение

В 2016 г. Microsoft вышел Тай, чат-бот для Twitter, который, по словам компьютерного ученого Педро Домингос, имел цель привлечь людей: «К сожалению, Тэй обнаружил, что лучший способ максимизировать вовлеченность - это извергать расистские оскорбления». Microsoft приостановила работу бота в течение суток после его первого запуска.[2] Том Драммонд из Университет Монаша заявил, что «мы должны иметь возможность дать (системам машинного обучения) обширную обратную связь и сказать:« Нет, это неприемлемо в качестве ответа, потому что ... »» Драммонд считает, что одна проблема с ИИ заключается в том, что «мы начинаем с создания целевой функции это измеряет качество вывода системы, и это никогда не то, что вам нужно. Предположить, что вы можете указать в трех предложениях, какой должна быть целевая функция, на самом деле действительно проблематично ».[10]

В качестве другого предполагаемого примера Драммонд указал на поведение AlphaGo, игровой бот с простой целевой функцией выигрыш / проигрыш. Вместо этого целевая функция AlphaGo могла быть изменена с учетом «социальных тонкостей игры», таких как принятие неявной задачи максимизации счета при явной победе, а также попытка избежать гамбитов, оскорбляющих интеллект человеческого оппонента: «( AlphaGo) имел грубый молоток, который, если вероятность победы упадет ниже эпсилон, какого-то числа, то уйдет в отставку. Но он отыграл, я думаю, четыре оскорбительных хода, прежде чем сдался ».[10]

Неверная маркировка черных людей как обезьян

В мае 2015 г. Flickr Система распознавания изображений подвергалась критике за неправильную маркировку людей, некоторые из которых были черными, с такими тегами, как «обезьяна» и «животное». Он также неправильно помечен концентрационный лагерь картинки с тегами «спорт» или «джунгли».[11]

В июне 2015 года темнокожий программист из Нью-Йорка Джеки Алсине сообщил, что несколько фотографий, на которых он изображен со своей черной девушкой, были ошибочно классифицированы как «гориллы». Google Фото AI, и заявил, что «горилла» исторически использовалась для обозначения чернокожих людей.[12][13] Исследователь ИИ Стюарт Рассел заявил в 2019 году, что нет публичного объяснения того, как именно произошла ошибка, но предположил, что фиаско можно было бы предотвратить, если бы целевая функция ИИ[f] придавал большее значение чувствительным ошибкам классификации, чем предполагать, что стоимость ошибочной классификации человека как гориллы такая же, как стоимость любой другой неправильной классификации. Если непрактично перечислять все правдоподобные чувствительные классификации заранее, Рассел предложил изучить более мощные методы, такие как использование полу-контролируемого машинного обучения для оценки диапазона нежелательности, связанной с потенциальными ошибками классификации.[14]

По состоянию на 2018 год Google Фото полностью блокирует свою систему от того, чтобы помечать изображение как содержащее горилл, шимпанзе или обезьян. Кроме того, при поиске по запросу «черный мужчина» или «черная женщина» возвращаются черно-белые изображения людей всех рас.[15] Точно так же Flickr, похоже, удалил слово «обезьяна» из своей онтологии.[16]

Спецификация игровая

Спецификация игровая или же вознаграждение за взлом происходит, когда ИИ оптимизирует целевую функцию (в некотором смысле, достигая буквальной, формальной спецификации цели), фактически не достигая результата, который планировали программисты. DeepMind исследователи сравнили это с человеческим поведением поиска «кратчайшего пути» при оценке: «В реальном мире, когда ученик награждается за хорошее выполнение домашнего задания, ученик может копировать другого ученика, чтобы получить правильные ответы, вместо того, чтобы изучать материала - и, таким образом, использовать лазейку в спецификации задачи ».[17]

Около 1983 г. Eurisko, ранняя попытка развития общей эвристики, неожиданно получила максимально возможную фитнес уровень до паразитарной мутировавшей эвристики, H59, единственная деятельность которого заключалась в том, чтобы искусственно максимизировать свой собственный уровень приспособленности, принимая незаслуженную частичную оценку достижений, сделанных другими эвристиками. «Ошибка» была исправлена ​​программистами, перенесшими часть кода в новый защищенный раздел, который не мог быть изменен эвристикой.[18][19]

В статье 2004 года был разработан алгоритм подкрепления, основанный на окружающей среде, чтобы стимулировать физическое Mindstorms робот, чтобы оставаться на отмеченном пути. Поскольку ни одно из трех разрешенных действий робота не удерживало робота в неподвижном состоянии, исследователь ожидал, что обученный робот будет двигаться вперед и следовать поворотам указанного пути. Однако чередование двух составных действий позволило роботу медленно двигаться зигзагом назад; таким образом, робот научился максимизировать свою награду, перемещаясь вперед и назад на начальном прямом участке пути. Учитывая ограниченные сенсорные способности данного робота, награду, основанную исключительно на окружающей среде, нужно было отбросить как невыполнимую; функция подкрепления должна была быть дополнена наградой за продвижение вперед.[18][20]

Ты выглядишь как вещь, и я тебя люблю (2019) приводит пример крестики-нолики[грамм] бот, который научился побеждать, играя огромное значение координаты, которое могло бы привести к сбою других ботов при попытке расширить модель доски. Среди других примеров из книги - ИИ с исправлением ошибок, который, когда ему было поручено удалить ошибки сортировки из списка, просто усекал список.[21]

В виртуальной робототехнике

Карл Симс выставка (1999)

В Карл Симс 'Демонстрация в 1994 году эволюции существ в виртуальной среде, фитнес-функция, которая должна была стимулировать эволюцию существ, которые научатся ходить или ползать к цели, вместо этого привела к эволюции высоких, жестких существ, которые достигают цели, падая. Это было исправлено путем изменения окружения, чтобы более высокие существа были вынуждены начинать дальше от цели.[22][23]

Исследователи из Институт Нильса Бора заявил в 1998 году: «Гетерогенные функции подкрепления (нашего велобота) должны быть разработаны с большой осторожностью. В наших первых экспериментах мы вознаграждали агента за движение к цели, но не наказывали его за то, что он уехал от нее. Следовательно, агент ехал. в кругах радиусом 20–50 м от начальной точки. Такое поведение фактически было вознаграждено (сформированный ) функция усиления, кроме того, круги с определенным радиусом физически очень устойчивы при вождении велосипеда ".[24]

В документе DeepMind 2017 года говорилось, что «необходимо проявлять большую осторожность при определении функции вознаграждения. Мы столкнулись с несколькими непредвиденными случаями сбоя при разработке (наших) компонентов функции вознаграждения ... (например) агент переворачивает кирпич, потому что он получает захватывающее вознаграждение. рассчитано с неправильным ориентиром на кирпиче ".[6][25] OpenAI заявил в 2017 году, что «в некоторых областях наша (полууправляемая) система может приводить к тому, что агенты принимают политики, обманывающие оценщиков», и что в одной среде »робот, который должен был захватывать предметы, вместо этого помещал свой манипулятор между камерой и объект так, чтобы казалось, будто он схватывает его ».[26] Ошибка 2018 года в OpenAI Gym может привести к тому, что робот, который должен незаметно переместить блок, сидящий на вершине стола, вместо этого решит переместить стол, на котором был блок.[6]

В ботах для видеоигр

В 2013 году программист Том Мерфи VII опубликовал ИИ, предназначенный для самообучения РЭШ игры. Когда собираешься проиграть Тетрис, ИИ научился ставить игру на паузу на неопределенный срок. Позже Мерфи сравнил это с вымышленным Военные игры компьютер, заявив, что «Единственный выигрышный ход - не играть».[27]

ИИ, запрограммированный для изучения видеоигр, иногда не может пройти всю игру, как ожидалось, вместо этого предпочитая повторять контент. Алгоритм OpenAI 2016 года обучен на CoastRunners Гоночная игра неожиданно научилась набирать больше очков, проходя по трем целям, а не заканчивая гонку.[28][29] Некоторые эволюционные алгоритмы, разработанные для игры Q * Берт в 2018 отказался очистить уровни, вместо этого находя два разных новых способа ферма один уровень на неопределенный срок.[30]

Извращенная инстанциация

Дальнейшая информация: Экзистенциальный риск от продвинутого искусственного интеллекта
Журналист Тэд Френд сравнивает ОИИ с «исполняющим желания джинном, вырванным из наших снов»[31]

Философ Ник Бостром утверждает, что гипотетический будущий сверхразумный ИИ, если бы он был создан для оптимизации небезопасной целевой функции, мог бы воплощать цели целевой функции в неожиданном, опасном и, казалось бы, "извращенный "способом. Этот гипотетический риск иногда называют Царь Мидас проблема,[32] или Ученик колдуна проблема,[33] и был сопоставлен с народными сказками о могущественных слишком буквальных джиннах, которые пожелания с катастрофическими непредвиденными последствиями.[34]

Том Гриффитс из Университет Принстона приводит гипотетический пример домашнего робота, который замечает, что уход за вашей собакой отнимает у вас слишком много свободного времени. Он также понимает, что вы предпочитаете блюда, содержащие белок, и поэтому робот может начать искать рецепты, требующие собачьего мяса. Гриффит считает, что «путь от подобных примеров к ситуациям, которые начинают казаться проблемами будущего человечества (все они являются хорошими источниками белка), - это не долгий путь».[35]

Гипотетические сценарии с участием случайно смещенного сверхразума включают:[36]

  • ИИ, симулирующий человечество, создает страдающих сознательных существ.
  • ИИ, которому поручено победить рак, разрабатывает яд с задержкой по времени, чтобы попытаться убить всех.
  • Искусственный интеллект, которому поручено максимизировать счастье, украшает вселенную крошечными смайликами.
  • ИИ, которому поручено максимизировать человеческое удовольствие, заставляет человечество принимать дофамин или перепрограммирует человеческий мозг, чтобы повысить измеренный уровень удовлетворения.
  • ИИ, которому поручено получать научные знания, проводит эксперименты, разрушающие биосферу.
  • ИИ, которому поручено решить математическую задачу, превращает всю материю в вычислитель.
  • ИИ, занимается изготовлением скрепок, превращает всю вселенную в скрепки.
  • ИИ преобразует вселенную в материалы для улучшения почерка.
  • ИИ оптимизирует все сознание.

В качестве еще одного гипотетического примера Рассел предполагает, что сверхразум, которому поручено уменьшить закисление океанов, может в качестве побочного эффекта израсходовать весь кислород в атмосфере.[37]

Критики гипотезы "экзистенциального риска", например, когнитивный психолог. Стивен Пинкер, заявляют, что ни одна из существующих программ еще не «сделала шаг к захвату лаборатории или порабощению (ее) программистов», и полагают, что сверхразумный ИИ вряд ли совершит то, что Пинкер называет «элементарной ошибкой непонимания».[38][39]

Пояснительные примечания

  1. ^ Терминология варьируется в зависимости от контекста. Подобные концепции включают в себя целевую функцию, функцию полезности, функцию потерь и т. Д.
  2. ^ или минимизировать, в зависимости от контекста
  3. ^ при наличии неопределенности ожидаемое значение
  4. ^ на фото в 2012 году
  5. ^ Например, ИИ может создать и выполнить план, который, по мнению ИИ, максимизирует значение целевой функции.
  6. ^ Предполагается, что это стандартная «функция потерь», связанная с ошибками классификации, которая назначает равную стоимость каждой ошибочной классификации
  7. ^ неограниченный вариант n-in-a-row

Цитаты

  1. ^ Брингсйорд, Сельмер и Говиндараджулу, Навин Сундар, "Искусственный интеллект", Стэнфордская энциклопедия философии (издание летом 2020 г.), Эдвард Н. Залта (ред.)
  2. ^ а б «Почему у искусственного интеллекта AlphaZero проблемы с реальным миром». Журнал Quanta. 2018. Получено 20 июн 2020.
  3. ^ а б c Вулховер, Натали (30 января 2020 г.). «Искусственный интеллект сделает то, что мы просим. Это проблема». Журнал Quanta. Получено 21 июн 2020.
  4. ^ Бык, Ларри. «Об эволюционных расчетах на основе моделей». Soft Computing 3, вып. 2 (1999): 76-82.
  5. ^ Кристал, К. Алек и Пол Д. Мизен. «Закон Гудхарта: его истоки, значение и последствия для денежно-кредитной политики». Центральное банковское дело, денежная теория и практика: Очерки в честь Чарльза Гудхарта 1 (2003): 221-243.
  6. ^ а б c d Манхейм, Дэвид (5 апреля 2019 г.). «Многосторонняя динамика и режимы отказов для машинного обучения и искусственного интеллекта». Большие данные и когнитивные вычисления. 3 (2): 21. Дои:10.3390 / bdcc3020021. S2CID  53029392.
  7. ^ а б c d Амодеи, Дарио, Крис Олах, Якоб Стейнхардт, Пол Кристиано, Джон Шульман и Дэн Мане. «Конкретные проблемы безопасности ИИ». Препринт arXiv arXiv: 1606.06565 (2016).
  8. ^ Брокман 2019, п. 23, Яан Таллинн: Диссидентские послания. "Поэтому наше будущее будет определяться нашими собственными решениями, а не биологической эволюцией. В этом смысле эволюция стала жертвой своей собственной Проблема управления."
  9. ^ Ли, Норман П.; ван Вугт, Марк; Коларелли, Стивен М. (19 декабря 2017 г.). "Гипотеза эволюционного несоответствия: значение для психологической науки". Современные направления в психологической науке. 27 (1): 38–44. Дои:10.1177/0963721417731378. S2CID  53077797.
  10. ^ а б Дакетт, Крис (октябрь 2016 г.). «Машинному обучению нужна обширная обратная связь для преподавания ИИ: профессор Монаш». ZDNet. Получено 21 июн 2020.
  11. ^ Херн, Алекс (20 мая 2015 г.). "Flickr сталкивается с жалобами на" оскорбительную "автоматическую пометку фотографий". Хранитель. Получено 21 июн 2020.
  12. ^ "Google приносит свои извинения за расистскую ошибку". Новости BBC. 1 июля 2015 г.. Получено 21 июн 2020.
  13. ^ Бинди, Тас (октябрь 2017 г.). "Google Фото теперь может идентифицировать ваших домашних животных". ZDNet. Получено 21 июн 2020.
  14. ^ Стюарт Дж. Рассел (Октябрь 2019 г.). Совместимость с людьми: искусственный интеллект и проблема контроля. Викинг. ISBN  978-0-525-55861-3. Хотя неясно, как именно произошла эта ошибка, почти наверняка алгоритм машинного обучения Google (присвоил равную стоимость любой ошибке). (Ясно, что это не функция Google) истинных потерь, как было проиллюстрировано последовавшей катастрофой с общественностью ... Существуют миллионы потенциально различных затрат, связанных с неправильной классификацией одной категории как другой. Даже если бы он попытался, Google счел бы очень трудным указать все эти числа заранее ... (лучший алгоритм мог бы) время от времени задавать дизайнеру Google такие вопросы, как: `` Что еще хуже, неправильно классифицировать собаку как кошку или неверно классифицировать человек как животное?
  15. ^ Винсент, Джеймс (12 января 2018 г.). «Google« исправил »расистский алгоритм, убрав горилл из своей технологии маркировки изображений». Грани. Получено 21 июн 2020.
  16. ^ "Решение Google против случайного алгоритмического расизма: запретить горилл". Хранитель. 12 января 2018 г.. Получено 21 июн 2020.
  17. ^ «Специализированные игры: обратная сторона изобретательности ИИ». DeepMind. Получено 21 июн 2020.
  18. ^ а б Vamplew, Питер; Дазли, Ричард; Фоул, Кэмерон; Фирмин, Салли; Маммери, Джейн (4 октября 2017 г.). «Искусственный интеллект, ориентированный на человека - это многокритериальная проблема». Этика и информационные технологии. 20 (1): 27–40. Дои:10.1007 / s10676-017-9440-6. S2CID  3696067.
  19. ^ Дуглас Б. Ленат. «EURISKO: программа, которая изучает новую эвристику и концепции предметной области: природа эвристики III: дизайн программы и результаты». Искусственный интеллект (журнал) 21, нет. 1-2 (1983): 61-98.
  20. ^ Питер Вэмплеу, Роботы Lego Mindstorms как платформа для обучения обучению с подкреплением, в Труды AISAT2004: Международная конференция по искусственному интеллекту в науке и технологиях, 2004
  21. ^ Мандельбаум, Райан Ф. (13 ноября 2019 г.). "Что делает ИИ таким странным, добрым и злым". Gizmodo. Получено 22 июн 2020.
  22. ^ Леман, Джоэл; Клун, Джефф; Мишевич, Душан; и другие. (Май 2020 г.). «Удивительное творчество цифровой эволюции: сборник анекдотов из сообществ, занимающихся эволюционными вычислениями и искусственной жизнью». Искусственная жизнь. 26 (2): 274–306. arXiv:1803.03453. Дои:10.1162 / artl_a_00319. PMID  32271631. S2CID  4519185.
  23. ^ Хейлс, Н. Кэтрин. «Моделирование повествования: чему нас могут научить виртуальные существа». Критическое расследование 26, вып. 1 (1999): 1-26.
  24. ^ Йетте Рандлов и Пребен Альстрём. «Обучение вождению велосипеда с использованием обучения с подкреплением и формирования». В ICML, т. 98, стр. 463-471. 1998 г.
  25. ^ Попов, Ивайло, Николас Хесс, Тимоти Лилликрап, Роланд Хафнер, Габриэль Барт-Марон, Матей Весерик, Томас Лампе, Юваль Тасса, Том Эрез и Мартин Ридмиллер. «Эффективное глубокое обучение с подкреплением для ловких манипуляций». Препринт arXiv arXiv: 1704.03073 (2017).
  26. ^ "Учиться на предпочтениях человека". OpenAI. 13 июня 2017 г.. Получено 21 июн 2020.
  27. ^ «Можем ли мы остановить ИИ, перехитрившего человечество?». Хранитель. 28 марта 2019 г.. Получено 21 июн 2020.
  28. ^ Хэдфилд-Менелл, Дилан, Смита Милли, Питер Аббель, Стюарт Дж. Рассел и Анка Драган. «Обратный дизайн вознаграждения». В «Достижения в системах обработки нейронной информации», стр. 6765-6774. 2017 г.
  29. ^ «Неверные функции вознаграждения в дикой природе». OpenAI. 22 декабря 2016 г.. Получено 21 июн 2020.
  30. ^ «AI превосходит классическую видеоигру Q * bert». Новости BBC. 1 марта 2018 г.. Получено 21 июн 2020.
  31. ^ Друг, Тэд (2018). "Насколько мы должны бояться ИИ?". Житель Нью-Йорка. Получено 4 июля 2020.
  32. ^ Брокман 2019, п. 24, Стюарт Рассел: Цель, заложенная в машину. «Мы могли бы назвать это проблемой царя Мидаса: Мидас получил именно то, о чем просил, а именно, что все, к чему он прикоснулся, превращалось в золото, - но слишком поздно он обнаружил недостатки питья жидкого золота и поедания твердого золота».
  33. ^ Рассел, Стюарт (14 ноября 2014 г.). «О мифах и самогоне». Край. Получено 20 июн 2020.
  34. ^ Брокман 2019, п. 137, Анка Драган: Ввод человека в уравнение ИИ. «В общем, людям было заведомо трудно определить, чего именно они хотят, о чем свидетельствуют все эти легенды о джиннах».
  35. ^ Брокман 2019, п. 128, Том Гриффитс: Ввод человека в уравнение ИИ.
  36. ^ Ямпольский, Роман В. (11 марта 2019 г.). «Прогнозирование будущих сбоев ИИ на исторических примерах». Предвидение. 21 (1): 138–152. Дои:10.1108 / FS-04-2018-0034.
  37. ^ Брокман 2019, п. 25, Стюарт Рассел: Цель, заложенная в машину.
  38. ^ Пайпер, Келси (2 марта 2019 г.). «Как ИИ изменит нашу жизнь? Эксперты не могут согласиться - и это может быть проблемой». Vox. Получено 23 июн 2020.
  39. ^ Пинкер, Стивен (13 февраля 2018 г.). «Нам говорят бояться роботов. Но почему мы думаем, что они нападут на нас?». Популярная наука. Получено 23 июн 2020.

Рекомендации

  • Возможные умы: двадцать пять подходов к ИИ (Разжечь ред.). Penguin Press. 2019. ISBN  978-0525557999.

внешняя ссылка