Волшебник из страны Оз - Wizard of Oz experiment

В области взаимодействие человека с компьютером, а Волшебник из страны Оз это исследование эксперимент, в котором испытуемые взаимодействуют с компьютер система, которую субъекты считают автономной, но которая фактически управляется или частично управляется невидимым человек.[1]

Концепция

Фраза Волшебник страны Оз (первоначально OZ Paradigm) вошла в обиход в областях экспериментальная психология, человеческие факторы, эргономика, лингвистика, и юзабилити-инжиниринг для описания методологии тестирования или итеративного проектирования, при которой экспериментатор («волшебник») в лабораторных условиях моделирует поведение теоретического интеллектуального компьютерного приложения (часто переходя в другую комнату и перехватывая все коммуникации между участником и системой). Иногда это делается с предварительным знанием участника, а иногда это простой обман, используемый для управления ожиданиями участника и поощрения естественного поведения.

Например, участник теста может думать, что он или она общается с компьютером, используя речевой интерфейс, когда слова участника фактически тайно вводятся в компьютер человеком в другой комнате («волшебник») и обрабатываются как текст. поток, а не как аудиопоток. Отсутствующие функциональные возможности системы, которые предоставляет мастер, могут быть реализованы в более поздних версиях системы (или могут быть даже спекулятивными возможностями, которых нет в современных системах), но их точные детали обычно считаются не имеющими отношения к исследованию. В тестовых ситуациях целью таких экспериментов может быть наблюдение за использованием и эффективностью предложенного пользовательский интерфейс участниками тестирования, а не для измерения качества всей системы.

Источник

Джон Ф. («Джефф») Келли придумал фразы «Волшебник страны Оз» и «Парадигма страны Оз» примерно в 1980 году, чтобы описать метод, который он разработал во время своего диссертация работать над Университет Джона Хопкинса. (Его научным руководителем был покойный профессор Альфонс Чапанис, «Крестный отец человеческого фактора и инженерной психологии».) Как ни странно, в дополнение к некоторым односторонние зеркала и так далее, там буквально была плотная завеса, отделяющая Джеффа, как «Волшебника», от поля зрения участника во время исследования.

Методика «экспериментатора в петле» была впервые применена в исследовательской лаборатории Чапаниса в Университете Джона Хопкинса еще в 1975 году (Дж. Ф. Келли прибыл в 1978 году). В. Рэндольф Форд использовал технику «экспериментатора в цикле» в своей инновационной программе CHECKBOOK, в которой он получал языковые образцы в естественной обстановке. Согласно методу Форда, предварительная версия системы обработки естественного языка будет помещена перед пользователем. Когда пользователь вводил синтаксис, который не был распознан, он получал сообщение «Не могли бы вы перефразировать это?» подсказка из программного обеспечения. После сеанса будут созданы или усовершенствованы алгоритмы обработки вновь полученных образцов, и будет проведен другой сеанс. Этот подход привел к возможному развитию его техники обработки естественного языка «Многоступенчатая редукция шаблонов». Вспомнил доктор Форд, что доктор Келли действительно придумал фразу «Парадигма волшебника из страны Оз», но эта техника использовалась по крайней мере в двух отдельных исследованиях, прежде чем доктор Келли начал проводить исследования в телекоммуникационной лаборатории Джонса Хопкинса. Подобное раннее использование этой техники для моделирования системы понимания естественного языка, разрабатываемой в исследовательском центре Xerox в Пало-Альто, было сделано Алленом Манро и Доном Норманом примерно в 1975 году в Калифорнийском университете в Сан-Диего. Опять же, название «Волшебник страны Оз» еще не применялось к этой технике. Результаты были опубликованы в 1977 году в статье группы (Боброу и др.).

В этом занятии экспериментатор («Волшебник») сидел за терминалом в соседней комнате, отделенной односторонним зеркалом, чтобы можно было наблюдать за объектом. Каждый ввод от пользователя обрабатывался правильно за счет комбинации обработки программного обеспечения и вмешательства экспериментатора в реальном времени. По мере того, как процесс повторялся в последующих сеансах, добавлялось все больше и больше программных компонентов, так что экспериментатору оставалось все меньше и меньше дел во время каждого сеанса, пока не была достигнута асимптота при росте словаря фраз / слов, и экспериментатор мог «пойти выпить чашку кофе». »Во время сеанса (который на данном этапе был перекрестной проверкой автономной работы окончательной системы).

И последнее: воспоминания доктора Келли о чеканке этого термина подкреплены воспоминаниями покойного профессора Аль Чапаниса. В 1985 году в Мичиганском университете технический отчет, Грин и Вей-Хаас утверждают следующее: Впервые имя «Волшебник страны Оз» в печати было в диссертации Джеффа Келли (Kelley, 1983a, 1983b, 1984a). Считается, что это название было придумано в ответ на вопрос на семинаре для выпускников в Хопкинсе (Chapanis, 1984; Kelley, 1984b). «Что произойдет, если испытуемый увидит экспериментатора [за« занавеской »в соседней комнате, действующей как компьютер]?» Келли ответил: «Ну, это похоже на то, что случилось с Дороти в« Волшебнике страны Оз ». Так и название прижилось. (Цитируется с разрешения.)

Также вскользь упоминается о запланированном использовании экспериментов «Волшебник из страны Оз» в Документ 1982 года Форда и Смита.

Один факт, представленный в диссертации Келли, об этимологии термина в этом контексте: у доктора Келли изначально было определение аббревиатуры «OZ» (помимо очевидных параллелей с книгой 1900 г. Чудесный волшебник из страны Оз к L Фрэнк Баум ). «Offline Zero» - это ссылка на тот факт, что экспериментатор («Мастер») интерпретировал вводимые пользователем данные в реальном времени во время фазы моделирования.

Подобные экспериментальные установки иногда использовались ранее, но без названия «Волшебник страны Оз». Исследователь дизайна Найджел Кросс проводил исследования в 1960-х годах с «смоделированными» системы автоматизированного проектирования системы, в которых предполагаемый симулятор на самом деле был человеком-оператором, использующим текстовую и графическую связь через Кабельное телевидение. Как он пояснил: «Все, что пользователь воспринимает в системе, - это консоль удаленного доступа, а остальное - черный ящик для него ... можно с таким же успехом заполнить черный ящик людьми, как и механизмами. Это обеспечивает сравнительно дешевый симулятор, обладающий замечательными преимуществами гибкости, памяти и интеллекта человека-оператора, который можно перепрограммировать для предоставления широкого спектра компьютерных ролей, просто изменив правила работы. Иногда ему не хватает скорости и точности реального компьютера. , но группа экспертов, работающих одновременно, может компенсировать в достаточной степени, чтобы обеспечить приемлемое моделирование ".[2] Позже Кросс называл это своего рода Обратный тест Тьюринга.[3]

Значимость

Метод Wizard of OZ очень мощный. В своем первоначальном приложении доктор Келли смог создать простую систему распознавания естественного языка с вводом с клавиатуры, которая намного превосходила скорость распознавания любой из гораздо более сложных систем того времени.

Многие компьютерные ученые и лингвисты в то время считали, что для того, чтобы компьютер мог «понимать» естественный язык в достаточной степени, чтобы иметь возможность помогать в полезных задачах, программное обеспечение должно быть прикреплено к огромному компьютеру. словарь »с большим количеством категорий для каждого слова. Категории позволили бы очень сложному алгоритму синтаксического анализа распутать двусмысленность, присущую естественному языку. Обескураживающая задача создания такого словаря заставила многих поверить в то, что компьютеры просто никогда по-настоящему не «поймут» язык, пока они не смогут «вырасти» и «пережить жизнь» как люди, поскольку люди, кажется, применяют жизненный опыт для интерпретации языка.

Ключевым фактором для первого использования метода OZ было то, что система была разработана для работы в одном контексте (ведение календаря), что ограничивало сложность языка, с которой сталкивались пользователи, до такой степени, что простая модель языковой обработки была достаточной. для достижения целей приложения. Модель обработки представляла собой двухпроходный подход к сопоставлению ключевого слова и ключевой фразы, в значительной степени основанный на алгоритмах, используемых в знаменитой работе Вайценбаума. Элиза программа. Побуждая участников генерировать языковые образцы в контексте решения реальной задачи (используя компьютер, который, как они считали, действительно понимал, что они набирали), разнообразие и сложность собранных лексических структур были значительно уменьшены, и можно было разработать простые алгоритмы сопоставления ключевых слов. для обращения к фактически собранному языку.

Это первое использование OZ было в контексте итеративный дизайн подход. На ранних этапах разработки экспериментатор моделировал систему в целом, выполняя все запросы к базе данных и вручную составляя все ответы участникам. По мере развития процесса экспериментатор смог заменить человек вмешательство, по частям, с вновь созданным разработанным кодом (который на каждом этапе был разработан для точной обработки всех входных данных, которые были созданы на предыдущих этапах). К концу процесса экспериментатор был в состоянии наблюдать сеансы в режиме «невмешательства» (и измерять скорость распознавания выполненной программы).

OZ был важен, потому что он обращался к очевидной критике:

Кто может позволить себе использовать итеративный метод для создания отдельной системы естественного языка (словарей, синтаксиса) для каждого нового контекста? Разве вы не будете постоянно добавлять новые структуры и алгоритмы для обработки каждого нового пакета входных данных?

Ответ оказался:

Используя эмпирический подход, такой как OZ, каждый может себе это позволить; Расширение словаря и синтаксиса доктора Келли достигло асимптоты (уровень распознавания от 86% до 97%, в зависимости от используемых измерений) всего после 16 экспериментальных испытаний, и полученная программа со словарями содержала менее 300 КБ кода.

За 23 года, прошедшие после первой публикации, метод OZ использовался в самых разных условиях, в частности, при создании прототипов и тестировании удобства использования предлагаемых дизайнов пользовательского интерфейса до того, как будет установлено реальное прикладное программное обеспечение.

Вымышленные ссылки

Название эксперимента происходит от Чудесный волшебник из страны Оз история, в которой обычный человек прячется за занавеской и притворяется, используя «усиливающие» технологии, как могущественный волшебник.

В Дэвид Лодж роман Маленький мир, преподаватель университета английская литература знакомится с компьютерной программой ELIZA, которая, по его мнению, способна вести с ним связную беседу. Выясняется, что компьютерный лектор управляет компьютером и дает все ответы. Оригинал ELIZA программа, предоставляющая простые, но часто удивительно похожие на человеческие ответы на вопросы, была написана на Массачусетский технологический институт к Йозеф Вайценбаум в 1960-е гг.

Смотрите также

Рекомендации

  1. ^ Белла, М. и Ханингтон, Б., 2012. Универсальные методы дизайна, Беверли, Массачусетс: Rockport Publishers. p204
  2. ^ Найджел Кросс (1977). Автоматизированный архитектор. Пион Лимитед. п. 107. ISBN  0850860571.
  3. ^ Кросс, N (2001) «Может ли машина спроектировать?», Проблемы дизайна, Vol. 17, No 41, с. 44-50.

Вот некоторые из оригинальных (и последующих) ссылок на эту тему (метод использовался во многих областях исследований, и существует множество последующих ссылок, только некоторые из которых перечислены здесь).

Краткое изложение технических аспектов работы:

Келли, Дж. Ф., «CAL - программа на естественном языке, разработанная с использованием парадигмы OZ: последствия для суперкомпьютерных систем». Первая международная конференция по суперкомпьютерным системам (Санкт-Петербург, Флорида, 16–20 декабря 1985 г.), Нью-Йорк, ACM, стр. 238–248.

Краткое описание метода:

Келли, Дж. Ф., «Эмпирическая методология написания удобных для пользователя компьютерных приложений на естественном языке». Труды ACM SIG-CHI ’83 «Человеческий фактор в вычислительных системах» (Бостон, 12–15 декабря 1983 г.), Нью-Йорк, ACM, стр. 193–196. [1]

Лучшее описание метода:

Келли, Дж. Ф., «Методология итеративного проектирования для удобных в использовании офисных информационных приложений на естественном языке». ACM Transactions on Office Information Systems, март 1984 г., 2: 1, стр. 26–41. [2]

Сама неопубликованная диссертация:

Келли, Дж. Ф., «Естественный язык и компьютеры: шесть эмпирических шагов для написания простого в использовании компьютерного приложения». Неопубликованная докторская диссертация, Университет Джона Хопкинса, 1983 г. (Номер 8321592 можно получить в University Microfilms International; 300 North Zeeb Road; Ann Arbor; Michigan; 48106; США).

В Калифорнийском университете в Сан-Диего работают:

Бобров, Д., Каплан, Р., Кей, М., Норман, Д., Томпсон, Х., и Виноград, Т. (1977). GUS, диалоговая система, управляемая фреймами. Искусственный интеллект, 8: 2 (апрель 1977 г.) 155-173., 8(2), 155–173.

Последующие ссылки и реализации (выборка цитирований за 30 лет):

Шибен, А., и другие. 2009, «Театрально-системная техника: гибкое проектирование и тестирование поведения и взаимодействия системы применительно к высокоавтоматизированным автомобилям». В материалах 1-й Международной конференции по автомобильным пользовательским интерфейсам и интерактивным автомобильным приложениям (Эссен, Германия, 2009 г.). ACM Press, Нью-Йорк, США.[3]

Акерс, Д. 2006. Волшебник из страны Оз для совместного проектирования: изобретение жестового интерфейса для трехмерного выбора оценок нейронных путей. В расширенных рефератах по человеческому фактору в вычислительных системах CHI ’06 (Монреаль, Квебек, Канада, 22–27 апреля 2006 г.). CHI ’06. ACM Press, Нью-Йорк, США, 454-459. [4]

Höysniemi, J., Hämäläinen, P., and Turkki, L. 2004. Wizard of Oz, прототипирование компьютерных игр для детей. В материалах конференции 2004 г. «Дизайн взаимодействия и дети: построение сообщества» (Мэриленд, 1–03 июня 2004 г.). IDC ’04. ACM Press, Нью-Йорк, США, 27-34.[5]

Молин, Л. 2004. Волшебник из страны Оз, прототипирование для совместного проектирования взаимодействия графических пользовательских интерфейсов. В материалах третьей северной конференции по взаимодействию человека и компьютера (Тампере, Финляндия, 23–27 октября 2004 г.). НордиЧИ '04, т. 82. ACM Press, Нью-Йорк, США, 425-428. [6]

Лай, Дж. И Янкелович, Н. 2003. Разговорные речевые интерфейсы. В Руководстве по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения, J. A. Jacko and A. Sears, Eds.[требуется разъяснение ] Человеческий фактор и эргономика. Лоуренс Эрлбаум Ассошиэйтс, Махва, Нью-Джерси, США, 698-713.

Глейхер, М. Л., Хек, Р. М., и Уоллик, М. Н. 2002. Основа для виртуальной видеографии. В материалах 2-го международного симпозиума по интеллектуальной графике (Хоторн, Нью-Йорк, 11–13 июня 2002 г.). СМАРТГРАФ '02, т. 24. ACM Press, Нью-Йорк, США, 9–16. [7]

Клеммер, С. Р., Синха, А. К., Чен, Дж., Лэнди, Дж. А., Абубейкер, Н., и Ван, А. 2000. Замша: инструмент для создания прототипов речевых пользовательских интерфейсов Wizard of Oz. В материалах 13-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса (Сан-Диего, Калифорния, США, 6–08 ноября 2000 г.). UIST ’00. ACM Press, Нью-Йорк, США, 1-10. [8]

Хьюетт, Томас Т. (и др.), «Учебные планы для взаимодействия человека и компьютера», ACM SIGCHI, 1992, 1996, Глава 2.[9]

Пьерно, П. П., Фелчиано, Р. М., Стансел, Р., Марш, Дж., И Ивон, М., 1995. Проектирование PenPal: сочетание аппаратного и программного обеспечения в пользовательском интерфейсе для детей. В материалах конференции SIGCHI по человеческому фактору в вычислительных системах (Денвер, Колорадо, США, 7–11 мая 1995 г.). И. Р. Кац, Р. Мак, Л. Маркс, М. Б. Россон и Дж. Нильсен, Eds.[требуется разъяснение ] Конференция по человеческому фактору в вычислительных системах. ACM Press / Addison-Wesley Publishing Co., Нью-Йорк, США, 511–518. [10]

Прагер, Дж. М., Ламберти, Д. М., Гарднер, Д. Л., и Бальзак, С. Р. 1990. ПРИЧИНА: интеллектуальный помощник пользователя для интерактивных сред. IBM Syst. J. 29, 1 (январь 1990 г.), 141–164.

Дальбек, Н. и Йонссон, А. 1989. Эмпирические исследования представлений дискурса для интерфейсов естественного языка. В материалах Четвертой конференции Европейского отделения Ассоциации компьютерной лингвистики (Манчестер, Англия, 10–12 апреля 1989 г.). Встреча европейского отделения ACL. Ассоциация компьютерной лингвистики, Морристаун, Нью-Джерси, США, 291–298. [11]

Кэрролл, Дж., И Ааронсон, А. 1988. Обучение на практике с имитацией интеллектуальной помощи. Commun. ACM 31, 9 (август 1988 г.), 1064–1079. [12]

Гулд, Дж. Д. и Льюис, C. 1985. Дизайн для удобства использования: ключевые принципы и то, что думают дизайнеры. Commun. ACM 28, 3 (март 1985 г.), 300–311. [13]

Грин, П. и Вей-Хаас, Л. 1985. Быстрое развитие пользовательских интерфейсов: опыт работы с мастером метода OZ. In Proceedings of the Human Factors and Ergonomics Annual Meeting, volume 29, number 5, 1985, pp. 470 - 474 (5). [14]

Эмбли, Д. У., и Кимбрелл, Р. Э. 1985. Управляемый схемой переводчик запросов на естественный язык. В материалах тринадцатой ежегодной конференции ACM по информатике 1985 г. (Новый Орлеан, Луизиана, США). CSC ’85. ACM Press, Нью-Йорк, США, 292–297. [15]

Гуд М. Д., Уайтсайд Дж. А., Виксон Д. Р. и Джонс С. Дж. 1984. Создание пользовательского интерфейса. Commun. ACM 27, 10 (октябрь 1984 г.), 1032–1043. [16]

Несколько десятков ссылок здесь.