Звуковой дизайн взаимодействия - Sonic interaction design - Wikipedia

Звуковой дизайн взаимодействия это изучение и использование звук как один из основных каналов передачи Информация, значение и эстетические / эмоциональные качества в интерактивных контекстах.[1][2] Дизайн звукового взаимодействия находится на пересечении интерактивный дизайн и звуковые и музыкальные вычисления. Если интерактивный дизайн - это проектирование объектов, с которыми люди взаимодействуют, и такие взаимодействия облегчаются с помощью вычислительных средств. В звуковом дизайне взаимодействия звук опосредует взаимодействие либо как отображение процессов, либо как средство ввода.

Области исследований

Перцептивное, когнитивное и эмоциональное изучение звуковых взаимодействий

Исследование в этой области фокусируется на экспериментальных научных открытиях о восприятии звука человеком в интерактивный контексты.[3]

Во время взаимодействия с обратной связью пользователи управляют интерфейсом, который производит звук, а звуковая обратная связь, в свою очередь, влияет на манипуляции пользователей. Другими словами, существует тесная связь между слуховыми восприятие и действие.[4] Прослушивание звуков может не только активировать представление о том, как был издан звук: оно также может подготовить слушателя к реакции на звук. Познавательный представления Звуки могут быть связаны со схемами планирования действий, а звуки также могут бессознательно вызывать дальнейшую реакцию со стороны слушателя.[5]

Звуковые взаимодействия могут повлиять на пользователей эмоции: качество звуков влияет на приятность взаимодействия, а сложность манипуляции влияет на то, чувствует ли пользователь контроль или нет.[6]

Звуковой дизайн продукта

Дизайн продукта в контексте дизайна звукового взаимодействия имеет дело с методами и опытом для разработки интерактивных продуктов, имеющих заметное звуковое поведение. Продукты в этом контексте - это материальные и функциональные объекты, которые предназначены для манипулирования,[7][8] или пригодные для использования модели таких объектов, как в виртуальное прототипирование. Исследования и разработки в этой области основаны на исследованиях других дисциплин, таких как:

В дизайн исследования для звуковых продуктов набор методов был унаследован из самых разных областей. Такая практика была проверена в контексте естественного смешения исследований и педагогики. Среди этих практик достаточно упомянуть:

  • бодибилдинг, особенно в сочетании с вокальными зарисовками,[12] где участники воспроизводят вокальные имитации, чтобы имитировать звуковое поведение объектов во время взаимодействия с ними;
  • театральные практики, такие как театральные метафоры и драматические представления;[13]
  • основной дизайн,[14] на основе демонстраций и интерсубъективность;
  • прототипирование видео[15] со звуковыми накладками;
  • Фоли артистизм в кинопроизводство;[16]
  • игра актеров звуковые драмы.[17]

Интерактивное искусство и музыка

В контексте дизайна звукового взаимодействия интерактивные художественные и музыкальные проекты разрабатывают и исследуют эстетические впечатления, в которых звуковое взаимодействие находится в центре внимания. Творческий и выразительный аспекты - эстетика - важнее передачи информации через звук. Практики включают инсталляции, перформансы, паблик-арт и взаимодействие между людьми через объекты / среды с цифровым дополнением. Они часто объединяют такие элементы, как встроенные технологии, устройства, чувствительные к жестам, динамики или контекстно-зависимые системы.

В центре внимания - опыт, направленный на то, как звук влияет на людей, и наоборот. Интерактивное искусство и музыка позволяют исследователям подвергать сомнению существующие парадигмы и модели того, как люди взаимодействуют с технологиями и звуком, выходя за рамки парадигм контроля (человек управляет машиной). Пользователи являются частью цикла, который включает действие и восприятие.

Интерактивные художественные и музыкальные проекты предполагают исследовательские действия и игровое взаимодействие. Существует также мультисенсорный аспект, особенно тактильный звук.[18] популярны аудиовизуальные проекты. Помимо многих других влияний, эта область связана с развитием ролей производителя инструментов, композитора и исполнителя.[19]

Художественные исследования в дизайне звукового взаимодействия связаны с производством в интерактивное искусство и исполнительское искусство, используя роль активный взаимодействие со звуковыми интерактивными объектами.[20]

Сонификация

Сонификация - это зависящая от данных генерация звука, если преобразование является систематическим, объективным и воспроизводимым, чтобы его можно было использовать в качестве научного метода.[21]

Для звукового дизайна взаимодействия ультразвуковая обработка предоставляет набор методов для создания звуков взаимодействия, которые кодируют соответствующие данные, чтобы пользователь мог воспринимать или интерпретировать передаваемую информацию. Сонификация не обязательно должна представлять огромные объемы данных в звуке, но может передавать только одно или несколько значений данных в звуке. В качестве примера представьте себе выключатель света, который при активации будет издавать короткий звук, зависящий от электроэнергии, потребляемой через кабель: большее количество энергозатратных ламп, возможно, систематически будет приводить к более раздражающим звукам выключателя. Этот пример показывает, что ультразвуковая обработка направлена ​​на предоставление некоторой информации с помощью ее систематического преобразования в звук.

Интеграция управляемых данными элементов в звуковое сопровождение взаимодействия может служить различным целям:

  • чтобы пользователи могли уточнить свои действия с помощью слуховой обратной связи. Пример: сверлильный станок с ультразвуковой обработкой[22] который сигнализирует звуком о достижении желаемой ориентации на стену.
  • влиять на то, как люди воспринимают движения собственного тела.[23]
  • создать звуковой гештальт для взаимодействия, которое позволяет пользователям сравнивать подробные характеристики при повторяющихся взаимодействиях: например, гребки при гребле могут быть обработаны ультразвуком, чтобы спортсмены могли лучше синхронизировать свои действия.
  • для включения новых функций, которые в противном случае были бы недоступны (например, бутылка, которая показывает звуком, сколько жидкости налито в стаканы, чтобы пользователям было легче налить равное количество жидкости в разные стаканы).

В области ультразвуковой обработки дизайн звукового взаимодействия признает важность человеческого взаимодействие для понимания и использования слухового Обратная связь.[24] В звуковом интерактивном дизайне ультразвуковая обработка может помочь и предложить решения, методы и приемы, которые вдохновят и направят дизайн продуктов или интерактивных систем.

Смотрите также

Рекомендации

  1. ^ Давиде Роккессо, Стефания Серафин, Фрауке Берендт, Никола Бернардини, Роберто Брезин, Герхард Экель, Кармен Франинович, Томас Херманн, Сандра Паулетто, Патрик Сусини и Йон Визелл (2008). Дизайн звукового взаимодействия: звук, информация и опыт. В: CHI '08 Extended Abstracts on Human Factors in Computing System (Флоренция, Италия, 5–10 апреля 2008 г.). CHI '08. ACM, Нью-Йорк, штат Нью-Йорк, 3969–3972. Дои:10.1145/1358628.1358969
  2. ^ Давиде Роккессо и Стефания Серафин, (2009). «Дизайн звукового взаимодействия». Редакция спецвыпуска. Международный журнал человеко-компьютерных исследований 67 (11) (ноябрь 2009 г.): 905–906. Дои:10.1016 / j.ijhcs.2009.09.009
  3. ^ Гийом Леметр, Оливье Уикс, Йон Визель, Кармен Франинович, Николас Мисдариис и Патрик Сусини, (2009). «К разработке и оценке непрерывного звука в материальных интерфейсах: Спинотрон». Международный журнал человеко-компьютерных исследований 67 (11) (ноябрь 2009 г.): 976–993. Дои:10.1016 / j.ijhcs.2009.07.002
  4. ^ Сальваторе М. Аглиоти и Мариэлла Паццалья (2010). «Представление действий через их звук». «Экспериментальное исследование мозга» 206 (2): 141–151. Дои:10.1007 / s00221-010-2344-х
  5. ^ Марсия Де Люсия, Кристиан Камен, Стефани Кларк и Мика М. Мюррей (2009). «Роль действий в распознавании слухового объекта». «Нейроизображение» 48 (2): 475–485. Дои:10.1016 / j.neuroimage.2009.06.041
  6. ^ Гийом Леметр, Оливье Уикс, Кармен Франинович, Йон Визель и Патрик Сусини (2009). «Стекло Flops: устройство для изучения эмоциональных реакций, возникающих при звуковом взаимодействии». В Proc. Конференция по звуковому и музыкальному компьютингу, Порту, Португалия. Имеется в наличии: [1]
  7. ^ Дэниел Хуг (2008). Джин в бутылке: объектно-звуковые реконфигурации для интерактивных товаров. В: Труды Audiomostly 2008, 3-я конференция по взаимодействию со звуком (2008). Имеется в наличии: онлайн
  8. ^ Кармен Франинович, Даниэль Хуг и Йон Визелл (июнь 2007 г.). Воплощение звука: исследования дизайна звукового взаимодействия для повседневных предметов в условиях семинара. В: Материалы 13-й Международной конференции по слуховым дисплеям, Монреаль, Канада, 26–29 июня 2007 г., стр. 334–341. Имеется в наличии: онлайн
  9. ^ Ричард Х. Лайон, (2003). «Качество звука продукта - от восприятия до дизайна». Звук и вибрация 37 (3): 18–22. Имеется в наличии: онлайн
  10. ^ Видеть moviesound.org: Учебное пространство, посвященное искусству звукового дизайна фильмов
  11. ^ Видеть О gamesound.org
  12. ^ Ингер Экман и Михал Ринотт, (2010). Использование вокальных зарисовок для проектирования звуковых взаимодействий, Орхус, Дания: Архив «Проектирование интерактивных систем», Труды 8-й конференции ACM по проектированию интерактивных систем, ISBN  978-1-4503-0103-9. Имеется в наличии: онлайн.
  13. ^ Сандра Паулетто, Дэниел Хаг, Стивен Баррасс и Мэри Лакхерст (2009). Интеграция театральных стратегий в дизайн звукового взаимодействия. В: Proceedings of Audio Mostly 2009 - 4th Conference on Interaction with Sound (2009), Glasgow, 6 p. Имеется в наличии: PDF В архиве 2011-08-27 на Wayback Machine и онлайн
  14. ^ Давиде Роккессо, Пьетро Полотти и Стефано делле Монаше (28 декабря 2009 г.). «Разработка непрерывного звукового взаимодействия». Международный журнал дизайна 3 (3). Имеется в наличии: онлайн и PDF
  15. ^ Венди Э. Маккей и Энн Лор Файярд (1999). Видео-мозговой штурм и прототипирование: методы совместного проектирования, Питтсбург, Пенсильвания: Конференция по человеческому фактору в вычислительных системах, CHI '99, расширенные тезисы по человеческому фактору в вычислительных системах, ISBN  1-58113-158-5. Имеется в наличии: онлайн
  16. ^ Мишель Шион, (1994). Audio-Vision: звук на экране. Нью-Йорк: Издательство Колумбийского университета, ISBN  0-231-07898-6, ISBN  0-231-07899-4. Обзор книги на f ilmsound.org
  17. ^ Дэниел Хуг, (2010). «Исследование повествовательных и перформативных стратегий звукового дизайна для интерактивных товаров». Конспект лекций по информатике, Том 5954/2010: 12-40, Дои:10.1007/978-3-642-12439-6_2. Имеется в наличии: онлайн В архиве 2012-12-17 в Archive.today.
  18. ^ Пятый международный семинар по дизайну тактильного и звукового взаимодействия (HAID) 16–17 сентября 2010 г. в Копенгагене, Дания. http://media.aau.dk/haid10/?page_id=46
  19. ^ Международная конференция по новым интерфейсам для музыкального выражения http://www.nime.org/
  20. ^ Джон Томпсон, Иоанн Кучера-Морин, Маркос Новак, Дэн Оверхолт, Лэнс Патнэм, Грэм Уэйкфилд и Уэсли Смит (2009). «Аллобрейн: интерактивный, стереографический, трехмерный звук, иммерсивный виртуальный мир». Международный журнал человеко-компьютерных исследований 67 (11) (ноябрь 2009 г.): 934–946. Дои:10.1016 / j.ijhcs.2009.05.005
  21. ^ Сонификация - определение http://sonification.de/son/definition
  22. ^ Тобиас Гроссхаузер и Томас Херманн, (2010). "Мультимодальное замкнутое взаимодействие человека и машины" Тр. Мастерская интерактивной сонификации, Стокгольм, http://interactive-sonification.org/ISon2010/proceedings
  23. ^ Эффенберг, Альфред О. (2005). «Ультразвук движения: влияние на восприятие и действие». Мультимедиа IEEE. 12 (2): 53–59. Дои:10.1109 / MMUL.2005.31. S2CID  5211383.
  24. ^ Томас Германн и Энди Хант (2005). "Введение приглашенных редакторов: Введение в интерактивную сонификацию". IEEE MultiMedia 12(2): 20-24. Дои:10.1109 / MMUL.2005.26

дальнейшее чтение

  • Franinović, K., and Serafin, S., Eds. Звуковой дизайн взаимодействия. MIT Press, Кембридж, Массачусетс, 2013.
  • Стефано Делле Монаше, Пьетро Полотти, Давиде Роккессо (2010). Набор инструментов для исследований в дизайне звукового взаимодействия. В: Труды 5-й конференции Audio Mostly: Конференция по взаимодействию со звуком, 2010, Нью-Йорк (AM '10), ISBN  978-1-4503-0046-9, Дои:10.1145/1859799.1859800, цитата
  • Эоин Бразилия и Микаэль Фернстрем, (2009). Эмпирический дизайн слухового дисплея. В: Материалы 6-й конференции по звуку и музыкальным вычислениям SMC 2009, 23–25 июля 2009 г., Порту, Португалия. Имеется в наличии: онлайн.
  • Кармен Франинович, Йон Визелл, Даниэль Хуг, (2007). Воплощение звука: отчет о дизайне звукового взаимодействия в повседневных артефактах. В: Материалы 13-й Международной конференции по слуховым дисплеям, Монреаль, Канада, 26–29 июня 2007 г. Доступно: онлайн.
  • Эрнест А. Эдмондс, Аластер Уикли, Линда Кэнди, Марк Фелл, Роджер Нотт и Сандра Паулетто, (2005). «Студия как лаборатория: сочетание творческой практики и исследований цифровых технологий». Международный журнал человеко-машинных исследований 63 (4–5): 452–481. Имеется в наличии: онлайн.
  • Эрнест Эдмондс, Эндрю Мартин и Сандра Паулетто (2004). Аудиовизуальные интерфейсы в цифровом искусстве. В: Материалы международной конференции ACM SIGCHI 2004 г. по достижениям в компьютерных развлекательных технологиях (ACE '04), Сингапур, 3–5 июня 2004 г., стр. 331–336, Дои:10.1145/1067343.1067392. Имеется в наличии: онлайн.
  • Томас Херманн и Энди Хант, (2004). Важность взаимодействия в сонификации. В: Материалы десятого заседания ICAD Международной конференции по слуховым дисплеям, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн.
  • Никлас Ребер и Майк Масух, (2004). Взаимодействие со звуком: парадигма взаимодействия для виртуальных звуковых миров. В: Материалы десятого заседания ICAD Международной конференции по слуховым дисплеям, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн.

внешняя ссылка