Эффект МакГерка - McGurk effect

В Эффект МакГерка это перцептивный явление, демонстрирующее взаимодействие между слушание и зрение в восприятие речи. Иллюзия возникает, когда слуховой компонент одного звука сочетается с визуальным компонентом другого звука, что приводит к восприятию третьего звука.[1] Визуальная информация, которую человек получает, видя, как человек говорит, изменяет то, как он слышит звук.[2][3] Если человек получает слуховую информацию плохого качества, но визуальную информацию хорошего качества, у него может быть больше шансов испытать эффект Мак-Герка.[4] Возможности интеграции аудио и визуальной информации также могут повлиять на то, испытает ли человек эффект. Люди, у которых лучше получается сенсорная интеграция было показано, что они более восприимчивы к этому эффекту.[2] На многих людей эффект Мак-Герка по-разному влияет в зависимости от многих факторов, включая повреждение головного мозга и другие заболевания.

Фон

Впервые он был описан в 1976 г. в статье Гарри МакГерк и Джон Макдональд под названием «Слышать губы и видеть голоса» в Природа (23 декабря 1976 г.).[5] Этот эффект был обнаружен случайно, когда МакГурк и его научный сотрудник Макдональд попросили специалиста дублировать видео с другим фонема от того, о чем говорят при проведении исследования того, как младенцы воспринимают язык на разных этапах развития. При воспроизведении видео оба исследователя услышали третью фонему, а не ту, что произносится или произносится ртом на видео.[6]

Этот эффект может возникнуть, когда видео одного фонема постановка дублируется звукозаписью произносимой другой фонемы. Часто воспринимаемая фонема - это третья, промежуточная фонема. Например, слоги / ba-ba / произносятся поверх движений губ / ga-ga /, а восприятие - это / da-da /. МакГурк и Макдональд изначально полагали, что это результат обычного фонетический и визуальные свойства / b / и / g /.[7] Наблюдались два типа иллюзий в ответ на неконгруэнтные аудиовизуальные стимулы: слияния («ба» слуховые и «га» визуальные производят «да») и комбинации («га» слуховые и «ба» визуальные производят «бга»).[8] Это попытка мозга предоставить сознанию наилучшее предположение о поступающей информации.[9] Информация, исходящая от глаз и ушей, противоречива, и в этом случае глаза (визуальная информация) оказали большее влияние на мозг, и, таким образом, были созданы реакции слияния и сочетания.[9]

Видение - это главное чувство для человека,[2] но восприятие речи мультимодальный, что означает, что он включает информацию из более чем одной сенсорной модальности, в частности, прослушивание и зрение. Эффект Мак-Герка возникает во время фонетической обработки, потому что интеграция звуковой и визуальной информации происходит на ранней стадии восприятия речи.[7] Эффект Мак-Гурка очень устойчив; то есть знание о нем, кажется, мало влияет на его восприятие. Это отличается от некоторых оптические иллюзии, которые ломаются, когда их «видят насквозь». Некоторые люди, включая тех, кто изучает это явление более двадцати лет, испытывают эффект, даже если знают, что он имеет место.[8][10] За исключением людей, которые могут идентифицировать большую часть того, что говорится, из чтение речи Само по себе большинство людей весьма ограничены в своей способности отличать речь от визуальных сигналов.[2] Более распространенным явлением является способность визуальной речи повышать разборчивость слышимой речи в шумной среде.[2] Видимая речь может также изменить восприятие совершенно слышимых речевых звуков, когда визуальные речевые стимулы не соответствуют слуховой речи.[2] Обычно восприятие речи считается слуховым процессом;[2] тем не менее, мы используем информацию немедленно, автоматически и в значительной степени бессознательно.[10] и поэтому, несмотря на то, что широко считается правдой, речь - это не только то, что мы слышим.[10] Речь воспринимается всеми органами чувств, работающими вместе (зрение, прикосновение и слушание движений лица).[10] Мозг часто не осознает отдельные сенсорные составляющие того, что он воспринимает.[10] Следовательно, когда дело доходит до распознавания речи, мозг не может различить, видит он или слышит поступающую информацию.[10]

Он также был исследован в отношении показаний свидетелей. Исследование Уэрхэма и Райта 2005 года показало, что несогласованная визуальная информация может изменить восприятие устных высказываний, предполагая, что эффект Мак-Гурка может иметь множество влияний на повседневное восприятие. Эффект может проявляться не только по слогам, но и по целым словам[7][11] и влияют на повседневные взаимодействия, о которых люди не подозревают. Исследования в этой области могут предоставить информацию не только по теоретическим вопросам, но также могут иметь терапевтическое и диагностическое значение для людей с расстройствами, связанными с аудио- и визуальной интеграцией речевых сигналов.[12]

Внутренние факторы

Повреждать

Обе полушария головного мозга вносят вклад в эффект Мак-Гурка.[13] Они работают вместе, чтобы интегрировать речевую информацию, полученную через слуховые и зрительные органы чувств. Реакция Мак-Герка чаще возникает у правшей, для которых лицо имеет привилегированный доступ к правому полушарию, а слова - к левому.[13] У людей, которые имели каллозотомии Сделано, эффект Мак-Герка все еще присутствует, но значительно медленнее.[13] У людей с поражения Для левого полушария головного мозга визуальные особенности часто играют решающую роль в речевой и языковой терапии.[12] Люди с поражениями в левом полушарии мозга демонстрируют больший эффект Мак-Гурка, чем у нормальной контрольной группы.[12] Визуальная информация сильно влияет на восприятие речи у этих людей.[12] Отсутствует восприимчивость к иллюзии Мак-Герка, если повреждение левого полушария привело к дефициту зрительного сегментарного восприятия речи.[14] У людей с повреждением правого полушария проявляются нарушения как визуальной, так и аудиовизуальной интеграции задач, хотя они все еще могут интегрировать информацию для создания эффекта Мак-Гурка.[14] Интеграция появляется только в том случае, если визуальные стимулы используются для улучшения работы, когда слуховой сигнал слабый, но слышимый.[14] Следовательно, эффект Мак-Герка проявляется у людей с повреждением правого полушария головного мозга, но он не такой сильный, как у нормальной группы.

Расстройства

Дислексия

Дислексик люди демонстрируют меньший эффект Мак-Герка, чем обычные читатели того же хронологический возраста, но они показали тот же эффект, что и читатели, соответствующие возрасту.[15] Дислектики особенно отличались комбинированными ответами, а не реакциями слияния.[15] Меньший эффект Мак-Герка может быть связан с трудностями дислексиков в восприятии и производстве Согласные кластеры.[15]

Специфические языковые нарушения

Дети с специфические языковые нарушения демонстрируют значительно более низкий эффект Мак-Гурка, чем средний ребенок.[16] Они используют меньше визуальной информации при восприятии речи или уделяют меньше внимания артикуляционные жесты, но у него нет проблем с восприятием только слуховых сигналов.[16]

Расстройства аутистического спектра

Дети с расстройства аутистического спектра (РАС) показали значительно меньший эффект Мак-Герка, чем дети без него.[17] Однако, если стимул был нечеловеческим (например, отскок теннисного мяча до звука подпрыгивающего пляжного мяча), то они получали такие же оценки, как и дети без РАС.[17] У детей младшего возраста с РАС эффект Мак-Герка очень снижен; однако с возрастом это уменьшается. По мере взросления людей эффект, который они демонстрируют, становится ближе к тем, у кого не было РАС.[18] Было высказано предположение, что ослабленный эффект Мак-Герка, наблюдаемый у людей с РАС, связан с недостатками в идентификации как слуховых, так и визуальных компонентов речи, а не в интеграции указанных компонентов (хотя различение речевых компонентов как речевых компонентов может быть изоморфным их объединению. ).[19]

Нарушения изучения языка

Взрослые с нарушениями в изучении языка проявляют гораздо меньший эффект Мак-Гурка, чем другие взрослые.[20] Эти люди не так подвержены визуальному влиянию, как большинство людей.[20] Следовательно, люди с плохим знанием языка произведут меньший эффект Мак-Герка. Причина меньшего эффекта в этой популяции заключается в том, что может быть несвязанная активность между передним и задним отделами мозга или левым и правым полушариями.[20] Возможна также мозжечковая этиология или этиология базальных ганглиев.

Болезнь Альцгеймера

У пациентов с Болезнь Альцгеймера (AD) проявляется меньший эффект Мак-Гурка, чем у тех, у кого его нет.[21] Часто уменьшенный размер мозолистое тело производит процесс отключения полусферы.[21] У пациентов с БА наблюдается меньшее влияние на зрительный стимул, что является причиной пониженного эффекта Мак-Гурка.[21]

Шизофрения

Эффект Мак-Герка не так выражен в шизофреник как у людей, не страдающих шизофренией. Однако у взрослых это существенно не отличается.[22] Шизофрения замедляет развитие аудиовизуальной интеграции и не позволяет ей достичь пика своего развития. Однако никакой деградации не наблюдается.[22] Шизофреники более склонны полагаться на слуховые подсказки, чем на визуальные, в восприятии речи.[22]

Афазия

Люди с афазия демонстрируют нарушение восприятия речи во всех условиях (только зрительные, только слуховые и аудиовизуальные) и, следовательно, проявляют небольшой эффект Мак-Гурка.[23] Самая большая трудность для афазиков заключается в том, что они воспринимают только зрение, что показывает, что они используют больше слуховых стимулов для восприятия речи.[23]

Биполярное расстройство

Ограниченные данные, доступные на сегодняшний день, не показывают очевидной разницы между людьми с биполярное расстройство и те, которые не имеют отношения к эффекту МакГерка. Однако предварительные данные показывают, что люди с биполярным расстройством гораздо хуже читают по губам, чем здоровые люди. Это может свидетельствовать о том, что нейронные пути, сформированные и активированные при интеграции слуховой и визуальной речевой информации у людей с биполярным расстройством, отличаются от таковых у людей без каких-либо психических расстройств. [24]

Внешние факторы

Перекрестный дубляж

Несоответствие в категории гласных значительно уменьшило величину эффекта Мак-Гурка для реакций слияния.[25] Звуковые / a / токены, дублированные на визуальные / i / артикуляции, были более совместимы, чем наоборот.[25] Это может быть связано с тем, что / a / имеет широкий спектр артикуляционных конфигураций, тогда как / i / более ограничен,[25] что значительно облегчает испытуемым обнаружение расхождений в стимулах.[25] Контексты / i / гласных производят самый сильный эффект, в то время как / a / дает умеренный эффект, а / u / почти не влияет.[26]

Видимость рта

Эффект МакГерка сильнее, когда видна правая часть рта говорящего (слева зрителя).[27] Люди, как правило, получают больше визуальной информации из правой части рта говорящего, чем из левой или даже всего рта.[27] Это связано с факторами внимания полушарий, которые обсуждались выше в разделе о полушариях мозга.

Зрительные отвлекающие факторы

Эффект МакГерка слабее, когда присутствует визуальный отвлекающий фактор, на который обращает внимание слушатель.[28] Визуальное внимание модулирует аудиовизуальное восприятие речи.[28] Еще одна форма отвлечения внимания - движение говорящего. Более сильный эффект Мак-Герка возникает, если лицо / голова говорящего неподвижны, а не движутся.[29]

Слоговая структура

Сильный эффект Мак-Гурка можно увидеть для слогов щелчков и гласных по сравнению со слабыми эффектами для отдельных щелчков.[30] Это показывает, что эффект Мак-Гурка может происходить в неречевой среде.[30] Фонологический значимость не является необходимым условием возникновения эффекта Мак-Герка; тем не менее, это увеличивает силу эффекта.[30]

Пол

У женщин эффект Мак-Герка сильнее, чем у мужчин. Женщины демонстрируют значительно большее визуальное влияние на слуховую речь, чем мужчины, для кратких визуальных стимулов, но для полных стимулов различий не наблюдается.[29] Другой аспект, касающийся пола, - это проблема мужских лиц и голосов как раздражителей по сравнению с женскими лицами и голосами как раздражителей. Тем не менее, нет никакой разницы в силе эффекта Мак-Герка для любой ситуации.[31] Если мужское лицо дублируется женским голосом, или наоборот, все равно нет разницы в силе эффекта Мак-Герка.[31] Знание того, что голос, который вы слышите, отличается от лица, которое вы видите, даже если человек разного пола, не устраняет эффект МакГерка.[10]

Знакомство

Субъекты, которым знакомы лица говорящих, менее подвержены эффекту Мак-Герка, чем те, кто не знаком с лицами говорящих.[2][26] С другой стороны, не было никакой разницы в знакомстве голоса.[26]

Ожидание

Семантический соответствие оказал значительное влияние на иллюзию Мак-Герка.[32] Эффект ощущается чаще и оценивается как более четкий в семантически конгруэнтном состоянии по сравнению с неконгруэнтным условием.[32] Когда человек ожидал определенного визуального или слухового внешнего вида на основе семантической информации, ведущей к нему, эффект Мак-Герка значительно усиливался.[32]

Самовлияние

Эффект МакГурка можно наблюдать, когда слушатель одновременно является говорящим или артикулятор.[33] Глядя на себя в зеркало и артикулируя визуальные стимулы, одновременно слушая другой слуховой стимул, можно наблюдать сильный эффект Мак-Гурка.[33] В другом состоянии, когда слушатель мягко произносит слуховые стимулы, наблюдая, как другой человек артикулирует противоречивые визуальные жесты, эффект Мак-Гурка все еще можно увидеть, хотя он и слабее.[33]

Временная синхронность

Временный синхронность не обязательно для присутствия эффекта Мак-Герка.[34] На испытуемых по-прежнему сильно влияют слуховые стимулы, даже если они отстают от визуальных стимулов на 180 миллисекунд (точка, в которой эффект Мак-Гурка начинает ослабевать).[34] Было меньше терпимости к отсутствию синхронности, если слуховые стимулы предшествовали визуальным.[34] Чтобы добиться значительного ослабления эффекта Мак-Герка, слуховые стимулы должны были опережать визуальные стимулы на 60 миллисекунд или отставать на 240 миллисекунд.[2]

Отвлечение физических задач

Эффект МакГерка значительно уменьшился, когда внимание было переключено на тактильный задача (трогать что-то).[35] Прикосновение - это сенсорное восприятие, подобное зрению и слуху, поэтому увеличение внимания к прикосновению снижает внимание к слуховым и визуальным ощущениям.

Посмотреть

Глаза не надо фиксировать чтобы интегрировать аудио и визуальную информацию в восприятие речи.[36] Не было разницы в эффекте Мак-Герка, когда слушатель фокусировался где-нибудь на лице говорящего.[36] Эффект не появляется, если слушатель фокусируется за пределами лица говорящего.[2] Чтобы эффект МакГерка стал незначительным, взгляд слушателя должен отклоняться от рта говорящего не менее чем на 60 градусов.[36]

Другие языки

Каким бы ни был язык, все слушатели в определенной степени полагаются на визуальную информацию. восприятие речи. Но интенсивность эффекта Мак-Герка различается в зависимости от языка. Нидерландский язык,[37] Английский, испанский, немецкий, итальянский и турецкий [38] слушатели языка испытывают сильный эффект Мак-Гурка; Слабее японские и китайские слушатели.[39] Большинство исследований эффекта Мак-Герка между языками проводилось между английским и японским. У японских слушателей эффект Мак-Гурка меньше, чем у английских слушателей.[37][40][41][42][43][44] Культурная практика избегание лица у японцев может уменьшить эффект Мак-Гурка, а также тон и слоговые структуры языка.[37] Это может быть также причиной того, что китайские слушатели менее восприимчивы к визуальным подсказкам и, подобно японцам, производят меньший эффект, чем английские слушатели.[37] Исследования также показывают, что у японских слушателей не наблюдается роста визуального влияния после шести лет, как у английских детей.[40][41] Слушатели-японцы лучше понимают несовместимость зрительных и слуховых стимулов, чем слушатели-англичане.[37][41] Эта большая способность могла быть связана с отсутствием у японцев Согласные кластеры.[37][42] Тем не менее, слушатели всех языков прибегают к визуальным стимулам, когда речь неразборчива; тогда эффект Мак-Герка в равной степени применяется к ним.[37][42] Эффект Мак-Герка работает со слушателями всех протестированных языков.[10]

Нарушение слуха

Были проведены эксперименты с участием слабослышащих людей, а также лиц, у которых были кохлеарные имплантаты. Эти люди склонны взвешивать визуальную информацию с речью сильнее, чем со слуховой.[45] По сравнению с людьми с нормальным слухом, это не отличается, если нет более одного слога, например слова.[45] Что касается эксперимента МакГурка, ответы пользователей кохлеарной имплантации давали те же ответы, что и у людей с нормальным слухом, когда слуховой двугубый стимул дублируется на визуальный веляр стимул.[45] Однако когда слуховой стоматологический стимул дублируется на визуальный двугубый стимул, ответы совершенно разные. Эффект Мак-Герка все еще присутствует у людей с нарушением слуха или использующих кохлеарные имплантаты, хотя в некоторых аспектах он сильно отличается.

Младенцы

Измеряя внимание младенца к определенным аудиовизуальный стимулы, может быть записана реакция, соответствующая эффекту Мак-Гурка.[2][10][46][47][48] В возрасте от нескольких минут до пары дней младенцы могут имитировать движения лица взрослых, а в течение нескольких недель после рождения младенцы могут распознавать движения губ и звуки речи.[49] На этом этапе может произойти интеграция аудио и визуальной информации, но не на профессиональном уровне.[49] Первые признаки эффекта Мак-Герка можно увидеть в возрасте четырех месяцев;[46][47] однако больше доказательств обнаружено для 5-месячных детей.[2][10][48][50] В процессе приучать ребенка на определенный стимул, а затем при изменении стимула (или его части, например, ba-voiced / va-visual на da-voiced / va-visual), становится очевидной реакция, имитирующая эффект Мак-Гурка.[10][48] Сила эффекта Мак-Гурка показывает образец развития, который усиливается в детстве и распространяется во взрослой жизни.[47][48]

Смотрите также

Рекомендации

  1. ^ Nath, A.R .; Beauchamp, M.S. (Январь 2012 г.). «Нейронная основа для межиндивидуальных различий в эффекте Мак-Герка, мультисенсорной речевой иллюзии». NeuroImage. 59 (1): 781–787. Дои:10.1016 / j.neuroimage.2011.07.024. ЧВК  3196040. PMID  21787869.
  2. ^ а б c d е ж грамм час я j k л Калверт, Джемма; Спенс, Чарльз; Штейн, Барри Э. (2004). Справочник мультисенсорных процессов. Кембридж, Массачусетс: MIT Press. ISBN  978-0-262-03321-3. OCLC  54677752.
  3. ^ Боерсма, Пол (2011). «Основанное на ограничениях объяснение эффекта Мак-Герка» (PDF). Получено 19 октября 2013.
  4. ^ Massaro, D.W .; Коэн, М. (Август 2000 г.). «Тесты эффективности слухово-визуальной интеграции в рамках нечеткой логической модели восприятия». Журнал Акустического общества Америки. 108 (2): 784–789. Дои:10.1121/1.429611. PMID  10955645.
  5. ^ МакГерк Х., Макдональд Дж. (1976). «Слышать губы и видеть голоса». Природа. 264 (5588): 746–8. Дои:10.1038 / 264746a0. PMID  1012311.
  6. ^ «Эффект Мак-Герка: слышать губы и видеть голоса». Получено 2 октября 2011.
  7. ^ а б c Барутчу, Айла; Crewther; Кили; Мерфи (2008). «Когда / b / заболевает / g / болеет, становится / d / болеет: свидетельство лексического эффекта в аудиовизуальном восприятии речи». Европейский журнал когнитивной психологии. 20 (1): 1–11. Дои:10.1080/09541440601125623.
  8. ^ а б Colin, C .; Radeau, M .; Дельтенр, П. (2011). «Нисходящая и восходящая модуляция аудиовизуальной интеграции в речь» (PDF). Европейский журнал когнитивной психологии. 17 (4): 541–560. Дои:10.1080/09541440440000168.
  9. ^ а б О’Ши, М. (2005). Мозг: очень краткое введение. Oxford University Press
  10. ^ а б c d е ж грамм час я j k Розенблюм, Л. Д. (2010). Посмотри, что я говорю: необычайная сила наших пяти чувств. Нью-Йорк, штат Нью-Йорк: W. W. Norton & Company Inc.
  11. ^ Gentilucci, M .; Каттанео, Л. (2005). «Автоматическая аудиовизуальная интеграция в восприятие речи». Экспериментальное исследование мозга. 167 (1): 66–75. Дои:10.1007 / s00221-005-0008-z. PMID  16034571.
  12. ^ а б c d Schmid, G .; Тильманн, А .; Зиглер, В. (2009). «Влияние зрительной и слуховой информации на восприятие речи и неречевых оральных движений у пациентов с поражением левого полушария». Клиническая лингвистика и фонетика. 23 (3): 208–221. Дои:10.1080/02699200802399913. PMID  19283578.
  13. ^ а б c Baynes, K .; Fummell, M .; Фаулер, К. (1994). «Вклад Hemispheric в интеграцию визуальной и слуховой информации в восприятие речи». Восприятие и психофизика. 55 (6): 633–641. Дои:10.3758 / bf03211678. PMID  8058451.
  14. ^ а б c Николсон, К .; Baum, S .; Cuddy, L .; Мунхолл, К. (2002). «Случай нарушения слухового и зрительного восприятия просодии речи при повреждении правого полушария». Нейроказ. 8 (4): 314–322. Дои:10.1093 / neucas / 8.4.314.
  15. ^ а б c Bastien-Toniazzo, M .; Stroumza, A .; Кавэ, К. (2009). «Аудиовизуальное восприятие и интеграция при дислексии развития: исследовательское исследование с использованием эффекта МакГурка». Текущие письма по психологии. 25 (3): 2–14.
  16. ^ а б Norrix, L .; Plante, E .; Vance, R .; Болек, К. (2007). «Слухово-визуальная интеграция речи детей со специфическими языковыми нарушениями и без них». Журнал исследований речи, языка и слуха. 50 (6): 1639–1651. Дои:10.1044/1092-4388(2007/111). PMID  18055778.
  17. ^ а б Mongillo, E .; Irwin, J .; Whalen, D .; Клайман, К. (2008). «Аудиовизуальная обработка у детей с расстройствами аутистического спектра и без них». Журнал аутизма и нарушений развития. 38 (7): 1349–1358. Дои:10.1007 / s10803-007-0521-y. PMID  18307027.
  18. ^ Taylor, N .; Isaac, C .; Милн, Э. (2010). «Сравнение развития аудиовизуальной интеграции у детей с расстройствами аутистического спектра и у типично развивающихся детей» (PDF). Журнал аутизма и нарушений развития. 40 (11): 1403–1411. Дои:10.1007 / s10803-010-1000-4. PMID  20354776.
  19. ^ Уильямс, Дж. Х. Г .; Massaro, D. W .; Peel, N.J .; Босселер, А .; Suddendorf, T. (2004). «Визуально-слуховая интеграция при имитации речи при аутизме». Исследования в области пороков развития. 25 (6): 559–575. Дои:10.1016 / j.ridd.2004.01.008. PMID  15541632.
  20. ^ а б c Norrix, L .; Plante, E .; Вэнс, Р. (2006). «Интеграция слухово-визуальной речи взрослых людей с нарушениями в изучении языка и без них». Журнал коммуникативных расстройств. 39 (1): 22–36. Дои:10.1016 / j.jcomdis.2005.05.003. PMID  15950983.
  21. ^ а б c Delbeuck, X .; Collette, F .; Ван дер Линден, М. (2007). «Является ли болезнь Альцгеймера синдромом отключения? Данные кроссмодального аудиовизуального иллюзорного эксперимента». Нейропсихология. 45 (14): 3315–3323. Дои:10.1016 / j.neuropsychologia.2007.05.001. PMID  17765932.
  22. ^ а б c Pearl, D .; Йодашкин-Порат, Д .; Nachum, K .; Валевский, А .; Aizenberg, D .; Сиглер, М .; Weizman, A .; Кикинзон, Л. (2009). «Различия в аудиовизуальной интеграции, измеренные феноменом Мак-Гурка, среди взрослых и подростков с шизофренией и здоровых контрольных групп соответствующего возраста». Комплексная психиатрия. 50 (2): 186–192. Дои:10.1016 / j.comppsych.2008.06.004. PMID  19216897.
  23. ^ а б Youse, K .; Cienkowski, K .; Коэльо, К. (2004). «Слухово-зрительное восприятие речи у взрослого с афазией». Травма головного мозга. 18 (8): 825–834. Дои:10.1080/02699000410001671784. PMID  15204322.
  24. ^ Yordamlı, A .; Эрденер, Д. (2018). «Слухово-визуальная речевая интеграция при биполярном расстройстве: предварительное исследование». Языки. 3 (4): 38. Дои:10.3390 / languages3040038.
  25. ^ а б c d Green, K. P .; Гердеман, А. (1995). «Межмодальные несоответствия в коартикуляции и интеграции речевой информации: эффект Мак-Гурка с несовпадающими гласными». Журнал экспериментальной психологии: человеческое восприятие и производительность. 21 (6): 1409–1426. Дои:10.1037/0096-1523.21.6.1409.
  26. ^ а б c Уокер, S .; Брюс, В .; О'Мэлли, К. (1995). «Лицо и обработка речи на лице: знакомые лица и голоса в эффекте МакГурка». Восприятие и психофизика. 57 (8): 1124–1133. Дои:10.3758 / bf03208369. PMID  8539088.
  27. ^ а б Nicholls, M .; Searle, D .; Брэдшоу, Дж. (2004). «Читай по губам: асимметрии в визуальном выражении и восприятии речи, выявленные благодаря эффекту МакГерка». Психологическая наука. 15 (2): 138–141. Дои:10.1111 / j.0963-7214.2004.01502011.x. PMID  14738522.
  28. ^ а б Tiippana, K .; Андерсен, Т. С .; Самс, М. (2004). «Визуальное внимание модулирует аудиовизуальное восприятие речи». Европейский журнал когнитивной психологии. 16 (3): 457–472. Дои:10.1080/09541440340000268.
  29. ^ а б Irwin, J. R .; Whalen, D. H .; Фаулер, К. А. (2006). «Половая разница в визуальном влиянии на слышимую речь». Восприятие и психофизика. 68 (4): 582–592. Дои:10.3758 / bf03208760.
  30. ^ а б c Brancazio, L .; Best, C. T .; Фаулер, К. А. (2006). «Визуальные воздействия на восприятие речи и неречевых событий голосового тракта». Язык и речь. 49 (1): 21–53. Дои:10.1177/00238309060490010301. ЧВК  2773261. PMID  16922061.
  31. ^ а б Грин, К .; Kuhl, P .; Meltzoff, A .; Стивенс, Э. (1991). «Интеграция речевой информации по говорящим, полу и сенсорной модальности: женские лица и мужские голоса в эффекте Мак-Герка». Восприятие и психофизика. 50 (6): 524–536. Дои:10.3758 / bf03207536.
  32. ^ а б c Виндманн, S (2004). «Влияние контекста предложения и ожидания на иллюзию МакГерка». Журнал памяти и языка. 50 (1): 212–230. Дои:10.1016 / j.jml.2003.10.001.
  33. ^ а б c Sams, M .; Mottonen, R .; Сихвонен, Т. (2005). «Видеть и слышать, как говорят другие и сам себя». Когнитивные исследования мозга. 23 (1): 429–435. Дои:10.1016 / j.cogbrainres.2004.11.006. PMID  15820649.
  34. ^ а б c Munhall, K .; Gribble, P .; Sacco, L .; Уорд, М. (1996). «Временные ограничения на эффект МакГерка». Восприятие и психофизика. 58 (3): 351–362. Дои:10.3758 / bf03206811. PMID  8935896.
  35. ^ Alsius, A .; Navarra, J .; Сото-Фарако, С. (2007). «Внимание к прикосновению ослабляет аудиовизуальную речевую интеграцию». Экспериментальное исследование мозга. 183 (1): 399–404. Дои:10.1007 / s00221-007-1110-1. PMID  17899043.
  36. ^ а б c Паре, М .; Richler, C .; Hove, M .; Мунхолл, К. (2003). «Поведение взгляда при аудиовизуальном восприятии речи: влияние на окулярные фиксации на эффект МакГурка». Восприятие и психофизика. 65 (4): 533–567. Дои:10.3758 / bf03194582. PMID  12812278.
  37. ^ а б c d е ж грамм Секияма, К. (1997). «Культурные и лингвистические факторы в аудиовизуальной обработке речи: эффект Мак-Герка у китайских субъектов». Восприятие и психофизика. 59 (1): 73–80. Дои:10.3758 / bf03206849.
  38. ^ Эрденер, Д. (декабрь 2015 г.). "Иллюзия МакГерка по-турецки" (PDF). Турецкий журнал психологии. 30 (76): 19–31.
  39. ^ Bavo, R .; Ciorba, A .; Проссер, С .; Мартини, А. (2009). «Феномен МакГурка у итальянских слушателей». Acta Otorhinolaryngologica Italica. 29 (4): 203–208.
  40. ^ а б Хисанага, С., Секияма, К., Игасаки, Т., Мураяма, Н. (2009). Восприятие аудиовизуальной речи на японском и английском языках: межъязыковые различия, исследованные с помощью связанных с событием потенциалов. Извлекаются из http://www.isca-speech.org/archive_open/avsp09/papers/av09_038.pdf
  41. ^ а б c Sekiyama, K .; Бернем, Д. (2008). «Влияние языка на развитие слухово-зрительного восприятия речи». Наука о развитии. 11 (2): 306–320. Дои:10.1111 / j.1467-7687.2008.00677.x. PMID  18333984.
  42. ^ а б c Секияма, К., Тохкура, Ю. (1991). Эффект Мак-Герка у неанглоязычных слушателей: мало визуальных эффектов для японцев, слышащих японские слоги с высокой разборчивостью на слух. Журнал Акустического общества Америки, 90 (4, Pt 1), 1797–1805 гг.
  43. ^ Ву, Дж. (2009). Восприятие речи и эффект Мак-Гурка: кросс-культурное исследование с использованием потенциалов, связанных с событиями. Диссертация
  44. ^ Гелдер, Б., Бертелсон, П., Вромен, Дж., Чин Чен, Х. (1995). Межъязыковые различия в эффекте Мак-Гурка для голландских и кантонских слушателей. Извлекаются из http://www.isca-speech.org/archive/eurospeech_1995/e95_1699.html
  45. ^ а б c Rouger, J .; Fraysse, B .; Deguine, O .; Бароне, П. (2008). «Эффекты Мак-Герка у глухих с кохлеарной имплантацией». Исследование мозга. 1188: 87–99. Дои:10.1016 / j.brainres.2007.10.049. PMID  18062941.
  46. ^ а б Bristow, D .; Dehaene-Lambertz, G .; Mattout, J .; Soares, C .; Глига, Т .; Baillet, S .; Мангин, Дж. Ф. (2009). «Слышащие лица: как мозг младенца сопоставляет лицо, которое он видит, с речью, которую он слышит». Журнал когнитивной неврологии. 21 (5): 905–921. CiteSeerX  10.1.1.147.8793. Дои:10.1162 / jocn.2009.21076. PMID  18702595.
  47. ^ а б c Burnham, D .; Додд, Б. (2004). «Интеграция слуховой-визуальной речи у младенцев с проязычностью: восприятие возникающего согласного в эффекте Мак-Герка». Психобиология развития. 45 (4): 204–220. Дои:10.1002 / dev.20032. PMID  15549685.
  48. ^ а б c d Rosenblum, L.D .; Schmuckler, M. A .; Джонсон, Дж. А. (1997). «Эффект МакГерка у младенцев». Восприятие и психофизика. 59 (3): 347–357. Дои:10.3758 / bf03211902. PMID  9136265.
  49. ^ а б Woodhouse, L .; Hickson, L .; Додд, Б. (2009). «Обзор зрительного восприятия речи людьми с нарушением слуха: клинические последствия». Международный журнал расстройств языка и общения. 44 (3): 253–270. Дои:10.1080/13682820802090281. PMID  18821117.
  50. ^ Кушнеренко, Э .; Teinonen, T .; Волейн, А .; Чибра, Г. (2008). «Электрофизиологические доказательства иллюзорного аудиовизуального восприятия речи у младенцев». Труды Национальной академии наук Соединенных Штатов Америки. 105 (32): 11442–11445. Дои:10.1073 / pnas.0804275105. ЧВК  2516214. PMID  18682564.

Библиография

внешняя ссылка