Вычислительный анализ слуховой сцены - Computational auditory scene analysis

Вычислительный анализ слуховой сцены (CASA) является изучение анализ слуховой сцены вычислительными средствами.[1] По сути, системы CASA - это системы "машинного прослушивания", которые стремятся разделять смеси источников звука так же, как это делают люди-слушатели. CASA отличается от области слепое разделение сигналов в том, что он (по крайней мере, до некоторой степени) основан на механизмах человеческого слуховая система и, следовательно, использует не более двух микрофонных записей акустической среды. Это связано с проблема коктейльной вечеринки.

Принципы

Поскольку CASA служит для моделирования функциональных частей слуховой системы, необходимо рассматривать части биологической слуховой системы с точки зрения известных физических моделей. Состоящая из трех областей, внешнего, среднего и внутреннего уха, слуховая периферия действует как сложный преобразователь, который преобразует звуковые колебания в потенциалы действия в слуховом нерве. В наружное ухо состоит из наружного уха, ушной канал и барабанная перепонка. Внешнее ухо, как акустическая воронка, помогает найти источник звука.[2] Ушной канал действует как резонирующая трубка (например, органная труба) для усиления частот в диапазоне 2–5,5 кГц с максимальным усилением около 11 дБ, возникающим в районе 4 кГц.[3] Как орган слуха улитка состоит из двух мембран, мембраны Рейсснера и мембраны базилярная мембрана. Базилярная мембрана движется к звуковым стимулам через частоту определенного стимула, совпадающую с резонансной частотой определенной области базилярной мембраны. Движение базилярной мембраны смещает внутренние волосковые клетки в одном направлении, которое кодирует полуволновой выпрямленный сигнал потенциалов действия в клетках спирального ганглия. Аксоны этих клеток составляют слуховой нерв, кодирующий выпрямленный стимул. Реакции слухового нерва выбирают определенные частоты, похожие на базилярную мембрану. Для более низких частот в волокнах наблюдается «фазовая синхронизация». Нейроны в высших центрах слуховых путей настроены на определенные особенности стимулов, такие как периодичность, интенсивность звука, амплитуда и частотная модуляция.[1] Существуют также нейроанатомические ассоциации ASA через задние области коры, включая задние верхние височные доли и задняя поясная извилина. Исследования показали, что нарушения ASA, а также операции сегрегации и группировки затрагиваются у пациентов с Болезнь Альцгеймера.[4]

Архитектура системы

Кохлеограмма

В качестве первого этапа обработки CASA кохлеограмма создает частотно-временное представление входного сигнала. Имитируя компоненты внешнего и среднего уха, сигнал разбивается на разные частоты, которые естественным образом выбираются улиткой и волосковыми клетками. Из-за частотной избирательности базилярной мембраны банк фильтров используется для моделирования мембраны, при этом каждый фильтр связан с определенной точкой на базилярной мембране.[1]

Поскольку волосковые клетки производят паттерны шипов, каждый фильтр модели должен также производить аналогичный шип в импульсивный ответ. Использование гамматоновый фильтр обеспечивает импульсную характеристику как произведение гамма-функции и тона. Выходной сигнал гамматонового фильтра можно рассматривать как измерение смещения базилярной мембраны. Большинство систем CASA представляют собой частоту возбуждения в слуховом нерве, а не спайковую. Для этого на выходе блока фильтров выполняется полуволновое выпрямление, за которым следует квадратный корень. (Были реализованы другие модели, такие как автоматические регуляторы усиления). Полуисправленная волна похожа на модель смещения волосковых клеток. Дополнительные модели волосковых клеток включают модель волосковых клеток Meddis, которая сочетается с банком гамматоновых фильтров, моделируя трансдукцию волосковых клеток.[5] Исходя из предположения, что в каждой волосковой клетке есть три резервуара передающего вещества и передатчики высвобождаются пропорционально степени смещения к базилярной мембране, высвобождение приравнивается к вероятности образования шипа в нервном волокне. Эта модель воспроизводит многие нервные реакции в системах CASA, такие как выпрямление, сжатие, спонтанное возбуждение и адаптация.[1]

Коррелограмма

Важная модель восприятия высоты звука путем объединения двух школ теории высоты звука:[1]

  • Теории места (подчеркивание роли разрешенных гармоник)
  • Временные теории (подчеркивая роль неразрешенных гармоник)

Коррелограмма обычно вычисляется во временной области путем автокорреляции моделируемой активности возбуждения слухового нерва с выходным сигналом каждого канала фильтра.[1] Путем объединения автокорреляции по частоте положение пиков на сводной коррелограмме соответствует воспринимаемой высоте звука.[1]

Кросс-коррелограмма

Поскольку уши принимают аудиосигналы в разное время, источник звука можно определить с помощью задержек, полученных от двух ушей.[6] Путем взаимной корреляции задержек из левого и правого каналов (модели) совпадающие пики могут быть отнесены к одному и тому же локализованному звуку, несмотря на их временное положение во входном сигнале.[1] Использование механизма интерауральной кросс-корреляции было подтверждено физиологическими исследованиями, параллельными расположению нейронов в слуховой области. средний мозг.[7]

Частотно-временные маски

Чтобы отделить источник звука, системы CASA маскируют кохлеограмму. Эта маска, иногда Винеровский фильтр, взвешивает целевые исходные регионы и подавляет остальные.[1] Физиологическая мотивация за маской возникает из-за слухового восприятия, при котором звук становится неслышимым из-за более громкого звука.[8]

Ресинтез

Путь ресинтеза восстанавливает звуковой сигнал из группы сегментов. Благодаря инвертированию кохлеограммы можно получить повторно синтезированные речевые сигналы высокого качества.[1]

Приложения

Монофонический CASA

Разделение монофонического звука сначала началось с разделения голосов по частоте. Было много ранних разработок, основанных на сегментировании различных речевых сигналов по частоте.[1] Другие модели продолжили этот процесс, добавив адаптацию с помощью моделей пространства состояний, пакетной обработки и архитектуры, основанной на прогнозировании.[9] Использование CASA повысило надежность систем ASR и разделения речи.[10]

Бинауральный CASA

Поскольку CASA моделирует слуховые пути человека, бинауральные системы CASA улучшают человеческую модель, обеспечивая локализацию звука, слуховую группировку и устойчивость к реверберации за счет включения двух пространственно разделенных микрофонов. С помощью методов, аналогичных кросс-корреляции, системы могут извлекать целевой сигнал от обоих входных микрофонов.[11][12]

Нейронные модели CASA

Поскольку биологическая слуховая система глубоко связана с действиями нейронов, системы CASA также включали нейронные модели в свой дизайн. В основе этой области лежат две разные модели. Мальсбург и Шнайдер предложили нейронная сеть модель с осцилляторами для представления характеристик различных потоков (синхронизированных и десинхронизированных).[13] Ван также представил модель, использующую сеть возбуждающих единиц с глобальным ингибитором с линиями задержки для представления слуховой сцены в пределах частоты времени.[14][15]

Анализ музыкальных аудиосигналов

Типичные подходы в системах CASA начинаются с сегментации источников звука на отдельные составляющие в попытках имитировать физическую слуховую систему. Однако есть свидетельства того, что мозг не обязательно обрабатывает аудиовход отдельно, а скорее как смесь.[16] Вместо того, чтобы разбивать аудиосигнал на отдельные составляющие, входной сигнал разбивается на дескрипторы более высокого уровня, такие как аккорды, бас и мелодия, структура ударов, а также повторения припева и фраз. Эти дескрипторы сталкиваются с трудностями в реальных сценариях с монофоническими и бинауральными сигналами.[1] Кроме того, оценка этих дескрипторов сильно зависит от культурного влияния музыкального входа. Например, в западной музыке мелодия и бас влияют на индивидуальность пьесы, а ядро ​​составляет мелодия. Различая частотные характеристики мелодии и баса, можно оценить основную частоту и отфильтровать ее для различения.[17] Обнаружение аккордов может быть реализовано посредством распознавания образов, извлекая низкоуровневые функции, описывающие гармоническое содержание.[18] Методы, используемые при анализе музыкальных сцен, также могут быть применены к распознавание речи и другие звуки окружающей среды.[19] Будущие направления работы включают нисходящую интеграцию обработки аудиосигналов, такую ​​как система отслеживания ритма в реальном времени, и расширение области обработки сигналов с включением слуховой психологии и физиологии.[20]

Моделирование нейронного восприятия

Хотя многие модели рассматривают аудиосигнал как сложную комбинацию различных частот, моделирование слуховой системы также может потребовать рассмотрения нейронных компонентов. Взяв целостный процесс, в котором поток (звуков на основе характеристик) соответствует активности нейронов, распределенной во многих областях мозга, восприятие звука может быть отображено и смоделировано. Были предложены два различных решения для привязки восприятия звука и области мозга. Иерархическое кодирование моделирует множество ячеек для кодирования всех возможных комбинаций функций и объектов в слуховой сцене.[21][22] Временная или осцилляторная корреляция, направленная на решение проблемы связывания, фокусируясь на синхронности и десинхронии между нейронными колебаниями, чтобы кодировать состояние связывания среди слуховых функций.[1] Эти два решения очень похожи на разгром между кодированием места и кодированием по времени. Используя моделирование нейронных компонентов, в системах CASA проявляется еще один феномен ASA: степень моделирования нейронных механизмов. Исследования систем CASA включали моделирование некоторых известных механизмов, таких как полосовой характер кохлеарной фильтрации и случайные модели возбуждения слуховых нервов, однако эти модели могут не привести к обнаружению новых механизмов, а скорее дать понимание цели известных механизмов. .[23]

Смотрите также

дальнейшее чтение

Д. Ф. Розенталь и Х. Г. Окуно (1998) Компьютерный анализ слуховой сцены. Махва, Нью-Джерси: Лоуренс Эрлбаум

Рекомендации

  1. ^ а б c d е ж грамм час я j k л м Ван, Д. Л. и Браун, Г. Дж. (Ред.) (2006). Вычислительный анализ слуховой сцены: принципы, алгоритмы и приложения. IEEE Press / Wiley-Interscience
  2. ^ Уоррен, Р. (1999). Слуховое восприятие: новый анализ и синтез. Нью-Йорк: Издательство Кембриджского университета.
  3. ^ Винер, Ф. (1947), "О дифракции прогрессивной волны на голове человека". Журнал Акустического общества Америки, 19, 143–146.
  4. ^ Голл, Дж., Ким, Л. (2012), "Нарушения анализа слуховой сцены при болезни Альцгеймера", Мозг 135 (1), 190–200.
  5. ^ Меддис Р., Хьюитт М., Шеклтон Т. (1990). «Детали реализации вычислительной модели синапса внутренней волосковой клетки / слухового нерва». Журнал Акустического общества Америки 87(4) 1813–1816.
  6. ^ Джеффресс, Л.А. (1948). «Теория места локализации звука». Журнал сравнительной и физиологической психологии, 41 35–39.
  7. ^ Инь, Т., Чан, Дж. (1990). «Интеравуральная временная чувствительность в медиальной верхней оливе кошки» Журнал нейрофизиологии, 64(2) 465–488.
  8. ^ Мур, Б. (2003). Введение в психологию слуха (5-е изд.). Academic Press, Лондон.
  9. ^ Эллис, Д. (1996). «Вычислительный анализ слуховой сцены на основе предсказаний». Кандидатская диссертация, факультет электротехники и компьютерных наук Массачусетского технологического института.
  10. ^ Ли, П., Гуань, Ю. (2010). «Разделение монофонической речи на основе MASVQ и CASA для надежного распознавания речи» Компьютерная речь и язык, 24, 30–44.
  11. ^ Бодден, М. (1993). «Моделирование местоположения источников звука человека и эффекта коктейльной вечеринки» Acta Acustica 1 43–55.
  12. ^ Лион, Р. (1983). «Вычислительная модель бинаурального расположения и разделения». Материалы Международной конференции по акустике, обработке речи и сигналов 1148–1151.
  13. ^ Фон дер Мальсбург, К., Шнайдер, В. (1986). «Нейронный процессор коктейлей». Биологическая кибернетика 54 29–40.
  14. ^ Ван, Д. (1994). «Разделение звукового потока на основе колебательной корреляции». Материалы международного семинара IEEE по нейронным сетям для обработки сигналов, 624–632.
  15. ^ Ван, Д. (1996), "Примитивная слуховая сегрегация на основе колебательной корреляции". Наука о мышлении 20, 409–456.
  16. ^ Брегман, А (1995). «Ограничения на вычислительные модели анализа слуховой сцены, полученные из человеческого восприятия». Журнал акустического общества Японии (E), 16(3), 133–136.
  17. ^ Гото, М. (2004). «Система описания музыкальных сцен в реальном времени: оценка с преобладанием F0 для обнаружения линий мелодии и баса в реальных аудиосигналах». Речевое общение, 43, 311–329.
  18. ^ Збигнев, Р., Вечорковска, А. (2010). "Достижения в области поиска музыкальной информации". Исследования в области вычислительного интеллекта, 274 119–142.
  19. ^ Масуда-Кацусе, I (2001). «Новый метод распознавания речи при наличии нестационарных, непредсказуемых и высокоуровневых шумов». Слушания Eurospeech, 1119–1122.
  20. ^ Гото, М. (2001). «Основанная на аудио система отслеживания ритма в реальном времени для музыки со звуками барабанов или без них». Журнал новых музыкальных исследований, 30(2): 159–171.
  21. ^ деЧармс, Р., Мерзенич, М. (1996). «Первичное корковое представление звуков по согласованию времени действия потенциала». Природа, 381, 610–613.
  22. ^ Ван, Д. (2005). «Временное измерение анализа сцены». IEEE-транзакции в нейронных сетях, 16(6), 1401–1426.
  23. ^ Брегман, А. (1990). Анализ слуховой сцены. Кембридж: MIT Press.