Нейронная сеть с временной задержкой - Time delay neural network

Диаграмма TDNN

Нейронная сеть с временной задержкой (TDNN)[1] многослойный искусственная нейронная сеть архитектура, целью которой является 1) классификация шаблонов с инвариантностью к сдвигу и 2) контекст модели на каждом уровне сети.

Классификация, инвариантная к сдвигу, означает, что классификатор не требует явной сегментации перед классификацией. Таким образом, для классификации временного паттерна (например, речи) TDNN избегает необходимости определять начальную и конечную точки звуков перед их классификацией.

Для контекстного моделирования в TDNN каждый нейронный блок на каждом уровне получает входные данные не только от активаций / функций на уровне ниже, но и от шаблона вывода блока и его контекста. Для сигналов времени каждое устройство получает в качестве входных данных шаблоны активации с течением времени от устройств ниже. Применительно к двумерной классификации (изображения, частотно-временные паттерны) TDNN можно обучить с инвариантностью к сдвигу в координатном пространстве и избежать точной сегментации в координатном пространстве.

История

TDNN была введена в конце 1980-х и применялась для решения задачи фонема классификация для автоматического распознавание речи в речевых сигналах, где автоматическое определение точных сегментов или границ функций было затруднено или невозможно. Поскольку TDNN распознает фонемы и лежащие в их основе акустические / фонетические характеристики, независимо от положения во времени, она улучшает характеристики по сравнению со статической классификацией.[1][2] Он также был применен к двумерным сигналам (частотно-временные паттерны в речи,[3] и шаблон координатного пространства в OCR[4]).

Максимальное объединение

В 1990 году Ямагути и др. представил концепцию максимального пула. Они сделали это, объединив TDNN с максимальным объединением, чтобы реализовать независимую от говорящего изолированную систему распознавания слов.[5]

Обзор

Нейронная сеть с временной задержкой, как и другие нейронные сети, работает с несколькими взаимосвязанными слоями перцептроны, и реализован как нейронная сеть с прямой связью. Все нейроны (на каждом слое) TDNN получают входные данные от выходов нейронов на уровне ниже, но с двумя отличиями:

  1. В отличие от обычных Многослойные персептроны, все блоки в TDNN на каждом уровне получают входные данные от контекстной окно выходов из слоя ниже. Для изменяющихся во времени сигналов (например, речи) каждое устройство имеет соединения с выходом от устройств ниже, а также с задержанными по времени (прошлыми) выходами этих же устройств. Это моделирует временную картину / траекторию юнитов. Для двумерных сигналов (например, частотно-временных шаблонов или изображений) на каждом уровне наблюдается двумерное контекстное окно. Более высокие уровни получают входные данные из более широких контекстных окон, чем нижние уровни, и поэтому обычно моделируют более грубые уровни абстракции.
  2. Инвариантность к сдвигу достигается за счет явного удаления позиционной зависимости во время обратное распространение обучение персонала. Это делается путем создания копий сети со сдвигом во времени по измерению инвариантности (здесь: время). Затем градиент ошибки вычисляется путем обратного распространения через все эти сети из общего целевого вектора, но перед выполнением обновления веса градиенты ошибок, связанные со смещенными копиями, усредняются и, таким образом, разделяются, и ограничение должно быть равным. Таким образом, вся позиционная зависимость от обучения обратному распространению через сдвинутые копии удаляется, и скопированные сети изучают наиболее заметные скрытые функции с инвариантным сдвигом, то есть независимо от их точного положения во входных данных. Инвариантность к сдвигу также легко расширяется до нескольких измерений путем наложения одинакового распределения веса между копиями, которые смещаются по нескольким измерениям.[3][4]

Пример

В случае речевого сигнала входными данными являются спектральные коэффициенты во времени.

Чтобы изучить критические акустико-фонетические особенности (например, переходы формант, всплески, трение и т. Д.), Не требуя предварительно точной локализации, TDNN обучается с учетом сдвига во времени. Инвариантность сдвига во времени достигается за счет распределения веса во времени во время обучения: копии TDNN со сдвигом во времени создаются во всем диапазоне ввода (слева направо на рисунке 1). Затем выполняется обратное распространение из общего целевого вектора классификации (см. Диаграмму TDNN, три целевых класса фонем (/ b /, / d /, / g /) показаны в выходном слое), в результате чего получаются градиенты, которые обычно будут различаться для каждого из копии сети со сдвигом во времени. Однако, поскольку такие сети со сдвигом во времени являются только копиями, зависимость положения снимается путем разделения веса. В этом примере это делается путем усреднения градиентов от каждой сдвинутой по времени копии перед выполнением обновления веса. В речи было показано, что обучение с инвариантным временным сдвигом позволяет изучать весовые матрицы, которые не зависят от точного позиционирования входных данных. Можно также показать, что весовые матрицы обнаруживают важные акустико-фонетические особенности, которые, как известно, важны для восприятия речи человека, такие как переходы формант, всплески и т. Д.[1] TDNN также можно комбинировать или наращивать путем предварительного обучения.[6]

Выполнение

Точная архитектура TDNN (временные задержки, количество уровней) в основном определяется разработчиком в зависимости от проблемы классификации и наиболее полезных размеров контекста. Задержки или контекстные окна выбираются индивидуально для каждого приложения. Также была проделана работа по созданию адаптируемых TDNN с временной задержкой.[7] где эта ручная настройка исключена.

Уровень развития

Распознаватели фонем на основе TDNN выгодно отличались на ранних этапах сравнения с моделями телефонов на основе HMM.[1][6] Современные глубокие архитектуры TDNN включают в себя гораздо больше скрытых слоев и соединений подвыборки или пула в более широком контексте на более высоких уровнях. Они сокращают количество ошибок в словах до 50% GMM акустические модели на основе.[8][9] Хотя разные уровни TDNN предназначены для изучения возможностей увеличения ширины контекста, они моделируют локальные контексты. Когда необходимо обработать отношения на большом расстоянии и последовательности шаблонов, важны состояния обучения и последовательности состояний, и TDNN можно комбинировать с другими методами моделирования.[10][3][4]

Приложения

Распознавание речи

TDNN, используемые для решения проблем распознавания речи, которые были введены в 1987 году.[2] и изначально был ориентирован на распознавание фонем без сдвига. Речь хорошо подходит для TDNN, поскольку разговорные звуки редко бывают одинаковой длины, а точная сегментация затруднена или невозможна. Сканируя звук по прошлому и будущему, TDNN может построить модель для ключевых элементов этого звука без учета сдвига во времени. Это особенно полезно, поскольку звуки размываются из-за реверберации.[8][9] Большие фонетические TDNN могут быть построены модульно путем предварительного обучения и объединения более мелких сетей.[6]

Распознавание речи с большим словарным запасом

Распознавание речи с большим словарным запасом требует распознавания последовательностей фонем, составляющих слова, с учетом ограничений большого словарного запаса произношения. Интеграция TDNN в средства распознавания речи с большим словарным запасом возможна путем введения переходов между состояниями и поиска между фонемами, составляющими слово. Результирующая нейронная сеть с задержкой по времени с несколькими состояниями (MS-TDNN) может быть обучена различительна на уровне слов, тем самым оптимизируя всю структуру в направлении распознавания слов вместо классификации фонем.[10][11][4]

Независимость спикера

Двумерные варианты TDNN были предложены для независимости говорящего.[3] Здесь применяется инвариантность к сдвигу ко времени а также к оси частот, чтобы изучить скрытые функции, которые не зависят от точного местоположения во времени и по частоте (последнее происходит из-за изменчивости динамика).

Реверберация

Одна из постоянных проблем при распознавании речи - это распознавание речи, когда она искажена эхом и реверберацией (как в больших комнатах и ​​удаленных микрофонах). Реверберацию можно рассматривать как искажающую речь с задержанными версиями самой себя. В целом, однако, трудно устранить реверберацию сигнала, поскольку функция импульсной характеристики (и, следовательно, сверточный шум, испытываемый сигналом) неизвестна для любого произвольного пространства. Было показано, что TDNN эффективно распознает речь, несмотря на разные уровни реверберации.[8][9]

Чтение по губам - аудиовизуальная речь

TDNN также успешно использовались в ранних демонстрациях аудиовизуальной речи, где звуки речи дополнялись визуально читаемым движением губ.[11] Здесь распознаватели на основе TDNN совместно использовали визуальные и акустические функции для достижения повышенной точности распознавания, особенно в присутствии шума, когда дополнительная информация из альтернативной модальности может быть хорошо слита в нейронной сети.

Распознавание почерка

TDNN эффективно использовались в компактных и высокопроизводительных распознавание почерка системы. Инвариантность к сдвигу также была адаптирована к пространственным образцам (оси x / y) при автономном распознавании рукописного ввода изображения.[4]

Видеоанализ

Видео имеет временное измерение, что делает TDNN идеальным решением для анализа моделей движения. Примером такого анализа является комбинация обнаружения транспортных средств и распознавания пешеходов.[12] При просмотре видео последующие изображения вводятся в TDNN в качестве входных данных, где каждое изображение является следующим кадром видео. Сила TDNN заключается в ее способности исследовать объекты, сдвинутые во времени вперед и назад, чтобы определить объект, обнаруживаемый при изменении времени. Если объект можно распознать таким образом, приложение может запланировать обнаружение этого объекта в будущем и выполнить оптимальное действие.

Распознавание изображений

Двумерные TDNN позже были применены к другим задачам распознавания изображений под названием "Сверточные нейронные сети ", где обучение с учетом сдвига применяется к осям x / y изображения.

Общие библиотеки

  • TDNN могут быть реализованы практически во всех средах машинного обучения с использованием одномерных сверточные нейронные сети, за счет эквивалентности методов.
  • Matlab: Набор инструментов нейронной сети имеет явную функциональность, предназначенную для создания нейронной сети с временной задержкой, задающей размер шага временных задержек и дополнительную функцию обучения. Алгоритм обучения по умолчанию - это алгоритм обратного распространения с контролируемым обучением, который обновляет веса фильтров на основе оптимизаций Левенберга-Марквардта. Функция timedelaynet (задержки, hidden_layers, train_fnc) возвращает архитектуру нейронной сети с временной задержкой, которую пользователь может обучать и предоставлять входные данные.[13]
  • В Набор инструментов Kaldi ASR имеет реализацию TDNN с несколькими оптимизациями для распознавания речи.[14]

Смотрите также

  • Сверточная нейронная сеть - сверточная нейронная сеть, в которой свертка выполняется по оси времени данных, очень похожа на TDNN.
  • Рекуррентные нейронные сети - рекуррентная нейронная сеть также обрабатывает временные данные, хотя и по-другому. Вместо изменяющегося во времени ввода RNN поддерживают внутренние скрытые слои для отслеживания прошлых (а в случае двунаправленных RNN - будущих) вводов.

Рекомендации

  1. ^ а б c d Александр Вайбель, Ташиюки Ханадзава, Джеффри Хинтон, Киёхито Сикано, Кевин Дж. Ланг, Распознавание фонем с использованием нейронных сетей с временной задержкой, IEEE Transactions on Acoustics, Speech, and Signal Processing, Volume 37, No. 3, pp. 328. - 339 March 1989.
  2. ^ а б Александр Вайбель, Распознавание фонем с использованием нейронных сетей с временной задержкой, SP87-100, Заседание Института инженеров по электрике, информации и связи (IEICE), декабрь 1987 г., Токио, Япония.
  3. ^ а б c d Джон Б. Хэмпшир и Александр Вайбел, Коннекционистские архитектуры для распознавания фонем с несколькими динамиками, Достижения в системах обработки нейронной информации, 1990, Морган Кауфманн.
  4. ^ а б c d е Стефан Йегер, Стефан Манке, Юрген Райхерт, Александр Вайбель, Распознавание рукописного ввода в Интернете: распознаватель NPen ++, Международный журнал анализа и распознавания документов Vol. 3, выпуск 3, март 2001 г.
  5. ^ Ямагути, Коити; Сакамото, Кендзи; Акабане, Тошио; Фудзимото, Ёсидзи (ноябрь 1990 г.). Нейронная сеть для независимого от говорящего изолированного распознавания слов. Первая международная конференция по обработке разговорной речи (ICSLP 90). Кобе, Япония.
  6. ^ а б c Александр Вайбель, Хидефуми Савай, Киёхиро Шикано, Модульность и масштабирование в больших фонематических нейронных сетях, IEEE Transactions по акустике, речи и обработке сигналов, декабрь, декабрь 1989 г.
  7. ^ Кристиан Келер и Иоахим К. Анлауф, Адаптируемый алгоритм нейронной сети с временной задержкой для анализа последовательности изображений, IEEE Transactions on Neural Networks 10.6 (1999): 1531-1536.
  8. ^ а б c Виджаядитья Педдинти, Даниэль Пови, Санджив Худанпур, Архитектура нейронной сети с временной задержкой для эффективного моделирования длинных временных контекстов, Материалы Interspeech 2015
  9. ^ а б c Дэвид Снайдер, Даниэль Гарсия-Ромеро, Даниэль Пови, Универсальные фоновые модели на основе глубокой нейронной сети с задержкой для распознавания говорящего, Материалы АСРУ 2015.
  10. ^ а б Патрик Хаффнер, Александр Вайбель, Нейронные сети с несколькими состояниями с задержкой времени для непрерывного распознавания речи, Достижения в системах обработки нейронной информации, 1992, Морган Кауфманн.
  11. ^ а б Кристоф Бреглер, Герман Хильд, Стефан Манке, Александр Вайбель, Улучшение распознавания связанных букв с помощью чтения по губам, Международная конференция IEEE по акустике, речи и обработке сигналов, Миннеаполис, 1993.
  12. ^ Кристиан Велер и Иоахим К. Анлауф, Распознавание объектов в реальном времени на последовательностях изображений с помощью адаптируемого алгоритма нейронной сети с временной задержкой - приложения для автономных транспортных средств. "Image and Vision Computing 19.9 (2001): 593-618.
  13. ^ "Временные ряды и динамические системы - MATLAB и Simulink ". mathworks.com. Проверено 21 июня +2016.
  14. ^ Виджаядитья Педдинти, Гуого Чен, Вимал Манохар, Том Ко, Даниэль Пови, Санджив Худанпур, Система JHU ASpIRE: надежный LVCSR с адаптацией i-vector TDNN и RNN-LM, Материалы семинара IEEE по автоматическому распознаванию и пониманию речи, 2015 г.