Коннекционистская временная классификация - Connectionist temporal classification - Wikipedia

Коннекционистская временная классификация (CTC) - это тип вывода нейронной сети и связанная с ней функция оценки для обучения повторяющиеся нейронные сети (RNN), такие как LSTM сети для решения проблем с последовательностью, когда время варьируется. Его можно использовать для таких задач, как онлайн распознавание почерка[1] или распознавание фонем в звуковой речи. CTC относится к выходным данным и оценке и не зависит от базовой структуры нейронной сети. Он был представлен в 2006 году.[2]

Входными данными является последовательность наблюдений, а выходными данными - последовательность меток, которые могут включать пустые выходные данные. Сложность обучения возникает из-за того, что наблюдений гораздо больше, чем ярлыков. Например, в звуковой речи может быть несколько отрезков времени, соответствующих одной фонеме. Поскольку мы не знаем совпадения наблюдаемой последовательности с целевыми метками, мы прогнозируем распределение вероятностей на каждом временном шаге.[3] Сеть CTC имеет непрерывный выход (например, softmax ), который настраивается путем обучения для моделирования вероятности метки. CTC не пытается узнать границы и время: последовательности меток считаются эквивалентными, если они отличаются только выравниванием, игнорируя пробелы. Эквивалентные последовательности меток могут возникать по-разному - что делает оценку нетривиальной задачей, но есть эффективный вперед-назад алгоритм для этого.

Затем оценки CTC можно использовать с алгоритмом обратного распространения для обновления весов нейронной сети.

Альтернативные подходы к нейронной сети с CTC включают: скрытая марковская модель (ХМ).

Рекомендации

  1. ^ Ливицки, Маркус; Грейвс, Алекс; Бунке, Хорст; Шмидхубер, Юрген (2007). «Новый подход к распознаванию почерка в режиме онлайн, основанный на двунаправленных сетях долговременной краткосрочной памяти». В материалах 9-й Международной конференции по анализу и распознаванию документов, ICDAR 2007. CiteSeerX  10.1.1.139.5852.
  2. ^ Грейвс, Алекс; Фернандес, Сантьяго; Гомес, Фаустино (2006). «Временная классификация коннекционистов: маркировка несегментированных данных последовательности с помощью рекуррентных нейронных сетей». В материалах Международной конференции по машинному обучению, ICML 2006: 369–376. CiteSeerX  10.1.1.75.6306.
  3. ^ Ханнун, Авни (27 ноября 2017 г.). «Последовательное моделирование с помощью СТС». Дистиллировать. 2 (11). arXiv:1508.01211. Дои:10.23915 / distill.00008. ISSN  2476-0757.