Частота ошибок в словах - Word error rate

Частота ошибок в словах (WER) является общей метрикой производительности распознавание речи или же машинный перевод система.

Общая сложность измерения производительности заключается в том, что распознанная последовательность слов может иметь длину, отличную от длины контрольной последовательности слов (предположительно правильной). WER выводится из Расстояние Левенштейна, работая на уровне слов вместо фонема уровень. WER - ценный инструмент для сравнения различных систем, а также для оценки улучшений в рамках одной системы. Однако этот вид измерения не дает подробных сведений о природе ошибок перевода, и поэтому требуется дальнейшая работа для определения основного источника (источников) ошибки и концентрации любых исследовательских усилий.

Эта проблема решается первым выравниванием распознанной последовательности слов с эталонной (произносимой) последовательностью слов с помощью динамического выравнивания строк. Рассмотрение этого вопроса рассматривается с помощью теории, называемой степенным законом, которая устанавливает корреляцию между недоумением и частотой ошибок в словах.[1]

Затем коэффициент ошибок в словах можно рассчитать как:

куда

  • S количество замен,
  • D это количество удалений,
  • я это количество вставок,
  • C это количество правильных слов,
  • N количество слов в справочнике (N = S + D + C)

Интуиция за «удалением» и «вставкой» заключается в том, как перейти от ссылки к гипотезе. Поэтому, если у нас есть ссылка «Это википедия» и гипотеза «Эта _ википедия», мы называем это удалением.

При сообщении о производительности системы распознавания речи иногда точность слов (WAcc) вместо этого используется:

Обратите внимание, что поскольку N - количество слов в ссылке, частота ошибок по словам может быть больше 1,0, и, таким образом, точность слова может быть меньше 0,0.

Эксперименты

Обычно считается, что более низкая частота ошибок в словах показывает более высокую точность распознавания речи по сравнению с более высокой частотой ошибок в словах. Однако по крайней мере одно исследование показало, что это может быть неправдой. В Microsoft Research Эксперимент показал, что, если бы люди обучались по принципу «что соответствует цели оптимизации для понимания» (Wang, Acero and Chelba, 2003), они показали бы более высокую точность понимания языка, чем другие люди, которые демонстрировали меньшую ошибку слов оценка, показывающая, что истинное понимание разговорной речи зависит не только от высокой точности распознавания слов.[2]

Прочие показатели

Однако одна проблема с использованием общей формулы, такой как приведенная выше, заключается в том, что не принимается во внимание влияние, которое различные типы ошибок могут иметь на вероятность успешного результата, например некоторые ошибки могут быть более разрушительными, чем другие, и некоторые из них могут быть исправлены легче, чем другие. Эти факторы могут быть специфическими для синтаксис проходит испытания. Еще одна проблема заключается в том, что даже при наилучшем выравнивании формула не может отличить ошибку замены от комбинированной ошибки удаления и вставки.

Хант (1990) предложил использовать взвешенную меру точности производительности, при которой ошибки подстановки взвешиваются на единицу, а ошибки удаления и вставки взвешиваются только на 0,5, таким образом:

Однако ведутся споры о том, можно ли правильно использовать формулу Ханта для оценки производительности отдельной системы, поскольку она была разработана как средство сравнения более справедливо конкурирующих систем-кандидатов. Еще одна сложность заключается в том, позволяет ли данный синтаксис исправлять ошибки и, если да, то насколько легко этот процесс для пользователя. Таким образом, есть некоторые достоинства аргумента в пользу того, что показатели производительности должны разрабатываться в соответствии с конкретной измеряемой системой.

Однако какая бы метрика ни использовалась, одна из основных теоретических проблем при оценке производительности системы состоит в том, чтобы решить, было ли слово «неправильно произнесено», то есть виноват пользователь или распознаватель. Это может быть особенно актуально в системе, которая предназначена для работы с людьми, для которых данный язык не является родным, или с сильными региональными акцентами.

Темп, с которым следует произносить слова в процессе измерения, также является источником различий между испытуемыми, так же как и потребность испытуемых в отдыхе или вдохе. Все эти факторы, возможно, необходимо каким-то образом контролировать.

Для текстовой диктовки обычно считается, что точность производительности ниже 95% неприемлема, но это опять же может быть синтаксисом и / или специфичным для домена, например есть ли у пользователей дефицит времени для выполнения задачи, есть ли альтернативные методы выполнения и т. д.

Термин «частота ошибок одного слова» иногда называют процентом неверных распознаваний для каждого отдельного слова в системном словаре.

Изменить расстояние

Частоту ошибок по слову можно также называть нормализованной длиной. редактировать расстояние.[3] Нормализованное расстояние редактирования между X и Y, d(X, Y) определяется как минимум W (P) / L (P), где P - это путь редактирования между X и Y, W (P) - это сумма весов элементарных операций редактирования P, а L (P) - количество этих операций (длина P).[4]

Смотрите также

Рекомендации

Примечания

  1. ^ Клаков, Дитрих; Йохен Петерс (сентябрь 2002 г.). «Проверка корреляции коэффициента ошибок по словам и недоумения». Речевое общение. 38 (1–2): 19–28. Дои:10.1016 / S0167-6393 (01) 00041-3. ISSN  0167-6393.
  2. ^ Wang, Y .; Acero, A .; Челба, К. (2003). Является ли коэффициент ошибок в словах хорошим показателем точности понимания разговорной речи. Семинар IEEE по автоматическому распознаванию и пониманию речи. Сент-Томас, Виргинские острова США. CiteSeerX  10.1.1.89.424.
  3. ^ Ниссен и др. (2000)
  4. ^ Вычисление нормализованного расстояния редактирования и приложения: AndrCs Marzal и Enrique Vidal

Другие источники