Сглаживание Кнезера – Нея - Kneser–Ney smoothing - Wikipedia

Сглаживание Кнезера – Нея это метод, который в основном используется для расчета вероятность распределение п-граммы в документ на основе их историй.^[1] Это широко считается наиболее эффективным методом сглаживание из-за использования абсолютного дисконтирования путем вычитания фиксированного значения из членов более низкого порядка вероятности для исключения п-граммы с более низкими частотами. Этот подход считается одинаково эффективным как для высшего, так и для низшего порядка. п-граммы. Этот метод был предложен в статье 1994 г. Рейнхардом Кнезером, Уте Эссен и Герман Ней [де ].^[2]

Типичным примером, иллюстрирующим концепцию этого метода, является частота биграмма "Сан-Франциско ". Если он появляется несколько раз на тренировке корпус, частота униграмма «Франциско» тоже будет высоким. Опираясь только на частоту униграммы, чтобы предсказать частоты п-граммы приводят к искаженным результатам;^[3] однако сглаживание Кнезера – Нея исправляет это, рассматривая частоту униграммы по отношению к возможным словам, предшествующим ей.

Метод

Позволять ${\displaystyle c(w,w')}$ быть количеством вхождений слова ${\displaystyle w}$ за которым следует слово ${\displaystyle w'}$ в корпусе.

Уравнение для вероятностей биграмм выглядит следующим образом:

${\displaystyle p_{KN}(w_{i}|w_{i-1})={\frac {\max(c(w_{i-1},w_{i})-\delta ,0)}{\sum _{w'}c(w_{i-1},w')}}+\lambda _{w_{i-1}}p_{KN}(w_{i})}$^[4]

Где вероятность униграммы ${\displaystyle p_{KN}(w_{i})}$ зависит от того, насколько вероятно увидеть слово ${\displaystyle w_{i}}$ в незнакомом контексте, который оценивается как количество раз, которое оно появляется после любого другого слова, деленное на количество различных пар последовательных слов в корпусе:

${\displaystyle p_{KN}(w_{i})={\frac {|\{w':0<c(w',w_{i})\}|}{|\{(w',w''):0<c(w',w'')\}|}}}$

Обратите внимание, что ${\displaystyle p_{KN}}$ является правильным распределением, поскольку значения, определенные вышеописанным способом, неотрицательны и в сумме равны единице.

Параметр ${\displaystyle \delta }$ - константа, обозначающая значение скидки, вычитаемое из количества каждого n-грамма, обычно от 0 до 1.

Значение нормирующей постоянной ${\displaystyle \lambda _{w_{i-1}}}$ вычисляется так, чтобы сумма условных вероятностей ${\displaystyle p_{KN}(w_{i}|w_{i-1})}$ общий ${\displaystyle w_{i}}$ равно единице. Обратите внимание, что (при условии ${\displaystyle \delta <1}$) для каждого ${\displaystyle w_{i}}$ которое встречается хотя бы один раз в контексте ${\displaystyle w_{i-1}}$ в корпусе мы дисконтируем вероятность точно на такую ​​же постоянную величину ${\displaystyle {\delta }/\left(\sum _{w'}c(w_{i-1},w')\right)}$, поэтому общая скидка линейно зависит от количества уникальных слов ${\displaystyle w_{i}}$ что может произойти после ${\displaystyle w_{i-1}}$.Эта общая скидка - это бюджет, который мы можем распределить по всем ${\displaystyle p_{KN}(w_{i}|w_{i-1})}$ пропорционально ${\displaystyle p_{KN}(w_{i})}$.Как значения ${\displaystyle p_{KN}(w_{i})}$ сумма к единице, мы можем просто определить ${\displaystyle \lambda _{w_{i-1}}}$ чтобы равняться этой общей скидке:

${\displaystyle \lambda _{w_{i-1}}={\frac {\delta }{\sum _{w'}c(w_{i-1},w')}}|\{w':0<c(w_{i-1},w')\}|}$

Это уравнение можно расширить до n-граммов. Позволять ${\displaystyle w_{i-n+1}^{i-1}}$ быть ${\displaystyle n-1}$ слова до ${\displaystyle w_{i}}$:

${\displaystyle p_{KN}(w_{i}|w_{i-n+1}^{i-1})={\frac {\max(c(w_{i-n+1}^{i-1},w_{i})-\delta ,0)}{\sum _{w'}c(w_{i-n+1}^{i-1},w')}}+\delta {\frac {|\{w':0<c(w_{i-n+1}^{i-1},w')\}|}{\sum _{w'}c(w_{i-n+1}^{i-1},w')}}p_{KN}(w_{i}|w_{i-n+2}^{i-1})}$^[5]

В этой модели используется концепция интерполяции с абсолютным дисконтированием, которая включает информацию из языковых моделей высшего и низшего порядка. Добавление термина для n-граммов более низкого порядка добавляет больший вес к общей вероятности, когда счет для n-граммов более высокого порядка равен нулю.^[6] Точно так же вес модели более низкого порядка уменьшается, когда счет n-граммы не равен нулю.

Модифицированное сглаживание Кнезера – Нея.

Существует также модификация этого метода.^[7]

Рекомендации

1. «Байесовская интерпретация Интерполированного Технического отчета школы компьютерных наук Кнезера-Нея TRA2 / 06»
2. Ней, Германн; Эссен, Юте; Кнезер, Рейнхард (январь 1994 г.). «О структурировании вероятностных зависимостей в стохастическом языковом моделировании». Компьютерная речь и язык. 8 (1): 1–38. Дои:10.1006 / csla.1994.1001.
3. «Университет Брауна: Введение в компьютерную лингвистику»
4. 'Объяснение сглаживания Кнезер-Ней'
5. «Учебник по НЛП: сглаживание»
6. «Эмпирическое исследование методов сглаживания для языкового моделирования»
7. Эмпирическое исследование методов сглаживания для языкового моделирования стр 21