Факторная языковая модель - Factored language model

В факторизованная языковая модель (FLM) является продолжением обычного языковая модель введен Джеффом Билмесом и Катрин Кирхоф в 2003 году. В FLM каждое слово рассматривается как вектор k факторы: ${\displaystyle w_{i}=\{f_{i}^{1},...,f_{i}^{k}\}.}$ FLM предоставляет вероятностную модель ${\displaystyle P(f|f_{1},...,f_{N})}$ где прогноз фактора ${\displaystyle f}$ основан на ${\displaystyle N}$ родители ${\displaystyle \{f_{1},...,f_{N}\}}$. Например, если ${\displaystyle w}$ представляет собой токен слова и ${\displaystyle t}$ представляет Часть речи тег для английского языка, выражение ${\displaystyle P(w_{i}|w_{i-2},w_{i-1},t_{i-1})}$ дает модель для предсказания текущего токена слова на основе традиционного Ngram модель, а также Часть речи тег предыдущего слова.

Основным преимуществом факторизованных языковых моделей является то, что они позволяют пользователям указывать лингвистические знания, такие как отношения между токенами слов и Часть речи на английском языке или морфологическая информация (основы, корень и т. д.) на арабском.

Нравиться N-грамм модели, методы сглаживания необходимы при оценке параметров. В частности, при обучении FLM используется обобщенный откат.

Рекомендации

• Дж. Билмес и К. Кирхгоф (2003). «Факторные языковые модели и обобщенный параллельный откат» (PDF). Конференция по технологиям человеческого языка. Архивировано из оригинал (PDF) 17 июля 2012 г.