Минимальная среднеквадратичная ошибка - Minimum mean square error

В статистика и обработка сигналов, а минимальная среднеквадратичная ошибка (MMSE) оценка - это метод оценки, который минимизирует среднеквадратичная ошибка (MSE), которая является общей мерой качества оценки, подобранных значений зависимая переменная. в Байесовский установка, термин MMSE более конкретно относится к оценке с квадратичным функция потерь. В таком случае оценка MMSE определяется апостериорным средним значением параметра, который необходимо оценить. Поскольку вычислить апостериорное среднее сложно, форма оценки MMSE обычно ограничивается определенным классом функций. Линейные оценщики MMSE - популярный выбор, поскольку они просты в использовании, легко вычисляются и очень универсальны. Это привело к появлению многих популярных оценок, таких как Фильтр Винера – Колмогорова и Фильтр Калмана.

Мотивация

Термин MMSE более конкретно относится к оценке в Байесовский настройка с квадратичной функцией стоимости. Основная идея байесовского подхода к оценке проистекает из практических ситуаций, когда мы часто располагаем некоторой предварительной информацией о параметре, который необходимо оценить. Например, у нас может быть предварительная информация о диапазоне, который может принимать параметр; или у нас может быть старая оценка параметра, который мы хотим изменить, когда станет доступным новое наблюдение; или статистика фактического случайного сигнала, такого как речь. Это контрастирует с небайесовским подходом, таким как несмещенная оценка с минимальной дисперсией (MVUE), где предполагается, что о параметре заранее ничего не известно, и который не учитывает такие ситуации. В байесовском подходе такая априорная информация фиксируется априорной функцией плотности вероятности параметров; и основанный непосредственно на Теорема Байеса, это позволяет нам делать более точные апостериорные оценки по мере появления большего количества наблюдений. Таким образом, в отличие от небайесовского подхода, при котором представляющие интерес параметры считаются детерминированными, но неизвестными константами, байесовская оценка стремится оценить параметр, который сам является случайной величиной. Кроме того, байесовская оценка также может иметь дело с ситуациями, когда последовательность наблюдений не обязательно независима. Таким образом, байесовская оценка представляет собой еще одну альтернативу MVUE. Это полезно, когда MVUE не существует или не может быть найден.

Определение

Позволять ${\displaystyle x}$ быть ${\displaystyle n\times 1}$ скрытая случайная векторная переменная, и пусть ${\displaystyle y}$ быть ${\displaystyle m\times 1}$ известная случайная векторная переменная (измерение или наблюдение), причем обе они не обязательно имеют одинаковую размерность. An оценщик ${\displaystyle {\hat {x}}(y)}$ из ${\displaystyle x}$ любая функция измерения ${\displaystyle y}$. Вектор ошибки оценки определяется выражением ${\displaystyle e={\hat {x}}-x}$ и это среднеквадратичная ошибка (MSE) определяется след ошибки ковариационная матрица

${\displaystyle \operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},}$

где ожидание ${\displaystyle \operatorname {E} }$ берет на себя оба ${\displaystyle x}$ и ${\displaystyle y}$. Когда ${\displaystyle x}$ является скалярной переменной, выражение MSE упрощается до ${\displaystyle \operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}}$. Обратите внимание, что MSE может быть эквивалентно определено другими способами, поскольку

${\displaystyle \operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.}$

Затем оценщик MMSE определяется как оценщик, достигающий минимальной MSE:

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .}$

Характеристики

• Когда средние и дисперсии конечны, оценка MMSE определяется однозначно.^[1] и определяется:

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.}$

Другими словами, оценка MMSE - это условное ожидание ${\displaystyle x}$ учитывая известное наблюдаемое значение измерений.

• Оценка MMSE является беспристрастной (согласно предположениям регулярности, упомянутым выше):

${\displaystyle \operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.}$

• Оценка MMSE асимптотически несмещенный и сходится по распределению к нормальному распределению:

${\displaystyle {\sqrt {n}}({\hat {x}}-x){\xrightarrow {d}}{\mathcal {N}}\left(0,I^{-1}(x)\right),}$

куда ${\displaystyle I(x)}$ это Информация Fisher из ${\displaystyle x}$. Таким образом, оценка MMSE асимптотически эффективный.

• В принцип ортогональности: Когда ${\displaystyle x}$ - скаляр, оценка должна иметь определенный вид ${\displaystyle {\hat {x}}=g(y)}$ оптимальная оценка, т.е. ${\displaystyle {\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),}$ если и только если

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0}$

для всех ${\displaystyle g(y)}$ в замкнутом линейном подпространстве ${\displaystyle {\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}}$ измерений. Для случайных векторов, поскольку MSE для оценки случайного вектора представляет собой сумму MSE координат, нахождение оценки MMSE для случайного вектора разлагается на нахождение оценок MMSE для координат X по отдельности:

${\displaystyle \operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,}$

для всех я и j. Короче говоря, взаимная корреляция между минимальной ошибкой оценки ${\displaystyle {\hat {x}}_{\operatorname {MMSE} }-x}$ и оценщик ${\displaystyle {\hat {x}}}$ должно быть равно нулю,

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.}$

• Если ${\displaystyle x}$ и ${\displaystyle y}$ находятся совместно гауссовский, то оценка MMSE линейна, т. е. имеет вид ${\displaystyle Wy+b}$ для матрицы ${\displaystyle W}$ и постоянный ${\displaystyle b}$. Это можно прямо показать, используя теорему Байеса. Как следствие, чтобы найти оценщик MMSE, достаточно найти линейный оценщик MMSE.

Линейный оценщик MMSE

Во многих случаях невозможно определить аналитическое выражение оценки MMSE. Два основных численных подхода для получения оценки MMSE зависят либо от нахождения условного ожидания ${\displaystyle \operatorname {E} \{x\mid y\}}$ или нахождение минимумов MSE. Прямая численная оценка условного ожидания требует больших вычислительных ресурсов, поскольку часто требует многомерного интегрирования, обычно выполняемого через Методы Монте-Карло. Другой вычислительный подход заключается в прямом поиске минимумов MSE с использованием таких методов, как методы стохастического градиентного спуска ; но этот метод по-прежнему требует оценки ожидания. Хотя эти численные методы оказались плодотворными, выражение в закрытой форме для оценки MMSE, тем не менее, возможно, если мы готовы пойти на некоторые компромиссы.

Одна из возможностей состоит в том, чтобы отказаться от требований полной оптимальности и найти метод, минимизирующий MSE в рамках определенного класса оценщиков, такого как класс линейных оценщиков. Таким образом, мы постулируем, что условное ожидание ${\displaystyle x}$ данный ${\displaystyle y}$ простая линейная функция ${\displaystyle y}$, ${\displaystyle \operatorname {E} \{x\mid y\}=Wy+b}$, где измерение ${\displaystyle y}$ - случайный вектор, ${\displaystyle W}$ матрица и ${\displaystyle b}$ вектор. Это можно рассматривать как приближение Тейлора первого порядка ${\displaystyle \operatorname {E} \{x\mid y\}}$. Линейный оценщик MMSE - это оценщик, достигающий минимальной MSE среди всех оценщиков такой формы. То есть решает следующие задачи оптимизации:

${\displaystyle \min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}\qquad {\hat {x}}=Wy+b.}$

Одним из преимуществ такой линейной оценки MMSE является то, что нет необходимости явно рассчитывать апостериорную функцию плотности вероятности ${\displaystyle x}$. Такая линейная оценка зависит только от первых двух моментов ${\displaystyle x}$ и ${\displaystyle y}$. Итак, хотя может быть удобно предположить, что ${\displaystyle x}$ и ${\displaystyle y}$ вместе являются гауссовскими, нет необходимости делать это предположение, пока предполагаемое распределение имеет хорошо определенные первый и второй моменты. Форма линейной оценки не зависит от типа предполагаемого базового распределения.

Выражение для оптимального ${\displaystyle b}$ и ${\displaystyle W}$ дан кем-то:

${\displaystyle b={\bar {x}}-W{\bar {y}},}$

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

куда ${\displaystyle {\bar {x}}=\operatorname {E} \{x\}}$, ${\displaystyle {\bar {y}}=\operatorname {E} \{y\},}$ то ${\displaystyle C_{XY}}$ матрица кросс-ковариации между ${\displaystyle x}$ и ${\displaystyle y}$, то ${\displaystyle C_{Y}}$ автоковариационная матрица ${\displaystyle y}$.

Таким образом, выражение для линейной оценки MMSE, его среднего значения и автоковариации имеет вид

${\displaystyle {\hat {x}}=W(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \operatorname {E} \{{\hat {x}}\}={\bar {x}},}$

${\displaystyle C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},}$

где ${\displaystyle C_{YX}}$ матрица кросс-ковариации между ${\displaystyle y}$ и ${\displaystyle x}$.

Наконец, ковариация ошибки и минимальная среднеквадратичная ошибка, достижимые такой оценкой, равны

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},}$

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.}$

Вывод с использованием принципа ортогональности

Пусть у нас есть оптимальная линейная оценка MMSE, заданная как ${\displaystyle {\hat {x}}=Wy+b}$, где требуется найти выражение для ${\displaystyle W}$ и ${\displaystyle b}$. Требуется, чтобы оценка MMSE была беспристрастной. Это означает,

${\displaystyle \operatorname {E} \{{\hat {x}}\}=\operatorname {E} \{x\}.}$

Подключаем выражение для ${\displaystyle {\hat {x}}}$ выше, мы получаем

${\displaystyle b={\bar {x}}-W{\bar {y}},}$

куда ${\displaystyle {\bar {x}}=\operatorname {E} \{x\}}$ и ${\displaystyle {\bar {y}}=\operatorname {E} \{y\}}$. Таким образом, мы можем переписать оценку как

${\displaystyle {\hat {x}}=W(y-{\bar {y}})+{\bar {x}}}$

и выражение для ошибки оценки принимает вид

${\displaystyle {\hat {x}}-x=W(y-{\bar {y}})-(x-{\bar {x}}).}$

Из принципа ортогональности мы можем иметь ${\displaystyle \operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}=0}$, где мы берем ${\displaystyle g(y)=y-{\bar {y}}}$. Здесь левый член равен

${\displaystyle {\begin{aligned}\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}&=\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(y-{\bar {y}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}-\operatorname {E} \{(x-{\bar {x}})(y-{\bar {y}})^{T}\}\\&=WC_{Y}-C_{XY}.\end{aligned}}}$

Приравнивая к нулю, получаем искомое выражение для ${\displaystyle W}$ в качестве

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

В ${\displaystyle C_{XY}}$ матрица кросс-ковариации между X и Y, и ${\displaystyle C_{Y}}$ является автоковариационной матрицей Y. Поскольку ${\displaystyle C_{XY}=C_{YX}^{T}}$, выражение также можно переписать в терминах ${\displaystyle C_{YX}}$ в качестве

${\displaystyle W^{T}=C_{Y}^{-1}C_{YX}.}$

Таким образом, полное выражение для линейной оценки MMSE имеет вид

${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.}$

Поскольку оценка ${\displaystyle {\hat {x}}}$ сам является случайной величиной с ${\displaystyle \operatorname {E} \{{\hat {x}}\}={\bar {x}}}$, мы также можем получить его автоковариацию как

${\displaystyle {\begin{aligned}C_{\hat {X}}&=\operatorname {E} \{({\hat {x}}-{\bar {x}})({\hat {x}}-{\bar {x}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}W^{T}\\&=WC_{Y}W^{T}.\\\end{aligned}}}$

Подставляя выражение для ${\displaystyle W}$ и ${\displaystyle W^{T}}$, мы получили

${\displaystyle C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX}.}$

Наконец, ковариация линейной ошибки оценки MMSE будет тогда выражена как

${\displaystyle {\begin{aligned}C_{e}&=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\\&=\operatorname {E} \{({\hat {x}}-x)(W(y-{\bar {y}})-(x-{\bar {x}}))^{T}\}\\&=\underbrace {\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}} _{0}W^{T}-\operatorname {E} \{({\hat {x}}-x)(x-{\bar {x}})^{T}\}\\&=-\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(x-{\bar {x}})^{T}\}\\&=\operatorname {E} \{(x-{\bar {x}})(x-{\bar {x}})^{T}\}-W\operatorname {E} \{(y-{\bar {y}})(x-{\bar {x}})^{T}\}\\&=C_{X}-WC_{YX}.\end{aligned}}}$

Первый член в третьей строке равен нулю из-за принципа ортогональности. С ${\displaystyle W=C_{XY}C_{Y}^{-1}}$, мы можем переписать ${\displaystyle C_{e}}$ в терминах ковариационных матриц как

${\displaystyle C_{e}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX}.}$

Мы можем признать, что это то же самое, что и ${\displaystyle C_{e}=C_{X}-C_{\hat {X}}.}$ Таким образом, минимальная среднеквадратическая ошибка, достижимая такой линейной оценкой, составляет

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}}$.

Одномерный случай

Для особого случая, когда оба ${\displaystyle x}$ и ${\displaystyle y}$ являются скалярами, указанные выше соотношения упрощаются до

${\displaystyle {\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}^{2}}}(y-{\bar {y}})+{\bar {x}}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{XY}^{2}}{\sigma _{Y}^{2}}}=(1-\rho ^{2})\sigma _{X}^{2},}$

куда ${\displaystyle \rho }$ это Коэффициент корреляции Пирсона между ${\displaystyle x}$ и ${\displaystyle y}$.

Вычисление

Стандартный метод вроде Исключение Гаусса можно использовать для решения матричного уравнения для ${\displaystyle W}$. Более стабильный в числовом отношении метод обеспечивается QR-разложение метод. Поскольку матрица ${\displaystyle C_{Y}}$ - симметричная положительно определенная матрица, ${\displaystyle W}$ можно решить вдвое быстрее с помощью Разложение Холецкого, а для больших разреженных систем метод сопряженных градиентов более эффективен. Рекурсия Левинсона это быстрый метод, когда ${\displaystyle C_{Y}}$ также Матрица Теплица. Это может произойти, когда ${\displaystyle y}$ это стационарный в широком смысле процесс. В таких стационарных случаях эти оценки также называют Фильтры Винера – Колмогорова.

Линейная оценка MMSE для процесса линейного наблюдения

Давайте далее смоделируем основной процесс наблюдения как линейный процесс: ${\displaystyle y=Ax+z}$, куда ${\displaystyle A}$ - известная матрица и ${\displaystyle z}$ вектор случайного шума со средним ${\displaystyle \operatorname {E} \{z\}=0}$ и кросс-ковариация ${\displaystyle C_{XZ}=0}$. Здесь искомое среднее и ковариационные матрицы будут

${\displaystyle \operatorname {E} \{y\}=A{\bar {x}},}$

${\displaystyle C_{Y}=AC_{X}A^{T}+C_{Z},}$

${\displaystyle C_{XY}=C_{X}A^{T}.}$

Таким образом, выражение для матрицы линейной оценки MMSE ${\displaystyle W}$ далее изменяется на

${\displaystyle W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.}$

Вкладывая все в выражение для ${\displaystyle {\hat {x}}}$, мы получили

${\displaystyle {\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

Наконец, ковариация ошибок равна

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.}$

Существенная разница между проблемой оценки, рассмотренной выше, и проблемой наименьших квадратов и Гаусс – Марков оценка состоит в том, что количество наблюдений м, (т.е. размерность ${\displaystyle y}$) не обязательно должно быть как минимум равным количеству неизвестных, п, (т.е. размерность ${\displaystyle x}$). Оценка для линейного процесса наблюдения существует до тех пор, пока м-к-м матрица ${\displaystyle (AC_{X}A^{T}+C_{Z})^{-1}}$ существуют; это так для любого м если, например, ${\displaystyle C_{Z}}$ положительно определен. Физически причина этого свойства в том, что, поскольку ${\displaystyle x}$ теперь случайная величина, можно сформировать значимую оценку (а именно ее среднее значение) даже без измерений. Каждое новое измерение просто предоставляет дополнительную информацию, которая может изменить нашу первоначальную оценку. Другой особенностью этой оценки является то, что для м < п, погрешности измерения быть не должно. Таким образом, мы можем иметь ${\displaystyle C_{Z}=0}$, потому что пока ${\displaystyle AC_{X}A^{T}}$ положительно определена, оценка все еще существует. Наконец, этот метод может обрабатывать случаи, когда шум коррелирован.

Альтернативная форма

Альтернативная форма выражения может быть получена с помощью матричного тождества

${\displaystyle C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},}$

который может быть получен умножением на ${\displaystyle (AC_{X}A^{T}+C_{Z})}$ и предварительное умножение на ${\displaystyle (A^{T}C_{Z}^{-1}A+C_{X}^{-1}),}$ чтобы получить

${\displaystyle W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},}$

и

${\displaystyle C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.}$

С ${\displaystyle W}$ теперь можно записать в терминах ${\displaystyle C_{e}}$ в качестве ${\displaystyle W=C_{e}A^{T}C_{Z}^{-1}}$, получаем упрощенное выражение для ${\displaystyle {\hat {x}}}$ в качестве

${\displaystyle {\hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

В таком виде приведенное выше выражение легко сравнить с взвешенный методом наименьших квадратов и Оценка Гаусса – Маркова. В частности, когда ${\displaystyle C_{X}^{-1}=0}$, что соответствует бесконечной дисперсии априорной информации о ${\displaystyle x}$, результат ${\displaystyle W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}}$ идентична взвешенной линейной оценке наименьших квадратов с ${\displaystyle C_{Z}^{-1}}$ как весовая матрица. Более того, если компоненты ${\displaystyle z}$ некоррелированы и имеют одинаковую дисперсию, так что ${\displaystyle C_{Z}=\sigma ^{2}I,}$ куда ${\displaystyle I}$ является единичной матрицей, то ${\displaystyle W=(A^{T}A)^{-1}A^{T}}$ идентична обычной оценке методом наименьших квадратов.

Последовательная линейная оценка MMSE

Во многих приложениях реального времени данные наблюдений недоступны в виде единого пакета. Вместо этого наблюдения производятся последовательно. Наивное применение предыдущих формул заставило бы нас отказаться от старой оценки и пересчитать новую оценку по мере появления свежих данных. Но тогда мы теряем всю информацию, предоставленную старым наблюдением. Когда наблюдения являются скалярными величинами, один из возможных способов избежать таких повторных вычислений - сначала объединить всю последовательность наблюдений, а затем применить стандартную формулу оценки, как это сделано в Примере 2. Но это может быть очень утомительно, поскольку количество наблюдений увеличивается, поэтому увеличивается размер матриц, которые необходимо инвертировать и умножать.Также этот метод трудно распространить на случай векторных наблюдений. Другой подход к оценке на основе последовательных наблюдений - просто обновить старую оценку по мере появления дополнительных данных, что приведет к более точным оценкам. Таким образом, желателен рекурсивный метод, при котором новые измерения могут изменять старые оценки. В этих обсуждениях подразумевается предположение, что статистические свойства ${\displaystyle x}$ не меняется со временем. Другими словами, ${\displaystyle x}$ стационарный.

Для последовательной оценки, если у нас есть оценка ${\displaystyle {\hat {x}}_{1}}$ на основе измерений, генерирующих пространство ${\displaystyle Y_{1}}$, то после получения другого набора измерений мы должны вычесть из этих измерений ту часть, которую можно было бы ожидать из результата первых измерений. Другими словами, обновление должно быть основано на той части новых данных, которая ортогональна старым данным.

Предположим оптимальную оценку ${\displaystyle {\hat {x}}_{1}}$ была сформирована на основе прошлых измерений, и эта ковариационная матрица ошибок равна ${\displaystyle C_{e_{1}}}$. Для линейных процессов наблюдения наилучшая оценка ${\displaystyle y}$ на основе прошлых наблюдений и, следовательно, старой оценки ${\displaystyle {\hat {x}}_{1}}$, является ${\displaystyle {\hat {y}}=A{\hat {x}}_{1}}$. Вычитание ${\displaystyle {\hat {y}}}$ из ${\displaystyle y}$, получаем ошибку предсказания

${\displaystyle {\tilde {y}}=y-{\hat {y}}=A(x-{\hat {x}}_{1})+z=Ae_{1}+z}$.

Новая оценка на основе дополнительных данных теперь

${\displaystyle {\hat {x}}_{2}={\hat {x}}_{1}+C_{X{\tilde {Y}}}C_{\tilde {Y}}^{-1}{\tilde {y}},}$

куда ${\displaystyle C_{X{\tilde {Y}}}}$ кросс-ковариация между ${\displaystyle x}$ и ${\displaystyle {\tilde {y}}}$ и ${\displaystyle C_{\tilde {Y}}}$ автоковариация ${\displaystyle {\tilde {y}}.}$

Используя тот факт, что ${\displaystyle \operatorname {E} \{{\tilde {y}}\}=0}$ и ${\displaystyle x={\hat {x}}_{1}+e_{1}}$, мы можем получить ковариационные матрицы в терминах ковариации ошибок как

${\displaystyle C_{\tilde {Y}}=AC_{e_{1}}A^{T}+C_{Z},}$

${\displaystyle C_{X{\tilde {Y}}}=\operatorname {E} \{({\hat {x}}_{1}+e_{1}-{\bar {x}})(Ae_{1}+z)^{T}\}=C_{e_{1}}A^{T}.}$

Собирая все вместе, мы получаем новую оценку как

${\displaystyle {\hat {x}}_{2}={\hat {x}}_{1}+C_{e_{1}}A^{T}(AC_{e_{1}}A^{T}+C_{Z})^{-1}(y-A{\hat {x}}_{1}),}$

и новая ковариация ошибок как

${\displaystyle C_{e_{2}}=C_{e_{1}}-C_{e_{1}}A^{T}(AC_{e_{1}}A^{T}+C_{Z})^{-1}AC_{e_{1}}.}$

Повторное использование двух вышеупомянутых уравнений по мере того, как становится доступным больше наблюдений, приводит к методам рекурсивной оценки. Более компактно выражения можно записать как

1. ${\displaystyle K_{t+1}=C_{e_{t}}A^{T}(AC_{e_{t}}A^{T}+C_{Z})^{-1},}$
2. ${\displaystyle {\hat {x}}_{t+1}={\hat {x}}_{t}+K_{t+1}(y-A{\hat {x}}_{t}),}$
3. ${\displaystyle C_{e_{t+1}}=(I-K_{t+1}A)C_{e_{t}}.}$

Матрица ${\displaystyle K}$ часто называют коэффициентом усиления. Повторение этих трех шагов по мере того, как становится доступным больше данных, приводит к итерационному алгоритму оценки. Обобщение этой идеи на нестационарные случаи приводит к Фильтр Калмана.

Частный случай: скалярные наблюдения

В качестве важного частного случая можно получить простое в использовании рекурсивное выражение, когда в каждом т-й момент времени лежащий в основе линейный процесс наблюдения дает скаляр такой, что ${\displaystyle y_{t}=a_{t}^{T}x_{t}+z_{t}}$, куда ${\displaystyle a_{t}}$ является п-by-1 известный вектор-столбец, значения которого могут изменяться со временем, ${\displaystyle x_{t}}$ является п-на 1 случайный вектор-столбец для оценки, и ${\displaystyle z_{t}}$ скалярный шумовой член с дисперсией ${\displaystyle \sigma _{t}^{2}}$. После (т+1) -го наблюдения, прямое использование приведенных выше рекурсивных уравнений дает выражение для оценки ${\displaystyle {\hat {x}}_{t+1}}$ в качестве:

${\displaystyle {\hat {x}}_{t+1}={\hat {x}}_{t}+k_{t+1}(y_{t+1}-a_{t+1}^{T}{\hat {x}}_{t})}$

куда ${\displaystyle y_{t+1}}$ - новое скалярное наблюдение, а коэффициент усиления ${\displaystyle k_{t+1}}$ является п-by-1 вектор-столбец, заданный как

${\displaystyle k_{t+1}={\frac {(C_{e})_{t}a_{t+1}}{\sigma _{t+1}^{2}+a_{t+1}^{T}(C_{e})_{t}a_{t+1}}}.}$

В ${\displaystyle (C_{e})_{t+1}}$ является п-к-п матрица ковариации ошибок, заданная как

${\displaystyle (C_{e})_{t+1}=(I-k_{t+1}a_{t+1}^{T})(C_{e})_{t}.}$

Здесь инверсия матрицы не требуется. Кроме того, коэффициент усиления, ${\displaystyle k_{t+1}}$, зависит от нашей уверенности в новой выборке данных, измеренной по дисперсии шума, по сравнению с предыдущими данными. Начальные значения ${\displaystyle {\hat {x}}}$ и ${\displaystyle C_{e}}$ принимаются как среднее значение и ковариация априорной функции плотности вероятности ${\displaystyle x}$.

Альтернативные подходы: Этот важный частный случай также привел к появлению многих других итерационных методов (или адаптивные фильтры ), такой как фильтр наименьших средних квадратов и рекурсивный фильтр наименьших квадратов, который напрямую решает исходную задачу оптимизации MSE, используя стохастические градиентные спуски. Однако, поскольку ошибка оценки ${\displaystyle e}$ невозможно непосредственно наблюдать, эти методы пытаются минимизировать среднеквадратичную ошибку прогноза ${\displaystyle \mathrm {E} \{{\tilde {y}}^{T}{\tilde {y}}\}}$. Например, в случае скалярных наблюдений мы имеем градиент ${\displaystyle \nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.}$ Таким образом, уравнение обновления для фильтра наименьших квадратов имеет вид

${\displaystyle {\hat {x}}_{t+1}={\hat {x}}_{t}+\eta _{t}\mathrm {E} \{{\tilde {y}}_{t}a_{t}\},}$

куда ${\displaystyle \eta _{t}}$ - размер скалярного шага, а математическое ожидание аппроксимируется мгновенным значением ${\displaystyle \mathrm {E} \{a_{t}{\tilde {y}}_{t}\}\approx a_{t}{\tilde {y}}_{t}}$. Как мы видим, в этих методах нет необходимости в ковариационных матрицах.

Примеры

Пример 1

Мы возьмем линейное предсказание проблема в качестве примера. Пусть линейная комбинация наблюдаемых скалярных случайных величин ${\displaystyle z_{1},z_{2}}$ и ${\displaystyle z_{3}}$ использоваться для оценки другой будущей скалярной случайной величины ${\displaystyle z_{4}}$ такой, что ${\displaystyle {\hat {z}}_{4}=\sum _{i=1}^{3}w_{i}z_{i}}$. Если случайные величины ${\displaystyle z=[z_{1},z_{2},z_{3},z_{4}]^{T}}$ являются действительными гауссовскими случайными величинами с нулевым средним и его ковариационной матрицей, заданной как

${\displaystyle \operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],}$

то наша задача - найти коэффициенты ${\displaystyle w_{i}}$ так что это даст оптимальную линейную оценку ${\displaystyle {\hat {z}}_{4}}$.

В терминах терминологии, разработанной в предыдущих разделах, для этой задачи у нас есть вектор наблюдения ${\displaystyle y=[z_{1},z_{2},z_{3}]^{T}}$, матрица оценки ${\displaystyle W=[w_{1},w_{2},w_{3}]}$ как вектор-строку, а оцениваемая переменная ${\displaystyle x=z_{4}}$ как скалярная величина. Матрица автокорреляции ${\displaystyle C_{Y}}$ определяется как

${\displaystyle C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].}$

Матрица взаимной корреляции ${\displaystyle C_{YX}}$ определяется как

${\displaystyle C_{YX}=\left[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}}\right]=\left[{\begin{array}{c}4\\9\\10\end{array}}\right].}$

Теперь решим уравнение ${\displaystyle C_{Y}W^{T}=C_{YX}}$ путем инвертирования ${\displaystyle C_{Y}}$ и предварительное умножение, чтобы получить

${\displaystyle C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}.}$

Итак, у нас есть ${\displaystyle w_{1}=2.57,}$ ${\displaystyle w_{2}=-0.142,}$ и ${\displaystyle w_{3}=.5714}$как оптимальные коэффициенты при ${\displaystyle {\hat {z}}_{4}}$. Затем вычисление минимальной средней квадратной ошибки дает ${\displaystyle \left\Vert e\right\Vert _{\min }^{2}=\operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857}$.^[2] Обратите внимание, что нет необходимости получать явную матрицу, обратную ${\displaystyle C_{Y}}$ вычислить значение ${\displaystyle W}$. Матричное уравнение может быть решено с помощью хорошо известных методов, таких как метод исключения Гаусса. Более короткий нечисловой пример можно найти в принцип ортогональности.

Пример 2

Рассмотрим вектор ${\displaystyle y}$ сформированный путем взятия ${\displaystyle N}$ наблюдения фиксированного, но неизвестного скалярного параметра ${\displaystyle x}$ нарушается белым гауссовским шумом. Мы можем описать процесс линейным уравнением ${\displaystyle y=1x+z}$, куда ${\displaystyle 1=[1,1,\ldots ,1]^{T}}$. В зависимости от контекста будет ясно, если ${\displaystyle 1}$ представляет скаляр или вектор. Предположим, что мы знаем ${\displaystyle [-x_{0},x_{0}]}$ быть диапазоном, в котором значение ${\displaystyle x}$ собирается упасть. Мы можем смоделировать нашу неопределенность ${\displaystyle x}$ воином равномерное распределение через интервал ${\displaystyle [-x_{0},x_{0}]}$, и поэтому ${\displaystyle x}$ будет иметь дисперсию ${\displaystyle \sigma _{X}^{2}=x_{0}^{2}/3.}$. Пусть вектор шума ${\displaystyle z}$ быть нормально распределенным как ${\displaystyle N(0,\sigma _{Z}^{2}I)}$ куда ${\displaystyle I}$ является единичной матрицей. Также ${\displaystyle x}$ и ${\displaystyle z}$ независимы и ${\displaystyle C_{XZ}=0}$. Легко заметить, что

${\displaystyle {\begin{aligned}&\operatorname {E} \{y\}=0,\\&C_{Y}=\operatorname {E} \{yy^{T}\}=\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I,\\&C_{XY}=\operatorname {E} \{xy^{T}\}=\sigma _{X}^{2}1^{T}.\end{aligned}}}$

Таким образом, линейная оценка MMSE имеет вид

${\displaystyle {\begin{aligned}{\hat {x}}&=C_{XY}C_{Y}^{-1}y\\&=\sigma _{X}^{2}1^{T}(\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I)^{-1}y.\end{aligned}}}$

Мы можем упростить выражение, используя альтернативную форму для ${\displaystyle W}$ в качестве

${\displaystyle {\begin{aligned}{\hat {x}}&=\left(1^{T}{\frac {1}{\sigma _{Z}^{2}}}I1+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}{\frac {1}{\sigma _{Z}^{2}}}Iy\\&={\frac {1}{\sigma _{Z}^{2}}}\left({\frac {N}{\sigma _{Z}^{2}}}+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}y\\&={\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\bar {y}},\end{aligned}}}$

где для ${\displaystyle y=[y_{1},y_{2},\ldots ,y_{N}]^{T}}$ у нас есть ${\displaystyle {\bar {y}}={\frac {1^{T}y}{N}}={\frac {\sum _{i=1}^{N}y_{i}}{N}}.}$

Аналогичным образом, дисперсия оценки равна

${\displaystyle \sigma _{\hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={\Big (}{\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}\sigma _{X}^{2}.}$

Таким образом, MMSE этой линейной оценки

${\displaystyle \operatorname {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\Big (}{\frac {\sigma _{Z}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}{\frac {\sigma _{X}^{2}}{N}}.}$

Для очень больших ${\displaystyle N}$, мы видим, что оценка MMSE скаляра с равномерным априорным распределением может быть аппроксимирована средним арифметическим всех наблюдаемых данных

${\displaystyle {\hat {x}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i},}$

в то время как на дисперсию не повлияют данные ${\displaystyle \sigma _{\hat {X}}^{2}=\sigma _{X}^{2},}$ и LMMSE оценки будет стремиться к нулю.

Однако оценка является неоптимальной, поскольку ограничена линейностью. Если бы случайная величина ${\displaystyle x}$ также был гауссовым, тогда оценка была бы оптимальной. Обратите внимание, что форма оценки останется неизменной, независимо от априорного распределения ${\displaystyle x}$, при условии, что среднее и дисперсия этих распределений одинаковы.

Пример 3

Рассмотрим вариант приведенного выше примера: на выборах баллотируются два кандидата. Пусть доля голосов, которую получит кандидат в день выборов, равна ${\displaystyle x\in [0,1].}$ Таким образом, доля голосов, которую получит другой кандидат, будет ${\displaystyle 1-x.}$ Мы возьмем ${\displaystyle x}$ как случайная величина с равномерным априорным распределением по ${\displaystyle [0,1]}$ так что его среднее значение ${\displaystyle {\bar {x}}=1/2}$ и дисперсия ${\displaystyle \sigma _{X}^{2}=1/12.}$ За несколько недель до выборов двумя разными социологами были проведены два независимых опроса общественного мнения. Первый опрос показал, что кандидат, скорее всего, получит ${\displaystyle y_{1}}$ доля голосов. Поскольку некоторая ошибка всегда присутствует из-за конечной выборки и конкретной принятой методологии опроса, первый участник опроса заявляет, что их оценка содержит ошибку. ${\displaystyle z_{1}}$ с нулевым средним и дисперсией ${\displaystyle \sigma _{Z_{1}}^{2}.}$ Точно так же второй исследователь объявляет свою оценку равной ${\displaystyle y_{2}}$ с ошибкой ${\displaystyle z_{2}}$ с нулевым средним и дисперсией ${\displaystyle \sigma _{Z_{2}}^{2}.}$ Обратите внимание, что, за исключением среднего значения и дисперсии ошибки, распределение ошибок не указано. Как следует объединить эти два опроса, чтобы получить прогноз голосования для данного кандидата?

Как и в предыдущем примере, у нас есть

${\displaystyle {\begin{aligned}y_{1}&=x+z_{1}\\y_{2}&=x+z_{2}.\end{aligned}}}$

Здесь как ${\displaystyle \operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}={\bar {x}}=1/2}$. Таким образом, мы можем получить оценку LMMSE как линейную комбинацию ${\displaystyle y_{1}}$ и ${\displaystyle y_{2}}$ в качестве

${\displaystyle {\hat {x}}=w_{1}(y_{1}-{\bar {x}})+w_{2}(y_{2}-{\bar {x}})+{\bar {x}},}$

где веса даны как

${\displaystyle {\begin{aligned}w_{1}&={\frac {1/\sigma _{Z_{1}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}},\\w_{2}&={\frac {1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.\end{aligned}}}$

Здесь, поскольку член знаменателя постоянен, опросу с меньшей ошибкой дается более высокий вес, чтобы предсказать исход выборов. Наконец, дисперсия прогноза определяется выражением

${\displaystyle \sigma _{\hat {X}}^{2}={\frac {1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}\sigma _{X}^{2},}$

что делает ${\displaystyle \sigma _{\hat {X}}^{2}}$ меньше чем ${\displaystyle \sigma _{X}^{2}.}$

В общем, если у нас есть ${\displaystyle N}$ социологи, тогда ${\displaystyle {\hat {x}}=\sum _{i=1}^{N}w_{i}(y_{i}-{\bar {x}})+{\bar {x}},}$ где вес для я-й опросник дает ${\displaystyle w_{i}={\frac {1/\sigma _{Z_{i}}^{2}}{\sum _{i=1}^{N}1/\sigma _{Z_{i}}^{2}+1/\sigma _{X}^{2}}}.}$

Пример 4

Предположим, что музыкант играет на инструменте, и звук улавливается двумя микрофонами, каждый из которых расположен в двух разных местах. Пусть ослабление звука из-за расстояния у каждого микрофона будет ${\displaystyle a_{1}}$ и ${\displaystyle a_{2}}$, которые считаются известными константами. Аналогично пусть шум на каждом микрофоне будет ${\displaystyle z_{1}}$ и ${\displaystyle z_{2}}$, каждый с нулевым средним и дисперсией ${\displaystyle \sigma _{Z_{1}}^{2}}$ и ${\displaystyle \sigma _{Z_{2}}^{2}}$ соответственно. Позволять ${\displaystyle x}$ обозначают звук, издаваемый музыкантом, который является случайной величиной с нулевым средним значением и дисперсией ${\displaystyle \sigma _{X}^{2}.}$ Как следует объединить записанную музыку с этих двух микрофонов после синхронизации друг с другом?

Мы можем смоделировать звук, получаемый каждым микрофоном, как

${\displaystyle {\begin{aligned}y_{1}&=a_{1}x+z_{1}\\y_{2}&=a_{2}x+z_{2}.\end{aligned}}}$

Здесь как ${\displaystyle \operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}=0}$. Таким образом, мы можем объединить два звука как

${\displaystyle y=w_{1}y_{1}+w_{2}y_{2}}$

где я-й вес задается как

${\displaystyle w_{i}={\frac {a_{i}/\sigma _{Z_{i}}^{2}}{\sum _{i}a_{i}^{2}/\sigma _{Z_{i}}^{2}+1/\sigma _{X}^{2}}}.}$

Смотрите также

• Байесовская оценка
• Среднеквадратичная ошибка
• Наименьших квадратов
• Несмещенная оценка минимальной дисперсии (MVUE)
• Принцип ортогональности
• Винеровский фильтр
• Фильтр Калмана
• Линейное предсказание
• Эквалайзер с нулевым форсированием

Примечания

1. «Среднеквадратичная ошибка (MSE)». www.probabilitycourse.com. Получено 9 мая 2017.
2. Мун и Стирлинг.

дальнейшее чтение

• Джонсон, Д. «Оценщики минимальной среднеквадратичной ошибки». Связи. Архивировано из Оценщики минимальной среднеквадратичной ошибки оригинал Проверять | url = ценить (помощь) 25 июля 2008 г.. Получено 8 января 2013.
• Джейнс, Э. (2003). Теория вероятностей: логика науки. Издательство Кембриджского университета. ISBN  978-0521592710.
• Bibby, J .; Тутенбург, Х. (1977). Прогнозирование и улучшенная оценка в линейных моделях. Вайли. ISBN  9780471016564.
• Lehmann, E. L .; Казелла, Г. (1998). "Глава 4". Теория точечного оценивания (2-е изд.). Springer. ISBN  0-387-98502-6.
• Кей, С. М. (1993). Основы статистической обработки сигналов: теория оценивания. Прентис Холл. стр.344 –350. ISBN  0-13-042268-1.
• Люенбергер, Д. (1969). «Глава 4, Оценка методом наименьших квадратов». Оптимизация методами векторного пространства (1-е изд.). Вайли. ISBN  978-0471181170.
• Moon, T.K .; Стирлинг, W.C. (2000). Математические методы и алгоритмы обработки сигналов. (1-е изд.). Прентис Холл. ISBN  978-0201361865.
• Ван Трис, Х. Л. (1968). Обнаружение, оценка и теория модуляции, часть I. Нью-Йорк: Вили. ISBN  0-471-09517-6.
• Хайкин, С. (2013). Теория адаптивного фильтра (5-е изд.). Прентис Холл. ISBN  978-0132671453.