Беспристрастная оценка риска Steins - Steins unbiased risk estimate - Wikipedia

В статистика, Беспристрастная оценка риска Штейна (SURE) является беспристрастный оценщик из среднеквадратичная ошибка «почти произвольной, нелинейной смещенной оценки».^[1] Другими словами, он обеспечивает указание точности данной оценки. Это важно, поскольку истинная среднеквадратическая ошибка оценщика является функцией неизвестного параметра, подлежащего оценке, и поэтому не может быть определена точно.

Методика названа в честь первооткрывателя, Чарльз Штайн.^[2]

Официальное заявление

Позволять ${\displaystyle \mu \in {\mathbb {R} }^{d}}$ - неизвестный параметр, и пусть ${\displaystyle x\in {\mathbb {R} }^{d}}$ вектор измерения, компоненты которого независимы и нормально распределены со средним ${\displaystyle \mu _{i},i=1,...,d,}$ и дисперсия ${\displaystyle \sigma ^{2}}$. Предполагать ${\displaystyle h(x)}$ является оценкой ${\displaystyle \mu }$ из ${\displaystyle x}$, и может быть написано ${\displaystyle h(x)=x+g(x)}$, куда ${\displaystyle g}$ является слабо дифференцируемый. Тогда объективная оценка риска Штейна дается выражением^[3]

${\displaystyle \operatorname {SURE} (h)=d\sigma ^{2}+\|g(x)\|^{2}+2\sigma ^{2}\sum _{i=1}^{d}{\frac {\partial }{\partial x_{i}}}g_{i}(x)=-d\sigma ^{2}+\|g(x)\|^{2}+2\sigma ^{2}\sum _{i=1}^{d}{\frac {\partial }{\partial x_{i}}}h_{i}(x),}$

куда ${\displaystyle g_{i}(x)}$ это ${\displaystyle i}$й компонент функции ${\displaystyle g(x)}$, и ${\displaystyle \|\cdot \|}$ это Евклидова норма.

Важность SURE состоит в том, что это объективная оценка среднеквадратичной ошибки (или квадрата риска ошибки) ${\displaystyle h(x)}$, т.е.

${\displaystyle \operatorname {E} _{\mu }\{\operatorname {SURE} (h)\}=\operatorname {MSE} (h),\,\!}$

с

${\displaystyle \operatorname {MSE} (h)=\operatorname {E} _{\mu }\|h(x)-\mu \|^{2}.}$

Таким образом, минимизация SURE может действовать как суррогат для минимизации MSE. Обратите внимание, что нет зависимости от неизвестного параметра. ${\displaystyle \mu }$ в выражении для УВЕРЕН. Таким образом, им можно манипулировать (например, для определения оптимальных настроек оценки) без знания ${\displaystyle \mu }$.

Доказательство

Мы хотим показать, что

${\displaystyle \operatorname {E} _{\mu }\|h(x)-\mu \|^{2}=\operatorname {E} _{\mu }\{\operatorname {SURE} (h)\}.}$

Начнем с расширения MSE как

${\displaystyle {\begin{aligned}\operatorname {E} _{\mu }\|h(x)-\mu \|^{2}&=\operatorname {E} _{\mu }\|g(x)+x-\mu \|^{2}\\&=\operatorname {E} _{\mu }\|g(x)\|^{2}+\operatorname {E} _{\mu }\|x-\mu \|^{2}+2\operatorname {E} _{\mu }g(x)^{T}(x-\mu )\\&=\operatorname {E} _{\mu }\|g(x)\|^{2}+d\sigma ^{2}+2\operatorname {E} _{\mu }g(x)^{T}(x-\mu ).\end{aligned}}}$

Теперь мы используем интеграция по частям переписать последний член:

${\displaystyle {\begin{aligned}\operatorname {E} _{\mu }g(x)^{T}(x-\mu )&=\int _{{\mathbb {R} }^{d}}{\frac {1}{\sqrt {2\pi \sigma ^{2d}}}}\exp \left(-{\frac {\|x-\mu \|^{2}}{2\sigma ^{2}}}\right)\sum _{i=1}^{d}g_{i}(x)(x_{i}-\mu _{i})d^{d}x\\&=\sigma ^{2}\sum _{i=1}^{d}\int _{{\mathbb {R} }^{d}}{\frac {1}{\sqrt {2\pi \sigma ^{2d}}}}\exp \left(-{\frac {\|x-\mu \|^{2}}{2\sigma ^{2}}}\right){\frac {dg_{i}}{dx_{i}}}d^{d}x\\&=\sigma ^{2}\sum _{i=1}^{d}\operatorname {E} _{\mu }{\frac {dg_{i}}{dx_{i}}}.\end{aligned}}}$

Подставляя это в выражение для MSE, мы приходим к

${\displaystyle \operatorname {E} _{\mu }\|h(x)-\mu \|^{2}=\operatorname {E} _{\mu }\left(d\sigma ^{2}+\|g(x)\|^{2}+2\sigma ^{2}\sum _{i=1}^{d}{\frac {dg_{i}}{dx_{i}}}\right).}$

Приложения

Стандартное применение SURE - выбрать параметрическую форму для оценщика, а затем оптимизировать значения параметров, чтобы минимизировать оценку риска. Этот метод применялся в нескольких ситуациях. Например, вариант Оценка Джеймса – Стейна можно получить, найдя оптимальное оценщик усадки.^[2] Техника также использовалась Донохо и Джонстона для определения оптимального коэффициента усадки в вейвлет шумоподавление параметр.^[1]

Рекомендации

1. Донохо, Дэвид Л.; Иэн М. Джонстон (декабрь 1995 г.). «Адаптация к неизвестной гладкости с помощью вейвлет-усадки». Журнал Американской статистической ассоциации. 90 (432): 1200–1244. CiteSeerX  10.1.1.161.8697. Дои:10.2307/2291512. JSTOR  2291512.
2. Стейн, Чарльз М. (ноябрь 1981 г.). «Оценка среднего многомерного нормального распределения». Анналы статистики. 9 (6): 1135–1151. Дои:10.1214 / aos / 1176345632. JSTOR  2240405.
3. Вассерман, Ларри (2005). Вся непараметрическая статистика.