Пример доказательства Штейна - Proof of Steins example - Wikipedia

Пример Штейна важный результат в теория принятия решений что можно сформулировать как

Обычное решающее правило для оценки среднего многомерного распределения Гаусса недопустимо при среднеквадратическом риске ошибки в размерности не менее 3.

Ниже приводится схема его доказательства.^[1] Читателя отсылаем к основная статья для дополнительной информации.

Набросал доказательство

В функция риска правила принятия решения ${\displaystyle d(\mathbf {x} )=\mathbf {x} }$ является

${\displaystyle R(\theta ,d)=\operatorname {E} _{\theta }[|\mathbf {\theta -X} |^{2}]}$

${\displaystyle =\int (\mathbf {\theta -x} )^{T}(\mathbf {\theta -x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{(-1/2)(\mathbf {\theta -x} )^{T}(\mathbf {\theta -x} )}m(dx)}$

${\displaystyle =n.}$

Теперь рассмотрим правило принятия решения

${\displaystyle d'(\mathbf {x} )=\mathbf {x} -{\frac {\alpha }{|\mathbf {x} |^{2}}}\mathbf {x} }$

куда ${\displaystyle \alpha =n-2}$. Мы покажем, что ${\displaystyle d'}$ это лучшее решение, чем ${\displaystyle d}$. Функция риска

${\displaystyle R(\theta ,d')=\operatorname {E} _{\theta }\left[\left|\mathbf {\theta -X} +{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} \right|^{2}\right]}$

${\displaystyle =\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}+2(\mathbf {\theta -X} )^{T}{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} +{\frac {\alpha ^{2}}{|\mathbf {X} |^{4}}}|\mathbf {X} |^{2}\right]}$

${\displaystyle =\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}\right]+2\alpha \operatorname {E} _{\theta }\left[{\frac {\mathbf {(\theta -X)^{T}X} }{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]}$

- квадратичный по ${\displaystyle \alpha }$. Мы можем упростить средний термин, рассмотрев общую функцию "хорошего поведения" ${\displaystyle h:\mathbf {x} \mapsto h(\mathbf {x} )\in \mathbb {R} }$ и используя интеграция по частям. За ${\displaystyle 1\leq i\leq n}$, для любого непрерывно дифференцируемого ${\displaystyle h}$ растет достаточно медленно для больших ${\displaystyle x_{i}}$ у нас есть:

${\displaystyle \operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )|X_{j}=x_{j}(j\neq i)]=\int (\theta _{i}-x_{i})h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)\mathbf {(x-\theta )} ^{T}\mathbf {(x-\theta )} }m(dx_{i})}$

${\displaystyle =\left[h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)\mathbf {(x-\theta )} ^{T}\mathbf {(x-\theta )} }\right]_{x_{i}=-\infty }^{\infty }-\int {\frac {\partial h}{\partial x_{i}}}(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)\mathbf {(x-\theta )} ^{T}\mathbf {(x-\theta )} }m(dx_{i})}$

${\displaystyle =-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )|X_{j}=x_{j}(j\neq i)\right].}$

Следовательно,

${\displaystyle \operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )]=-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\right].}$

(Этот результат известен как Лемма Штейна.)

Теперь выбираем

${\displaystyle h(\mathbf {x} )={\frac {x_{i}}{|\mathbf {x} |^{2}}}.}$

Если ${\displaystyle h}$ соответствует условию "хорошего поведения" (это не так, но это можно исправить - см. ниже), мы бы

${\displaystyle {\frac {\partial h}{\partial x_{i}}}={\frac {1}{|\mathbf {x} |^{2}}}-{\frac {2x_{i}^{2}}{|\mathbf {x} |^{4}}}}$

и так

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {\mathbf {(\theta -X)^{T}X} }{|\mathbf {X} |^{2}}}\right]=\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[(\theta _{i}-X_{i}){\frac {X_{i}}{|\mathbf {X} |^{2}}}\right]}$

${\displaystyle =-\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}-{\frac {2X_{i}^{2}}{|\mathbf {X} |^{4}}}\right]}$

${\displaystyle =-(n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].}$

Затем возвращаясь к функции риска ${\displaystyle d'}$:

${\displaystyle R(\theta ,d')=n-2\alpha (n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].}$

Эта квадратичная по ${\displaystyle \alpha }$ сводится к минимуму

${\displaystyle \alpha =n-2,}$

давая

${\displaystyle R(\theta ,d')=R(\theta ,d)-(n-2)^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]}$

что, конечно, удовлетворяет

${\displaystyle R(\theta ,d')<R(\theta ,d).}$

изготовление ${\displaystyle d}$ недопустимое решение.

Осталось обосновать использование

${\displaystyle h(\mathbf {X} )={\frac {\mathbf {X} }{|\mathbf {X} |^{2}}}.}$

Эта функция не является непрерывно дифференцируемой, так как она сингулярна на ${\displaystyle \mathbf {x} =0}$. Однако функция

${\displaystyle h(\mathbf {X} )={\frac {\mathbf {X} }{\varepsilon +|\mathbf {X} |^{2}}}}$

непрерывно дифференцируема, и, проследив алгебру и допуская ${\displaystyle \varepsilon \to 0}$, получаем тот же результат.

Рекомендации

1. Самворт, Ричард (декабрь 2012 г.). «Парадокс Штейна» (PDF). Эврика. 62: 38–41.