Неравенство Кульбака - Kullbacks inequality - Wikipedia

В теория информации и статистика, Неравенство Кульбака является нижней границей Дивергенция Кульбака – Лейблера выражается в виде большие отклонения функция оценки.^[1] Если п и Q находятся распределения вероятностей на реальной линии, так что п является абсолютно непрерывный относительно Q, т.е. п<<Q, и чьи первые моменты существуют, то

${\displaystyle D_{KL}(P\|Q)\geq \Psi _{Q}^{*}(\mu '_{1}(P)),}$

куда ${\displaystyle \Psi _{Q}^{*}}$ - функция скорости, т.е. выпуклый сопряженный из кумулянт -генерирующая функция, ${\displaystyle Q}$, и ${\displaystyle \mu '_{1}(P)}$ это первый момент из ${\displaystyle P.}$

В Граница Крамера – Рао является следствием этого результата.

Доказательство

Позволять п и Q быть распределения вероятностей (меры) на действительной прямой, первые моменты которой существуют, и такие, что п<<Q. Рассмотрим естественная экспоненциальная семья из Q данный

${\displaystyle Q_{\theta }(A)={\frac {\int _{A}e^{\theta x}Q(dx)}{\int _{-\infty }^{\infty }e^{\theta x}Q(dx)}}={\frac {1}{M_{Q}(\theta )}}\int _{A}e^{\theta x}Q(dx)}$

для каждого измеримого множества А, куда ${\displaystyle M_{Q}}$ это момент-производящая функция из Q. (Обратите внимание, что Q₀=Q.) Потом

${\displaystyle D_{KL}(P\|Q)=D_{KL}(P\|Q_{\theta })+\int _{\mathrm {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P.}$

К Неравенство Гиббса у нас есть ${\displaystyle D_{KL}(P\|Q_{\theta })\geq 0}$ так что

${\displaystyle D_{KL}(P\|Q)\geq \int _{\mathrm {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P=\int _{\mathrm {supp} P}\left(\log {\frac {e^{\theta x}}{M_{Q}(\theta )}}\right)P(dx)}$

Упрощая правую часть, мы имеем для каждого действительного θ, где ${\displaystyle M_{Q}(\theta )<\infty :}$

${\displaystyle D_{KL}(P\|Q)\geq \mu '_{1}(P)\theta -\Psi _{Q}(\theta ),}$

куда ${\displaystyle \mu '_{1}(P)}$ это первый момент или среднее значение п, и ${\displaystyle \Psi _{Q}=\log M_{Q}}$ называется кумулянт-производящая функция. Взятие супремума завершает процесс выпуклое сопряжение и дает функция оценки:

${\displaystyle D_{KL}(P\|Q)\geq \sup _{\theta }\left\{\mu '_{1}(P)\theta -\Psi _{Q}(\theta )\right\}=\Psi _{Q}^{*}(\mu '_{1}(P)).}$

Следствие: граница Крамера – Рао.

Основная статья: Граница Крамера – Рао

Начнем с неравенства Кульбака

Позволять Икс_θ - семейство распределений вероятностей на действительной прямой, индексированных действительным параметром θ, и удовлетворяющих определенным условия регулярности. потом

${\displaystyle \lim _{h\rightarrow 0}{\frac {D_{KL}(X_{\theta +h}\|X_{\theta })}{h^{2}}}\geq \lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}},}$

куда ${\displaystyle \Psi _{\theta }^{*}}$ это выпуклый сопряженный из кумулянт-производящая функция из ${\displaystyle X_{\theta }}$ и ${\displaystyle \mu _{\theta +h}}$ это первый момент ${\displaystyle X_{\theta +h}.}$

Левая сторона

Левую часть этого неравенства можно упростить следующим образом:

${\displaystyle {\begin{aligned}\lim _{h\to 0}{\frac {D_{KL}(X_{\theta +h}\|X_{\theta })}{h^{2}}}&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta +h}}{\mathrm {d} X_{\theta }}}\right)\mathrm {d} X_{\theta +h}\\&=-\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)\mathrm {d} X_{\theta +h}\\&=-\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left(1-\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)\right)\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)+{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}+o\left(\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right)\right]\mathrm {d} X_{\theta +h}&&{\text{Taylor series for }}\log(1-t)\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left({\frac {\mathrm {d} X_{\theta +h}-\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&={\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\end{aligned}}}$

что составляет половину Информация Fisher параметра θ.

Правая сторона

Правую часть неравенства можно развить следующим образом:

${\displaystyle \lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}=\lim _{h\rightarrow 0}{\frac {1}{h^{2}}}{\sup _{t}\{\mu _{\theta +h}t-\Psi _{\theta }(t)\}}.}$

Этот супремум достигается при значении т= τ где первая производная производящей кумулянтной функции равна ${\displaystyle \Psi '_{\theta }(\tau )=\mu _{\theta +h},}$ но у нас есть ${\displaystyle \Psi '_{\theta }(0)=\mu _{\theta },}$ так что

${\displaystyle \Psi ''_{\theta }(0)={\frac {d\mu _{\theta }}{d\theta }}\lim _{h\rightarrow 0}{\frac {h}{\tau }}.}$

Более того,

${\displaystyle \lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}={\frac {1}{2\Psi ''_{\theta }(0)}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}={\frac {1}{2\mathrm {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}.}$

Собираем обе стороны вместе

У нас есть:

${\displaystyle {\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\geq {\frac {1}{2\mathrm {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2},}$

который можно переформатировать как:

${\displaystyle \mathrm {Var} (X_{\theta })\geq {\frac {(d\mu _{\theta }/d\theta )^{2}}{{\mathcal {I}}_{X}(\theta )}}.}$

Смотрите также

• Дивергенция Кульбака – Лейблера
• Граница Крамера – Рао
• Информация Fisher
• Теория больших отклонений
• Выпуклый конъюгат
• Функция оценки
• Функция создания моментов

Примечания и ссылки

1. Fuchs, Aimé; Летта, Джорджио (1970). L'inégalité de Kullback. Приложение à la théorie de l'estimation. Séminaire de probabilités. 4. Страсбург. С. 108–131.