Неравенство Кульбака - Kullbacks inequality - Wikipedia

В теория информации и статистика, Неравенство Кульбака является нижней границей Дивергенция Кульбака – Лейблера выражается в виде большие отклонения функция оценки.[1] Если п и Q находятся распределения вероятностей на реальной линии, так что п является абсолютно непрерывный относительно Q, т.е. п<<Q, и чьи первые моменты существуют, то

куда - функция скорости, т.е. выпуклый сопряженный из кумулянт -генерирующая функция, , и это первый момент из

В Граница Крамера – Рао является следствием этого результата.

Доказательство

Позволять п и Q быть распределения вероятностей (меры) на действительной прямой, первые моменты которой существуют, и такие, что п<<Q. Рассмотрим естественная экспоненциальная семья из Q данный

для каждого измеримого множества А, куда это момент-производящая функция из Q. (Обратите внимание, что Q0=Q.) Потом

К Неравенство Гиббса у нас есть так что

Упрощая правую часть, мы имеем для каждого действительного θ, где

куда это первый момент или среднее значение п, и называется кумулянт-производящая функция. Взятие супремума завершает процесс выпуклое сопряжение и дает функция оценки:

Следствие: граница Крамера – Рао.

Начнем с неравенства Кульбака

Позволять Иксθ - семейство распределений вероятностей на действительной прямой, индексированных действительным параметром θ, и удовлетворяющих определенным условия регулярности. потом

куда это выпуклый сопряженный из кумулянт-производящая функция из и это первый момент

Левая сторона

Левую часть этого неравенства можно упростить следующим образом:

что составляет половину Информация Fisher параметра θ.

Правая сторона

Правую часть неравенства можно развить следующим образом:

Этот супремум достигается при значении т= τ где первая производная производящей кумулянтной функции равна но у нас есть так что

Более того,

Собираем обе стороны вместе

У нас есть:

который можно переформатировать как:

Смотрите также

Примечания и ссылки

  1. ^ Fuchs, Aimé; Летта, Джорджио (1970). L'inégalité de Kullback. Приложение à la théorie de l'estimation. Séminaire de probabilités. 4. Страсбург. С. 108–131.