Граница Крамера – Рао - Cramér–Rao bound - Wikipedia

В теория оценки и статистика, то Граница Крамера – Рао (CRB) выражает нижнюю границу отклонение непредвзятого оценщики детерминированного (фиксированного, хотя и неизвестного) параметра, утверждающего, что дисперсия любой такой оценки не меньше, чем величина, обратная Информация Fisher. Результат назван в честь Харальд Крамер и К. Р. Рао,[1][2][3] но независимо также был получен Морис Фреше,[4] Жорж Дармуа,[5] а также Александр Айткен и Гарольд Сильверстоун.[6][7]

Несмещенная оценка, которая достигает этой нижней границы, называется (полностью) эффективный. Такое решение обеспечивает минимально возможное среднеквадратичная ошибка среди всех беспристрастных методов, и поэтому минимальная дисперсия объективная (MVU) оценщик. Однако в некоторых случаях не существует беспристрастной техники, позволяющей достичь предела. Это может произойти либо в том случае, если для любой несмещенной оценки существует другая со строго меньшей дисперсией, либо если существует оценка MVU, но ее дисперсия строго больше, чем инверсия информации Фишера.

Граница Крамера – Рао также может быть использована для оценки дисперсии пристрастный оценщики данной предвзятости. В некоторых случаях необъективный подход может привести как к отклонению, так и к среднеквадратичная ошибка которые ниже несмещенная нижняя граница Крамера – Рао; видеть систематическая ошибка оценки.

Заявление

Граница Крамера – Рао формулируется в этом разделе для нескольких все более общих случаев, начиная со случая, когда параметр является скаляр и его оценка беспристрастный. Для всех вариантов оценки требуются определенные условия регулярности, которые выполняются для большинства распределений с хорошим поведением. Эти условия перечислены позже в этом разделе.

Скалярный несмещенный случай

Предполагать - неизвестный детерминированный параметр, который оценивается по независимые наблюдения (измерения) , каждый распределен согласно некоторым функция плотности вероятности . В отклонение любой беспристрастный оценщик из тогда ограничено взаимный из Информация Fisher :

где информация Фишера определяется

и это натуральный логарифм из функция правдоподобия за единичный образец и обозначает ожидаемое значение (над ). Если дважды дифференцируема и выполняются определенные условия регулярности, то информацию Фишера также можно определить следующим образом:[8]

В эффективность объективной оценки измеряет, насколько близко дисперсия этой оценки подходит к этой нижней границе; эффективность оценщика определяется как

или минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Таким образом, нижняя граница Крамера – Рао дает

Общий скалярный случай

Более общий вид оценки может быть получен путем рассмотрения смещенной оценки , ожидание которого не но функция этого параметра, скажем, . Следовательно обычно не равно 0. В этом случае оценка дается выражением

куда является производной от ), и - это информация Fisher, определенная выше.

Связано с дисперсией смещенных оценок

Помимо ограничения оценок функций параметра, этот подход может использоваться для получения границы дисперсии смещенных оценок с заданным смещением следующим образом. Рассмотрим оценщик с предвзятостью , и разреши . Согласно приведенному выше результату, любая несмещенная оценка, математическое ожидание которой имеет дисперсию больше или равную . Таким образом, любая оценка смещение которого задается функцией удовлетворяет

Несмещенная версия оценки является частным случаем этого результата с .

Иметь небольшую дисперсию тривиально - постоянная «оценка» имеет нулевую дисперсию. Но из приведенного выше уравнения мы находим, что среднеквадратичная ошибка смещенной оценки ограничено

используя стандартную декомпозицию MSE. Однако обратите внимание, что если эта оценка может быть меньше несмещенной границы Крамера – Рао . Например, в пример оценки дисперсии ниже, .

Многомерный случай

Расширение границы Крамера – Рао до нескольких параметров, определение столбца параметров вектор

с функцией плотности вероятности который удовлетворяет двум условия регулярности ниже.

В Информационная матрица Fisher это матрица с элементом определяется как

Позволять быть оценщиком любой вектор-функции параметров, , и обозначим его вектор ожидания к . Тогда граница Крамера – Рао утверждает, что ковариационная матрица из удовлетворяет

куда

  • Матричное неравенство означает, что матрица является положительно полуопределенный, и
  • это Матрица якобиана чей элемент дается .


Если является беспристрастный оценщик (т.е. ), то оценка Крамера – Рао сводится к

Если неудобно вычислять обратную величину Информационная матрица Fisher, то можно просто взять величину, обратную соответствующему диагональному элементу, чтобы найти (возможно, свободную) нижнюю границу.[9]

Условия регулярности

Оценка основана на двух слабых условиях регулярности функция плотности вероятности, , а оценщик :

  • Информация Фишера всегда определена; эквивалентно, для всех такой, что ,
существует и конечно.
  • Операции интегрирования относительно и дифференцирование по можно поменять местами в ожидании ; то есть,
всякий раз, когда правая часть конечна.
Это условие часто можно подтвердить, используя тот факт, что интегрирование и дифференцирование можно поменять местами, когда выполняется один из следующих случаев:
  1. Функция имеет ограниченную поддержку в , причем оценки не зависят от ;
  2. Функция имеет бесконечную поддержку, является непрерывно дифференцируемый, причем интеграл сходится равномерно при всех .

Упрощенная форма информации Фишера

Предположим, кроме того, что операции интегрирования и дифференцирования можно поменять местами на вторую производную от также, т.е.

В этом случае можно показать, что информация Фишера равна

Граница Крамера – Рао может быть записана в виде

В некоторых случаях эта формула дает более удобный способ оценки оценки.

Однопараметрическое доказательство

Ниже приводится доказательство общего скалярного случая границы Крамера – Рао, описанного. над. Предположить, что оценка с ожиданием (по наблюдениям ), т.е. что . Цель - доказать, что для всех ,

Позволять быть случайная переменная с функцией плотности вероятности .Здесь это статистика, который используется как оценщик за . Определять как счет:

где Правило цепи используется в последнем равенстве выше. Тогда ожидание из , написано , равно нулю. Это потому что:

где интегральная и частная производная поменяли местами (оправдано вторым условием регулярности).


Если мы рассмотрим ковариация из и , у нас есть , потому что . Расширяя это выражение, мы имеем

опять же, потому что операции интегрирования и дифференцирования коммутируют (второе условие).

В Неравенство Коши – Шварца показывает, что

следовательно

что доказывает предложение.

Примеры

Многомерное нормальное распределение

В случае d-вариантное нормальное распределение

то Информационная матрица Fisher имеет элементы[10]

где "tr" - это след.

Например, пусть быть образцом независимые наблюдения с неизвестным средним и известная дисперсия .

Тогда информация Фишера представляет собой скаляр, задаваемый формулой

и поэтому оценка Крамера – Рао равна

Нормальное отклонение от известного среднего

Предполагать Икс это нормально распределенный случайная величина с известным средним значением и неизвестная дисперсия . Рассмотрим следующую статистику:

потом Т беспристрастен к , так как . Какая дисперсия Т?

(второе равенство следует непосредственно из определения дисперсии). Первый член - четвертый момент о среднем и имеет ценность ; второй - квадрат дисперсии, или .Таким образом

Теперь, что такое Информация Fisher в образце? Напомним, что счет V определяется как

куда это функция правдоподобия. Таким образом, в этом случае

где второе равенство взято из элементарного исчисления. Таким образом, информация в одном наблюдении - это просто минус математическое ожидание производной от V, или же

Таким образом, информация в выборке независимые наблюдения просто раз это, или

Граница Крамера – Рао утверждает, что

В этом случае неравенство насыщается (равенство достигается), показывая, что оценщик является эффективный.

Однако мы можем добиться более низкого среднеквадратичная ошибка используя предвзятую оценку. Оценщик

очевидно, имеет меньшую дисперсию, которая на самом деле

Его предвзятость

поэтому его среднеквадратичная ошибка

что явно меньше найденной выше границы Крамера – Рао.

Когда среднее значение неизвестно, оценка минимальной среднеквадратичной ошибки дисперсии выборки от гауссовского распределения достигается путем деления на п +1, а не п - 1 или п + 2.

Смотрите также

Ссылки и примечания

  1. ^ Крамер, Харальд (1946). Математические методы статистики. Принстон, Нью-Джерси: Princeton Univ. Нажмите. ISBN  0-691-08004-6. OCLC  185436716.
  2. ^ Рао, Калямпуди Радакришна (1945). «Информация и достижимая точность при оценке статистических параметров». Бюллетень Калькуттское математическое общество. 37: 81–89. МИСТЕР  0015748.
  3. ^ Рао, Калямпуди Радакришна (1994). С. Дас Гупта (ред.). Избранные статьи К. Р. Рао. Нью-Йорк: Вили. ISBN  978-0-470-22091-7. OCLC  174244259.
  4. ^ Фреше, Морис (1943). "Sur l'extension de specifices évaluations statistiques au cas de petits échantillons". Rev. Inst. Int. Статист. 11: 182–205.
  5. ^ Дармуа, Жорж (1945). "Sur les limites de la дисперсия определенных оценок". Rev. Int. Inst. Статист. 13: 9–15.
  6. ^ Aitken, A.C .; Сильверстоун, Х. (1942). «Об оценке статистических параметров». Труды Королевского общества Эдинбурга. 61 (2): 186–194. Дои:10.1017 / s008045410000618x.
  7. ^ Шентон, Л. Р. (1970). «Так называемое неравенство Крамера – Рао». Американский статистик. 24 (2): 36. JSTOR  2681931.
  8. ^ Суба Рао. «Лекции по статистическому выводу» (PDF).
  9. ^ Для байесовского случая см. Уравнение. (11) из Бобровский; Майер-Вольф; Закай (1987). «Некоторые классы глобальных границ Крамера – Рао». Анна. Стат. 15 (4): 1421–38.
  10. ^ Кей, С. М. (1993). Основы статистической обработки сигналов: теория оценивания. Прентис Холл. п. 47. ISBN  0-13-042268-1.

дальнейшее чтение

  • Амемия, Такеши (1985). Продвинутая эконометрика. Кембридж: Издательство Гарвардского университета. стр.14 –17. ISBN  0-674-00560-0.
  • Бос, Адриан ван ден (2007). Оценка параметров для ученых и инженеров. Хобокен: Джон Уайли и сыновья. С. 45–98. ISBN  0-470-14781-4.
  • Кей, Стивен М. (1993). Основы статистической обработки сигналов, Том I: Теория оценивания. Прентис Холл. ISBN  0-13-345711-7.. Глава 3.
  • Шао, Цзюнь (1998). Математическая статистика. Нью-Йорк: Спрингер. ISBN  0-387-98674-X.. Раздел 3.1.3.

внешняя ссылка

  • FandPLimitTool программное обеспечение на основе графического интерфейса пользователя для расчета информации Фишера и нижней границы Крамера-Рао с приложением к микроскопии одиночных молекул.