Относительная вероятность - Relative likelihood - Wikipedia

В статистика, предположим, что нам даны какие-то данные, и мы строим статистическая модель этих данных. В относительная вероятность сравнивает относительную правдоподобность различных моделей-кандидатов или различных значений параметра одной модели.

Относительная вероятность значений параметров

Предположим, что нам даны некоторые данные Икс для которого у нас есть статистическая модель с параметром θ. Предположим, что оценка максимального правдоподобия за θ является ${\displaystyle {\hat {\theta }}}$. Относительные правдоподобия других θ значения могут быть найдены путем сравнения правдоподобия этих других значений с вероятностью ${\displaystyle {\hat {\theta }}}$. В относительная вероятность из θ определяется как^{[1][2][3][4][5]}

${\displaystyle {\frac {~{\mathcal {L}}(\theta \mid x)~}{~{\mathcal {L}}({\hat {\theta }}\mid x)~}}}$

куда ${\displaystyle {\mathcal {L}}(\theta \mid x)}$ обозначает функцию правдоподобия. Таким образом, относительная вероятность - это отношение правдоподобия с фиксированным знаменателем ${\displaystyle {\mathcal {L}}({\hat {\theta }}\mid x)}$.

Функция

${\displaystyle \theta \mapsto {\frac {~{\mathcal {L}}(\theta \mid x)~}{~{\mathcal {L}}({\hat {\theta }}\mid x)~}}}$

это функция относительного правдоподобия.

Область вероятности

А область вероятности - множество всех значений θ чья относительная вероятность больше или равна заданному порогу. В процентном отношении п% вероятности за θ определяется как быть.^[1][3][6]

${\displaystyle \left\{\theta :{\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta \,}}\mid x)}}\geq {\frac {p}{100}}\right\}.}$

Если θ - единственный действительный параметр, a пОбласть% правдоподобия обычно включает интервал реальных ценностей. Если регион действительно содержит интервал, то он называется правдоподобный интервал.^[1][3][7]

Интервалы правдоподобия и, в более общем смысле, области правдоподобия используются для интервальная оценка в статистике, основанной на правдоподобии (статистика "правдоподобия"): они похожи на доверительные интервалы в частотной статистике и достоверные интервалы в байесовской статистике. Интервалы правдоподобия интерпретируются непосредственно с точки зрения относительной вероятности, а не с точки зрения вероятность покрытия (частотность) или апостериорная вероятность (Байесианство).

Для данной модели интервалы правдоподобия можно сравнить с доверительными интервалами. Если θ является единственным действительным параметром, то при определенных условиях интервал правдоподобия 14,65% (вероятность 1: 7) для θ будет таким же, как 95% доверительный интервал (вероятность охвата 19/20).^[1][6] В несколько иной формулировке, подходящей для использования логарифмических вероятностей (см. Теорема Уилкса ), тестовая статистика вдвое превышает разницу в логарифмических вероятностях, а распределение вероятностей тестовой статистики приблизительно равно распределение хи-квадрат со степенями свободы (df), равными разнице df-s между двумя моделями (следовательно, е⁻² интервал правдоподобия такой же, как и доверительный интервал 0,954; предполагая, что разница в df-s равна 1).^[6][7]

Относительная вероятность моделей

Определение относительного правдоподобия можно обобщить для сравнения различных статистические модели. Это обобщение основано на AIC (Информационный критерий Акаике) или иногда AICc (Информационный критерий Акаике с поправками).

Предположим, что для некоторых данных у нас есть две статистические модели, M₁ и M₂. Также предположим, что AIC (M₁ ≤ AIC (M₂). Тогда относительная вероятность из M₂ относительно M₁ определяется следующим образом.^[8]

${\displaystyle \exp \left({\frac {\operatorname {AIC} (M_{1})-\operatorname {AIC} (M_{2})}{2}}\right)}$

Чтобы увидеть, что это обобщение предыдущего определения, предположим, что у нас есть некоторая модель M с параметром (возможно многомерным) θ. Тогда для любого θ, набор M₂ = M(θ), а также установить M₁ = M(${\displaystyle {\hat {\theta }}}$). Общее определение теперь дает тот же результат, что и предыдущее определение.

Смотрите также

• Функция правдоподобия
• Выбор статистической модели
• Спецификация статистической модели
• Проверка статистической модели

Примечания

1. Kalbfleisch, J.G. (1985). Вероятность и статистический вывод. Springer. §9.3..
2. Аззалини, А. (1996). Статистический вывод - основанный на вероятности. Чепмен и Холл. §1.4.2. ISBN  9780412606502..
3. Спротт, Д.А. (2000). Статистический вывод в науке. Springer. глава 2..
4. Дэвисон, A.C. (2008). Статистические модели. Издательство Кембриджского университета. §4.1.2..
5. Held, L .; Сабанес Бове, Д.С. (2014). Прикладной статистический вывод - вероятность и байесовский. Springer. §2.1..
6. Росси, Р.Дж. (2018), Математическая статистика, Wiley, п. 267
7. Хадсон, Д.Дж. (1971). «Интервальная оценка по функции правдоподобия». Журнал Королевского статистического общества, серия B. 33: 256–262..
8. Burnham, K. P .; Андерсон, Д. Р. (2002), Выбор модели и многомодельный вывод: практический теоретико-информационный подход, Спрингер, §2.8.