Информационный критерий отклонения - Deviance information criterion - Wikipedia

В критерий отклонения информации (DIC) это иерархическое моделирование обобщение Информационный критерий Акаике (AIC). Это особенно полезно в Байесовский выбор модели проблемы, где апостериорные распределения из модели были получены Цепь Маркова Монте-Карло (MCMC) моделирование. DIC - это асимптотическое приближение по мере увеличения размера выборки, как в AIC. Это действительно только тогда, когда апостериорное распределение примерно многомерный нормальный.

Определение

Определить отклонение в качестве ${\displaystyle D(\theta )=-2\log(p(y|\theta ))+C\,}$, куда ${\displaystyle y}$ данные, ${\displaystyle \theta }$ - неизвестные параметры модели и ${\displaystyle p(y|\theta )}$ это функция правдоподобия. ${\displaystyle C}$ - это константа, которая сокращается во всех расчетах, сравнивающих разные модели, и поэтому ее не нужно знать.

Обычно используются два расчета эффективного числа параметров модели. Первый, как описано в Spiegelhalter et al. (2002 г., п. 587), является ${\displaystyle p_{D}={\overline {D(\theta )}}-D({\bar {\theta }})}$, куда ${\displaystyle {\bar {\theta }}}$ это ожидание ${\displaystyle \theta }$. Второй, как описано в Гельман и др. (2004 г., п. 182), является ${\displaystyle p_{D}=p_{V}={\frac {1}{2}}{\overline {\operatorname {var} \left(D(\theta )\right)}}}$. Чем больше эффективное количество параметров, тем Полегче Модель должна соответствовать данным, поэтому отклонение должно быть наказано.

Информационный критерий отклонения рассчитывается как

${\displaystyle \mathrm {DIC} =p_{D}+{\overline {D(\theta )}},}$

или эквивалентно как

${\displaystyle \mathrm {DIC} =D({\bar {\theta }})+2p_{D}.}$

Из этой последней формы более очевидна связь с AIC.

Мотивация

Идея состоит в том, что модели с меньшим DIC следует предпочесть моделям с большим DIC. Модели наказываются как стоимостью ${\displaystyle {\bar {D}}}$, что способствует хорошей подгонке, но также (аналогично AIC) эффективным количеством параметров ${\displaystyle p_{D}}$. С ${\displaystyle {\bar {D}}}$ будет уменьшаться по мере увеличения количества параметров в модели, ${\displaystyle p_{D}}$ термин компенсирует этот эффект, отдавая предпочтение моделям с меньшим числом параметров.

Преимущество DIC по сравнению с другими критериями в случае выбора байесовской модели состоит в том, что DIC легко вычисляется из выборок, сгенерированных симуляцией цепи Маркова методом Монте-Карло. AIC требует расчета максимальной вероятности более ${\displaystyle \theta }$, который не всегда можно получить из моделирования MCMC. Но чтобы вычислить DIC, просто вычислите ${\displaystyle {\bar {D}}}$ в среднем ${\displaystyle D(\theta )}$ по образцам ${\displaystyle \theta }$, и ${\displaystyle D({\bar {\theta }})}$ как ценность ${\displaystyle D}$ оценивается в среднем по образцам ${\displaystyle \theta }$. Тогда ДИК следует непосредственно из этих приближений. Клаескенс и Хьорт (2008, гл. 3.5) показывают, что ДВС крупная выборка эквивалентен естественной модельно-устойчивой версии AIC.

Предположения

При выводе DIC предполагается, что указанное параметрическое семейство распределений вероятностей, которые генерируют будущие наблюдения, включает истинную модель. Это предположение не всегда выполняется, и в этом сценарии желательно рассмотреть процедуры оценки модели.

Кроме того, наблюдаемые данные используются как для построения апостериорного распределения, так и для оценки оцененных моделей, поэтому DIC имеет тенденцию выбирать чрезмерно подогнанный модели.

Расширения

Решение вышеуказанных проблем было предложено Андо (2007) с предложением байесовского критерия прогнозирующей информации (BPIC). Андо (2010, гл. 8) представил обсуждение различных критериев выбора байесовской модели. Чтобы избежать проблем с переоборудованием ДВС, Андо (2011) разработали критерии выбора байесовской модели с точки зрения прогнозирования. Критерий рассчитывается как

${\displaystyle {\mathit {IC}}={\bar {D}}+2p_{D}=-2\mathbf {E} ^{\theta }[\log(p(y|\theta ))]+2p_{D}.}$

Первый член - это мера того, насколько хорошо модель соответствует данным, а второй член - это штраф за сложность модели. Обратите внимание, что п в этом выражении - прогнозируемое распределение, а не указанная выше вероятность.

Смотрите также

• Информационный критерий Акаике (AIC)
• Байесовский информационный критерий (BIC)
• Критерий сфокусированной информации (FIC)
• Информационный критерий Ханнана-Куинна
• Дивергенция Кульбака – Лейблера
• Расхождение Дженсена – Шеннона
• Информационный критерий Ватанабэ – Акаике (WAIC)

Рекомендации

• Андо, Томохиро (2007). «Байесовский прогнозный информационный критерий для оценки иерархических байесовских и эмпирических байесовских моделей». Биометрика. 94 (2): 443–458. Дои:10.1093 / biomet / asm017.
• Андо, Т. (2010). Выбор байесовской модели и статистическое моделирование, CRC Press. Глава 7.
• Андо, Томохиро (2011). «Прогнозирующий выбор байесовской модели». Американский журнал математических и управленческих наук. 31 (1–2): 13–38. Дои:10.1080/01966324.2011.10737798. S2CID  123680697.
• Клаескенс, Г, и Hjort, N.L. (2008). Выбор модели и усреднение модели, Кембридж. Раздел 3.5.
• Гельман, Андрей; Карлин, Джон Б .; Стерн, Хэл С .; Рубин, Дональд Б. (2004). Байесовский анализ данных: второе издание. Тексты в статистической науке. CRC Press. ISBN  978-1-58488-388-3. LCCN  2003051474. МИСТЕР  2027492.
• ван дер Линде, А. (2005). «ДВС в выборе переменных», Statistica Neerlandica, 59: 45-56. doi:10.1111 / j.1467-9574.2005.00278.x
• Шпигельхальтер, Дэвид Дж.; Бест, Никола Г.; Карлин, Брэдли П.; ван дер Линде, Анжелика (2002). «Байесовские меры сложности модели и соответствия (с обсуждением)». Журнал Королевского статистического общества, серия B. 64 (4): 583–639. Дои:10.1111/1467-9868.00353. JSTOR  3088806. МИСТЕР  1979380.
• Шпигельхальтер, Дэвид Дж.; Бест, Никола Г.; Карлин, Брэдли П.; ван дер Линде, Анжелика (2014). «Критерий отклонения информации: 12 лет спустя (с обсуждением)». Журнал Королевского статистического общества, серия B. 76 (3): 485–493. Дои:10.1111 / rssb.12062.

внешняя ссылка

• Макэлрит, Ричард (29 января 2015 г.). «Статистическое переосмысление, лекция 8 (по DIC и другим информационным критериям)» - через YouTube.