Информационная матрица теста - Information matrix test - Wikipedia

В эконометрика, то проверка информационной матрицы используется для определения того, регрессионная модель является неправильно указан. Тест был разработан Халберт Уайт,^[1] кто заметил, что в правильно заданной модели и при стандартных предположениях регулярности Информационная матрица Фишера может быть выражено двумя способами: как внешний продукт из градиент, или как функция Матрица Гессе логарифмической функции правдоподобия.

Рассмотрим линейную модель ${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } +\mathbf {u} }$, где ошибки ${\displaystyle \mathbf {u} }$ предполагается, что они распределены ${\displaystyle \mathrm {N} (0,\sigma ^{2}\mathbf {I} )}$. Если параметры ${\displaystyle \beta }$ и ${\displaystyle \sigma ^{2}}$ укладываются в вектор ${\displaystyle \mathbf {\theta } ^{\mathsf {T}}={\begin{bmatrix}\beta &\sigma ^{2}\end{bmatrix}}}$, результирующий функция логарифмического правдоподобия является

${\displaystyle \ell (\mathbf {\theta } )=-{\frac {n}{2}}\log \sigma ^{2}-{\frac {1}{2\sigma ^{2}}}\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)}$

Информационная матрица тогда может быть выражена как

${\displaystyle \mathbf {I} (\mathbf {\theta } )=\operatorname {E} \left[\left({\frac {\partial \ell (\mathbf {\theta } )}{\partial \mathbf {\theta } }}\right)\left({\frac {\partial \ell (\mathbf {\theta } )}{\partial \mathbf {\theta } }}\right)^{\mathsf {T}}\right]}$

это ожидаемое значение внешнего продукта градиента или счет. Во-вторых, его можно записать как отрицательное значение матрицы Гессе функции логарифмического правдоподобия

${\displaystyle \mathbf {I} (\mathbf {\theta } )=-\operatorname {E} \left[{\frac {\partial ^{2}\ell (\mathbf {\theta } )}{\partial \mathbf {\theta } \,\partial \mathbf {\theta } ^{\mathsf {T}}}}\right]}$

Если модель указана правильно, оба выражения должны быть равны. Объединение эквивалентных форм дает

${\displaystyle \mathbf {\Delta } (\mathbf {\theta } )=\sum _{i=1}^{n}\left[{\frac {\partial ^{2}\ell (\mathbf {\theta } )}{\partial \mathbf {\theta } \,\partial \mathbf {\theta } ^{\mathsf {T}}}}+{\frac {\partial \ell (\mathbf {\theta } )}{\partial \mathbf {\theta } }}{\frac {\partial \ell (\mathbf {\theta } )}{\partial \mathbf {\theta } }}\right]}$

куда ${\displaystyle \mathbf {\Delta } (\mathbf {\theta } )}$ является ${\displaystyle (r\times r)}$ случайная матрица, куда ${\displaystyle r}$ - количество параметров. Уайт показал, что элементы ${\displaystyle n^{-1/2}\mathbf {\Delta } (\mathbf {\hat {\theta }} )}$, куда ${\displaystyle \mathbf {\hat {\theta }} }$ является MLE, асимптотически нормально распределенный с нулем означает, что модель указана правильно.^[2] Однако на небольших выборках тест обычно работает плохо.^[3]

Рекомендации

1. Белый, Халберт (1982). «Оценка максимального правдоподобия моделей с ошибками». Econometrica. 50 (1): 1–25. JSTOR  1912526.
2. Годфри, Л. Г. (1988). Тесты на неправильную спецификацию в эконометрике. Издательство Кембриджского университета. С. 35–37. ISBN  0-521-26616-5.
3. Орм, Крис (1990). "Выполнение теста информационной матрицы на малых выборках". Журнал эконометрики. 46 (3): 309–331. Дои:10.1016 / 0304-4076 (90) 90012-И.

дальнейшее чтение

• Krämer, W .; Зоннбергер, Х. (1986). Тестируемая модель линейной регрессии. Гейдельберг: Physica-Verlag. С. 105–110. ISBN  3-7908-0356-1.
• Белый, Халберт (1994). «Тестирование информационных матриц». Оценка, вывод и анализ спецификаций. Нью-Йорк: Издательство Кембриджского университета. С. 300–344. ISBN  0-521-25280-6.