Обобщенный метод моментов - Generalized method of moments

В эконометрика и статистика, то обобщенный метод моментов (GMM) - это общий метод оценки параметры в статистические модели. Обычно это применяется в контексте полупараметрические модели, где интересующий параметр является конечномерным, тогда как полная форма функции распределения данных может быть неизвестна, и, следовательно, оценка максимального правдоподобия не применимо.

Метод требует, чтобы определенное количество моментные условия указывается для модели. Эти моментные условия являются функциями параметров модели и данных, так что их ожидание равен нулю при истинных значениях параметров. Затем метод GMM сводит к минимуму некоторые норма выборочных средних моментов, и поэтому может рассматриваться как особый случай из оценка минимального расстояния.^[1]

GMM оценщики известны как последовательный, асимптотически нормальный, и эффективный в классе всех оценщиков, не использующих никакой дополнительной информации, кроме содержащейся в моментных условиях. GMM выступали Ларс Питер Хансен в 1982 г. как обобщение метод моментов,^[2] представлен Карл Пирсон в 1894 г. Однако эти оценки математически эквивалентны оценкам, основанным на «условиях ортогональности» (Sargan, 1958, 1959) или «уравнениях несмещенной оценки» (Huber, 1967; Wang et al., 1997).

Описание

Предположим, что доступные данные состоят из Т наблюдения {Y_т }_{т = 1,...,Т}, где каждое наблюдение Y_т является п-размерный многомерная случайная величина. Мы предполагаем, что данные поступают из определенного статистическая модель, определяется с точностью до неизвестного параметр θ ∈ Θ. Задача оценки - найти «истинное» значение этого параметра, θ₀, или, по крайней мере, достаточно близкая оценка.

Общее предположение GMM состоит в том, что данные Y_т быть порожденным слабо стационарный эргодический случайный процесс. (Случай независимые и одинаково распределенные (iid) переменные Y_т является частным случаем этого условия.)

Чтобы применить GMM, нам нужны «моментные условия», то есть нам нужно знать вектор-функция грамм(Y,θ) такие, что

${\displaystyle m(\theta _{0})\equiv \operatorname {E} [\,g(Y_{t},\theta _{0})\,]=0,}$

где E обозначает ожидание, и Y_т является общим наблюдением. Кроме того, функция м(θ) должен отличаться от нуля для θ ≠ θ₀, иначе параметр θ не будет смысла-идентифицированный.

Основная идея GMM состоит в том, чтобы заменить теоретическое ожидаемое значение E [⋅] его эмпирическим аналогом - выборочным средним:

${\displaystyle {\hat {m}}(\theta )\equiv {\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta )}$

а затем минимизировать норму этого выражения относительно θ. Минимизирующее значение θ наша оценка для θ₀.

Посредством закон больших чисел, ${\displaystyle \scriptstyle {\hat {m}}(\theta )\,\approx \;\operatorname {E} [g(Y_{t},\theta )]\,=\,m(\theta )}$ для больших значений Т, поэтому мы ожидаем, что ${\displaystyle \scriptstyle {\hat {m}}(\theta _{0})\;\approx \;m(\theta _{0})\;=\;0}$. Обобщенный метод моментов ищет число ${\displaystyle \scriptstyle {\hat {\theta }}}$ что сделало бы ${\displaystyle \scriptstyle {\hat {m}}(\;\!{\hat {\theta }}\;\!)}$ как можно ближе к нулю. Математически это эквивалентно минимизации определенной нормы ${\displaystyle \scriptstyle {\hat {m}}(\theta )}$ (норма м, обозначается как ||м||, измеряет расстояние между м и ноль). Свойства полученной оценки будут зависеть от конкретного выбора функции нормы, и поэтому теория GMM рассматривает все семейство норм, определяемое как

${\displaystyle \|{\hat {m}}(\theta )\|_{W}^{2}={\hat {m}}(\theta )^{\mathsf {T}}\,W{\hat {m}}(\theta ),}$

куда W это положительно определенный матрица весов, и ${\displaystyle m^{\mathsf {T}}}$ обозначает транспозиция. На практике матрица весов W вычисляется на основе доступного набора данных, который будет обозначен как ${\displaystyle \scriptstyle {\hat {W}}}$. Таким образом, оценка GMM может быть записана как

${\displaystyle {\hat {\theta }}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}}$

При подходящих условиях эта оценка последовательный, асимптотически нормальный, и при правильном выборе весовой матрицы ${\displaystyle \scriptstyle {\hat {W}}}$ также асимптотически эффективный.

Характеристики

Последовательность

Последовательность статистическое свойство оценщика, утверждающее, что, имея достаточное количество наблюдений, оценщик будет сходятся по вероятности к истинному значению параметра:

${\displaystyle {\hat {\theta }}{\xrightarrow {p}}\theta _{0}\ {\text{as}}\ T\to \infty .}$

Достаточные условия для согласованности оценки GMM следующие:

1. ${\displaystyle {\hat {W}}_{T}{\xrightarrow {p}}W,}$ куда W это положительная полуопределенная матрица,
2. ${\displaystyle \,W\operatorname {E} [\,g(Y_{t},\theta )\,]=0}$ только для ${\displaystyle \,\theta =\theta _{0},}$
3. В Космос возможных параметров ${\displaystyle \Theta \subset \mathbb {R} ^{k}}$ является компактный,
4. ${\displaystyle \,g(Y,\theta )}$ непрерывна на каждом θ с вероятностью один,
5. ${\displaystyle \operatorname {E} [\,\textstyle \sup _{\theta \in \Theta }\lVert g(Y,\theta )\rVert \,]<\infty .}$

Второе условие здесь (т.н. Глобальная идентификация состояние) часто бывает особенно трудно проверить. Существуют более простые необходимые, но недостаточные условия, которые можно использовать для обнаружения проблемы неидентификации:

• Условие заказа. Размерность моментной функции м (θ) должен быть не меньше размерности вектора параметров θ.
• Местная идентификация. Если g (Y, θ) непрерывно дифференцируема в окрестности точки ${\displaystyle \theta _{0}}$, то матрица ${\displaystyle W\operatorname {E} [\nabla _{\theta }g(Y_{t},\theta _{0})]}$ должен иметь полный ранг столбца.

На практике эконометристы-прикладники часто просто предполагать эта глобальная идентификация верна, но на самом деле это не доказано.^[3]:2127

Асимптотическая нормальность

Асимптотическая нормальность является полезным свойством, так как позволяет нам создавать полосы уверенности для оценщика и провести различные тесты. Прежде чем мы сможем сделать утверждение об асимптотическом распределении оценки GMM, нам необходимо определить две вспомогательные матрицы:

${\displaystyle G=\operatorname {E} [\,\nabla _{\!\theta }\,g(Y_{t},\theta _{0})\,],\qquad \Omega =\operatorname {E} [\,g(Y_{t},\theta _{0})g(Y_{t},\theta _{0})^{\mathsf {T}}\,]}$

Тогда при условиях 1–6, перечисленных ниже, оценка GMM будет асимптотически нормальной с ограничение распространения:

${\displaystyle {\sqrt {T}}{\big (}{\hat {\theta }}-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}{\big [}0,(G^{\mathsf {T}}WG)^{-1}G^{\mathsf {T}}W\Omega W^{\mathsf {T}}G(G^{\mathsf {T}}W^{\mathsf {T}}G)^{-1}{\big ]}.}$

Условия:

1. ${\displaystyle {\hat {\theta }}}$ согласован (см. предыдущий раздел),
2. Набор возможных параметров ${\displaystyle \Theta \subset \mathbb {R} ^{k}}$ является компактный,
3. ${\displaystyle \,g(Y,\theta )}$ непрерывно дифференцируема в некоторой окрестности N из ${\displaystyle \theta _{0}}$ с вероятностью один,
4. ${\displaystyle \operatorname {E} [\,\lVert g(Y_{t},\theta )\rVert ^{2}\,]<\infty ,}$
5. ${\displaystyle \operatorname {E} [\,\textstyle \sup _{\theta \in N}\lVert \nabla _{\theta }g(Y_{t},\theta )\rVert \,]<\infty ,}$
6. матрица ${\displaystyle G'WG}$ неособое.

Эффективность

Пока мы ничего не сказали о выборе матрицы W, за исключением того, что он должен быть положительным полуопределенным. Фактически, любая такая матрица будет давать непротиворечивую и асимптотически нормальную оценку GMM, единственная разница будет заключаться в асимптотической дисперсии этой оценки. Можно показать, что принимая

${\displaystyle W\propto \ \Omega ^{-1}}$

приведет к наиболее эффективной оценке в классе всех асимптотически нормальных оценок. Эффективность в этом случае означает, что такая оценка будет иметь наименьшую возможную дисперсию (мы говорим, что матрица А меньше матрицы B если B – A положительно полуопределенный).

В этом случае формула для асимптотического распределения оценки GMM упрощается до

${\displaystyle {\sqrt {T}}{\big (}{\hat {\theta }}-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}{\big [}0,(G^{\mathsf {T}}\,\Omega ^{-1}G)^{-1}{\big ]}}$

Доказательство того, что такой выбор весовой матрицы действительно является оптимальным, часто принимается с небольшими изменениями при установлении эффективности других оценок. Как показывает опыт, матрица взвешивания является оптимальной, когда она превращает «формулу сэндвича» для сжатия дисперсии в более простое выражение.

Доказательство. Мы рассмотрим разницу между асимптотической дисперсией с произвольным W и асимптотическая дисперсия с ${\displaystyle W=\Omega ^{-1}}$. Если мы можем разложить эту разницу на симметричное произведение вида CC ' для какой-то матрицы C, то это будет гарантировать, что эта разность неотрицательно определена, и, следовательно, ${\displaystyle W=\Omega ^{-1}}$ будет оптимальным по определению.
${\displaystyle \,V(W)-V(\Omega ^{-1})}$	${\displaystyle \,=(G^{\mathsf {T}}WG)^{-1}G^{\mathsf {T}}W\Omega WG(G^{\mathsf {T}}WG)^{-1}-(G^{\mathsf {T}}\Omega ^{-1}G)^{-1}}$
	${\displaystyle \,=(G^{\mathsf {T}}WG)^{-1}{\Big (}G^{\mathsf {T}}W\Omega WG-G^{\mathsf {T}}WG(G^{\mathsf {T}}\Omega ^{-1}G)^{-1}G^{\mathsf {T}}WG{\Big )}(G^{\mathsf {T}}WG)^{-1}}$
	${\displaystyle \,=(G^{\mathsf {T}}WG)^{-1}G^{\mathsf {T}}W\Omega ^{1/2}{\Big (}I-\Omega ^{-1/2}G(G^{\mathsf {T}}\Omega ^{-1}G)^{-1}G^{\mathsf {T}}\Omega ^{-1/2}{\Big )}\Omega ^{1/2}WG(G^{\mathsf {T}}WG)^{-1}}$
	${\displaystyle \,=A(I-B)A^{\mathsf {T}},}$
где мы ввели матрицы А и B чтобы немного упростить обозначения; я является единичная матрица. Мы видим, что матрица B вот симметричный и идемпотент: ${\displaystyle B^{2}=B}$. Это означает I − B симметрична и идемпотентна: ${\displaystyle I-B=(I-B)(I-B)^{\mathsf {T}}}$. Таким образом, мы можем продолжить факторизацию предыдущего выражения как
	${\displaystyle \,=A(I-B)(I-B)^{\mathsf {T}}A^{\mathsf {T}}={\Big (}A(I-B){\Big )}{\Big (}A(I-B){\Big )}^{\mathsf {T}}\geq 0}$

Выполнение

Одна из трудностей с реализацией изложенного метода заключается в том, что мы не можем W = Ω⁻¹ потому что по определению матрицы Ω нам нужно знать значение θ₀ чтобы вычислить эту матрицу, и θ₀ это как раз то количество, которое мы не знаем и пытаемся оценить в первую очередь. В случае Y_т будучи iid мы можем оценить W в качестве

${\displaystyle {\hat {W}}_{T}({\hat {\theta }})={\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }})g(Y_{t},{\hat {\theta }})^{\mathsf {T}}{\bigg )}^{-1}.}$

Существует несколько подходов к решению этой проблемы, первый из которых является наиболее популярным:

• Двухступенчатый возможный GMM:
  • Шаг 1: Брать W = I (в единичная матрица ) или другую положительно определенную матрицу и вычислить предварительную оценку GMM ${\displaystyle \scriptstyle {\hat {\theta }}_{(1)}}$. Эта оценка совместима для θ₀, хотя и неэффективно.
  • Шаг 2: ${\displaystyle {\hat {W}}_{T}({\hat {\theta }}_{(1)})}$ сходится по вероятности к Ω⁻¹ и поэтому, если мы вычислим ${\displaystyle \scriptstyle {\hat {\theta }}}$ с этой матрицей весов оценка будет асимптотически эффективный.
• Итерированный GMM. По сути та же процедура, что и двухэтапный GMM, за исключением того, что матрица ${\displaystyle {\hat {W}}_{T}}$ пересчитывается несколько раз. То есть оценка, полученная на шаге 2, используется для вычисления весовой матрицы для шага 3 и так далее, пока не будет выполнен некоторый критерий сходимости.

  ${\displaystyle {\hat {\theta }}_{(i+1)}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}({\hat {\theta }}_{(i)}){\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}}$

  Асимптотически никакое улучшение не может быть достигнуто с помощью таких итераций, хотя некоторые эксперименты Монте-Карло предполагают, что свойства конечной выборки этой оценки немного лучше.^{[нужна цитата ]}
• Постоянное обновление GMM (CUGMM или CUE). Оценки ${\displaystyle \scriptstyle {\hat {\theta }}}$ одновременно с оценкой весовой матрицы W:

  ${\displaystyle {\hat {\theta }}=\operatorname {arg} \min _{\theta \in \Theta }{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}(\theta ){\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},\theta ){\bigg )}}$

  В экспериментах Монте-Карло этот метод продемонстрировал лучшую производительность, чем традиционный двухэтапный GMM: оценка имеет меньшее медианное смещение (хотя и более широкие хвосты), а J-тест для переопределения ограничений во многих случаях был более надежным.^[4]

Еще одна важная проблема в реализации процедуры минимизации заключается в том, что функция должна перебирать (возможно, многомерное) пространство параметров. Θ и найти значение θ что минимизирует целевую функцию. Общей рекомендации по такой процедуре не существует, это предмет отдельной области, численная оптимизация.

Сарган – Хансен J-тест

Основная статья: Тест Саргана – Хансена

Когда количество моментов больше, чем размерность вектора параметров θ, модель называется чрезмерно идентифицированный. Сарган (1958) предложил тесты для чрезмерной идентификации ограничений, основанные на оценках инструментальных переменных, которые распределяются в больших выборках как переменные хи-квадрат со степенями свободы, которые зависят от количества чрезмерно идентифицируемых ограничений. Впоследствии Хансен (1982) применил этот тест к математически эквивалентной формулировке оценок GMM. Обратите внимание, однако, что такая статистика может быть отрицательной в эмпирических приложениях, где модели указаны неправильно, и тесты отношения правдоподобия могут дать понимание, поскольку модели оцениваются как при нулевой, так и при альтернативной гипотезе (Bhargava and Sargan, 1983).

Концептуально мы можем проверить, ${\displaystyle {\hat {m}}({\hat {\theta }})}$ достаточно близко к нулю, чтобы предположить, что модель хорошо соответствует данным. Затем метод GMM заменил задачу решения уравнения ${\displaystyle {\hat {m}}(\theta )=0}$, который выбирает ${\displaystyle \theta }$ чтобы точно соответствовать ограничениям, вычислением минимизации. Минимизацию всегда можно провести, даже если нет ${\displaystyle \theta _{0}}$ существует такое, что ${\displaystyle m(\theta _{0})=0}$. Это то, что делает J-test. J-тест также называется тест на переопределение ограничений.

Формально мы рассматриваем два гипотезы:

• ${\displaystyle H_{0}:\ m(\theta _{0})=0}$ (в нулевая гипотеза что модель «действительна»), и
• ${\displaystyle H_{1}:\ m(\theta )\neq 0,\ \forall \theta \in \Theta }$ (в Альтернативная гипотеза эта модель «недействительна»; данные не соответствуют ограничениям)

Под гипотезой ${\displaystyle H_{0}}$, следующая так называемая J-статистика асимптотически хи-квадрат распространяется с k – l степени свободы. Определять J быть:

${\displaystyle J\equiv T\cdot {\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }}){\bigg )}^{\mathsf {T}}{\hat {W}}_{T}{\bigg (}{\frac {1}{T}}\sum _{t=1}^{T}g(Y_{t},{\hat {\theta }}){\bigg )}\ {\xrightarrow {d}}\ \chi _{k-\ell }^{2}}$ под ${\displaystyle H_{0},}$

куда ${\displaystyle {\hat {\theta }}}$ - оценка GMM параметра ${\displaystyle \theta _{0}}$, k - количество моментных условий (размерность вектора грамм), и л - количество оцениваемых параметров (размерность вектора θ). Матрица ${\displaystyle {\hat {W}}_{T}}$ должен сходиться по вероятности к ${\displaystyle \Omega ^{-1}}$, эффективная матрица весов (обратите внимание, что ранее мы требовали только, чтобы W быть пропорциональным ${\displaystyle \Omega ^{-1}}$ чтобы оценщик был эффективным; однако для проведения J-теста W должен быть точно равен ${\displaystyle \Omega ^{-1}}$, а не просто пропорционально).

По альтернативной гипотезе ${\displaystyle H_{1}}$, J-статистика асимптотически неограничена:

${\displaystyle J\ {\xrightarrow {p}}\ \infty }$ под ${\displaystyle H_{1}}$

Для проведения теста вычисляем значение J из данных. Это неотрицательное число. Мы сравниваем его (например) с 0,95 квантиль из${\displaystyle \chi _{k-\ell }^{2}}$ распределение:

• ${\displaystyle H_{0}}$ отклоняется с доверительной вероятностью 95%, если ${\displaystyle J>q_{0.95}^{\chi _{k-\ell }^{2}}}$
• ${\displaystyle H_{0}}$ не может быть отклонен с доверительной вероятностью 95%, если ${\displaystyle J<q_{0.95}^{\chi _{k-\ell }^{2}}}$

Объем

Многие другие популярные методы оценки можно применить с точки зрения оптимизации GMM:

• Обычный метод наименьших квадратов (OLS) эквивалентно GMM с моментными условиями:

  ${\displaystyle \operatorname {E} [\,x_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )\,]=0}$

• Взвешенный метод наименьших квадратов (WLS)
  ${\displaystyle \operatorname {E} [\,x_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )/\sigma ^{2}(x_{t})\,]=0}$
• Инструментальные переменные регрессия (IV)
  ${\displaystyle \operatorname {E} [\,z_{t}(y_{t}-x_{t}^{\mathsf {T}}\beta )\,]=0}$
• Нелинейный метод наименьших квадратов (NLLS):
  ${\displaystyle \operatorname {E} [\,\nabla _{\!\beta }\,g(x_{t},\beta )\cdot (y_{t}-g(x_{t},\beta ))\,]=0}$
• Максимальная вероятность оценка (MLE):
  ${\displaystyle \operatorname {E} [\,\nabla _{\!\theta }\ln f(x_{t},\theta )\,]=0}$

Реализации

• Викибук по программированию на R, Метод моментов
• р
• Stata
• EViews
• SAS
• Гретл

Смотрите также

• Метод максимального правдоподобия
• Обобщенное эмпирическое правдоподобие
• Оценка Ареллано – Бонда

Рекомендации

1. Хаяси, Фумио (2000). Эконометрика. Издательство Принстонского университета. п. 206. ISBN  0-691-01018-8.
2. Хансен, Ларс Питер (1982). «Свойства большой выборки обобщенного метода оценщиков моментов». Econometrica. 50 (4): 1029–1054. Дои:10.2307/1912775. JSTOR  1912775.
3. Newey, W .; Макфадден, Д. (1994). «Оценка большой выборки и проверка гипотез». Справочник по эконометрике. 4. Elsevier Science. С. 2111–2245. CiteSeerX  10.1.1.724.4480. Дои:10.1016 / S1573-4412 (05) 80005-4. ISBN  9780444887665.
4. Хансен, Ларс Питер; Хитон, Джон; Ярон, Амир (1996). «Конечно-выборочные свойства некоторых альтернативных оценок GMM» (PDF). Журнал деловой и экономической статистики. 14 (3): 262–280. Дои:10.1080/07350015.1996.10524656. JSTOR  1392442.

дальнейшее чтение

• Хубер, П. (1967). Поведение оценок максимального правдоподобия в нестандартных условиях. Труды Пятого симпозиума Беркли по математической статистике и вероятности 1, 221-233.

• Ньюи В., Макфадден Д. (1994). Оценка большой выборки и проверка гипотез, Справочник по эконометрике, глава 36. Elsevier Science.

• Имбенс, Гвидо В.; Spady, Ричард Х .; Джонсон, Филлип (1998). "Теоретико-информационные подходы к выводу в моделях моментных состояний" (PDF). Econometrica. 66 (2): 333–357. Дои:10.2307/2998561. JSTOR  2998561.

• Сарган, Дж. Д. (1958). Оценка экономических отношений с использованием инструментальных переменных. Econometrica, 26, 393-415.

• Сарган, Дж. Д. (1959). Оценка взаимосвязи с автокоррелированными остатками с использованием инструментальных переменных. Журнал Королевского статистического общества B, 21, 91-105.

• Ван, С.Ю., Ван, С., и Кэрролл, Р. (1997). Оценка при выборке на основе выбора с ошибкой измерения и бутстрап-анализом. Journal of Econometrics, 77, 65-86.

• Бхаргава А. и Сарган Дж. Д. (1983).Оценка динамических случайных эффектов на основе панельных данных за короткие периоды времени. Econometrica, 51, 6, 1635–1659.

• Хаяси, Фумио (2000). Эконометрика. Принстон: Издательство Принстонского университета. ISBN  0-691-01018-8.
• Хансен, Ларс Питер (2002). «Метод моментов». В Смелзер, Н. Дж.; Бейтс, П. Б. (ред.). Международная энциклопедия социальных и поведенческих наук. Оксфорд: Пергамон.
• Холл, Аластер Р. (2005). Обобщенный метод моментов. Продвинутые тексты по эконометрике. Издательство Оксфордского университета. ISBN  0-19-877520-2.
• Faciane, Кирби Адам младший (2006). Статистика для эмпирических и количественных финансов. Статистика для эмпирических и количественных финансов. H.C. Бэрд. ISBN  0-9788208-9-4.
• Специальные выпуски журнала Business and Economic Statistics: т. 14, вып. 3 и т. 20, нет. 4.