Алгоритм GHK - GHK algorithm

В Алгоритм GHK (Гевеке, Хадживассилиу и Кин)^[1] является выборка по важности метод моделирования вероятностей выбора в многомерная пробит модель. Эти смоделированные вероятности можно использовать для восстановления оценок параметров из уравнения максимального правдоподобия с использованием любого из обычных хорошо известных методов максимизации (Метод Ньютона, BFGS, так далее.). Тренироваться^[2] имеет хорошо задокументированные шаги для реализации этого алгоритма для полиномиальной пробит-модели. Дальнейшее здесь применимо к бинарной многомерной пробит-модели.

Рассмотрим случай, когда кто-то пытается оценить вероятность выбора ${\displaystyle \Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )}$ куда ${\displaystyle \mathbf {y_{i}} =(y_{1},...,y_{J}),\ (i=1,...,N)}$ и где мы можем взять ${\displaystyle j}$ как выбор и ${\displaystyle i}$ как отдельные лица или наблюдения, ${\displaystyle \mathbf {X_{i}\beta } }$ это среднее и ${\displaystyle \Sigma }$ - ковариационная матрица модели. Вероятность соблюдения выбора ${\displaystyle \mathbf {y_{i}} }$ является

${\displaystyle {\begin{aligned}\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int _{A_{J}}\cdots \int _{A_{1}}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )dy_{1}^{*}\dots dy_{J}^{*}\\\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int \mathbb {1} _{y^{*}\in A}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )d\mathbf {y} _{i}^{*}\end{aligned}}}$

Где ${\displaystyle A=A_{1}\times \cdots \times A_{J}}$ и,

${\displaystyle A_{j}={\begin{cases}(-\infty ,0]&y_{j}=0\\(0,\infty )&y_{j}=1\end{cases}}}$

Пока не ${\displaystyle J}$ мало (меньше или равно 2), нет решения в закрытой форме для интегралов, определенных выше (некоторая работа была проделана с ${\displaystyle J=3}$^[3]). Альтернативой вычислению этих интегралов в замкнутой форме или квадратурными методами является использование моделирования. GHK - это метод моделирования для моделирования указанной выше вероятности с использованием методов выборки по важности.

Оценка ${\displaystyle \Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=\int \mathbb {1} _{y^{*}\in A}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )d\mathbf {y} _{i}^{*}}$ упрощается за счет признания того, что скрытая модель данных ${\displaystyle \mathbf {y_{i}^{*}} =\mathbf {X_{i}\beta } +\epsilon }$ можно переписать с использованием факторизации Холецкого, ${\displaystyle \Sigma =CC'}$. Это дает ${\displaystyle \mathbf {y_{i}^{*}} =\mathbf {X_{i}\beta } +C\eta _{i}}$ где ${\displaystyle \eta _{i}}$ условия распространяются ${\displaystyle N(0,\mathbf {I} )}$.

Используя эту факторизацию и тот факт, что ${\displaystyle \eta _{i}}$ распределены независимо, можно смоделировать вытяжки из усеченного многомерного нормального распределения, используя вытяжки из одномерного случайного нормального.

Например, если область усечения ${\displaystyle \mathbf {A} }$ имеет нижний и верхний пределы, равные ${\displaystyle [a,b]}$ (включая a, b = ${\displaystyle \pm \infty }$) тогда задача становится

${\displaystyle {\begin{array}{lcl}a<&y_{1}^{*}&<b\\a<&y_{2}^{*}&<b\\\vdots &\vdots &\vdots \\a<&y_{J}^{*}&<b\\\end{array}}}$

Примечание: ${\displaystyle \mathbf {y_{i}^{*}} =\mathbf {X_{i}\beta } +C\eta _{i}}$, заменяя:

${\displaystyle {\begin{array}{lcl}a<&x_{1}\beta _{1}+c_{11}\eta _{1}&<b\\a<&x_{2}\beta _{2}+c_{21}\eta _{1}+c_{22}\eta _{2}&<b\\\vdots &\vdots &\vdots \\a<&x_{J}\beta _{J}+\sum _{k=1}^{J}c_{J,k}\eta _{k}&<b\\\end{array}}}$

Переставив выше,

${\displaystyle {\begin{array}{ccc}{\frac {a-x_{1}\beta _{1}}{c_{11}}}&<\eta _{1}<&{\frac {b-x_{1}\beta _{1}}{c_{11}}}\\{\frac {a-(x_{2}\beta _{2}+c_{21}\eta _{1})}{c_{22}}}&<\eta _{2}<&{\frac {b-(x_{2}\beta _{2}+c_{21}\eta _{1})}{c_{22}}}\\\vdots &\vdots &\vdots \\{\frac {a-(x_{J}\beta _{J}+\sum _{k=1}^{J-1}c_{J,k})}{c_{J,J}}}&<\eta _{k}<&{\frac {b-(x_{J}\beta _{J}+\sum _{k=1}^{J-1}c_{J,k})}{c_{J,J}}}\\\end{array}}}$

Теперь все, что нужно сделать, это итеративно извлечь из усеченного одномерного нормального распределения с указанными выше границами. Это можно сделать с помощью метода обратного CDF, и, учитывая усеченное нормальное распределение,

${\displaystyle u={\frac {\Phi ({\frac {x-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }})}{\Phi ({\frac {b-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }})}}}$

Где ${\displaystyle u}$ будет числом от 0 до 1, потому что это CDF. Это предлагает генерировать случайные ничьи из усеченного распределения, которое нужно решить для ${\displaystyle x}$ давая

${\displaystyle x=\sigma F^{-1}(u*(F(\beta )-F(\alpha ))+F(\alpha ))+\mu }$

куда ${\displaystyle \alpha ={\frac {a-\mu }{\sigma }}}$ и ${\displaystyle \beta ={\frac {b-\mu }{\sigma }}}$ и ${\displaystyle F}$ стандартный нормальный CDF. С помощью таких рисунков можно реконструировать ${\displaystyle \mathbf {y_{i}^{*}} }$ его упрощенным уравнением с использованием факторизации Холецкого. Эти отрисовки будут зависеть от предшествующих отрисовок, и с использованием свойств нормалей произведение условных PDF-файлов будет совместным распределением ${\displaystyle \mathbf {y_{i}^{*}} }$,

${\displaystyle q(\mathbf {y_{i}^{*}} |\mathbf {X_{1}\beta } ,\Sigma )=q(y_{1}^{*}|\mathbf {X_{1}\beta } ,\Sigma )q(y_{2}^{*}|y_{1}^{*},\mathbf {X_{1}\beta } ,\Sigma )\dots q(y_{J}^{*}|y_{1}^{*},\dots ,y_{J-1}^{*},\mathbf {X_{1}\beta } ,\Sigma )}$

Где ${\displaystyle q(\cdot )}$ - многомерное нормальное распределение.

Потому что ${\displaystyle y_{j}^{*}}$ при условии ${\displaystyle y_{k},\ k<j}$ ограничен набором ${\displaystyle A}$ установив факторизацию Холецкого, мы знаем, что ${\displaystyle q(\cdot )}$ - усеченная многомерная нормаль. Функция распределения усеченный нормальный является,

${\displaystyle {\frac {\phi ({\frac {x-\mu }{\sigma }})}{\sigma (\Phi ({\frac {b-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }}))}}}$

Следовательно, ${\displaystyle y_{j}^{*}}$ имеет распространение,

${\displaystyle {\begin{aligned}q(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )&={\frac {{\frac {1}{c_{11}}}\phi _{1}{\Big (}{\frac {y_{j}^{*}-x_{1}\beta }{c_{11}}}{\Big )}}{{\Big (}\Phi _{1}{\Big (}{\frac {b-x_{1}\beta }{c_{11}}}{\Big )}-\Phi _{1}{\Big (}{\frac {a-x_{1}\beta }{c_{11}}}{\Big )}{\Big )}}}\times \dots \times {\frac {{\frac {1}{c_{JJ}}}\phi _{J}{\Big (}{\frac {y_{J}^{*}-(x_{J}\beta +c_{J1}\eta _{1}+c_{J2}\eta _{2}+\dots +c_{JJ-1}\eta _{J-1})}{c_{JJ}}}{\Big )}}{{\Big (}\Phi _{J}{\Big (}{\frac {b-(x_{J}\beta +c_{J1}\eta _{1}+c_{J2}\eta _{2}+\dots +c_{JJ-1}\eta _{J-1})}{c_{JJ}}}{\Big )}-\Phi _{J}{\Big (}{\frac {a-(x_{J}\beta +c_{J1}\eta _{1}+c_{J2}\eta _{2}+\dots +c_{JJ-1}\eta _{J-1}}{c_{JJ}}}{\Big )}{\Big )}}}\\&={\frac {\prod _{j=1}^{J}{\frac {1}{c_{jj}}}\phi _{j}{\Big (}{\frac {y_{j}^{*}-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}}{\prod _{j=1}^{J}{\Big (}\Phi _{j}{\Big (}{\frac {b-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}-\Phi {\Big (}{\frac {a-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}{\Big )}}}\end{aligned}}}$

куда ${\displaystyle \phi _{j}}$ стандартный нормальный pdf для выбора ${\displaystyle j}$.

Потому что ${\displaystyle y_{j|\{y_{k<j}^{*}\}}^{*}\sim N(\mathbf {X_{i}\beta } +\sum _{k=1}^{k<j}c_{jk}\eta _{k},c_{jj}^{2})}$ Вышеупомянутая стандартизация делает каждый термин средним 0, дисперсия 1.

Пусть знаменатель ${\displaystyle \prod _{j=1}^{J}\Phi _{j}{\Big (}{\frac {b-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}-\Phi {\Big (}{\frac {a-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}=\prod _{j=1}^{J}l_{jj}}$ и числитель ${\displaystyle \prod _{j=1}^{J}{\frac {1}{c_{jj}}}\phi _{j}{\Big (}{\frac {y_{j}^{*}-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}=f_{N}(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )}$ куда ${\displaystyle f_{N}(\cdot )}$ - многомерный нормальный PDF.

Возвращаясь к исходной цели, чтобы оценить

${\displaystyle {\begin{aligned}\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int _{A_{j}}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )dy_{j}^{*}\\\end{aligned}}}$

Используя выборку по важности, мы можем оценить этот интеграл,

${\displaystyle {\begin{aligned}\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int _{A_{j}}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )dy_{j}^{*}\\=&\int _{A_{j}}{\frac {f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )}{q(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )}}q(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )dy_{j}^{*}\\=&\int _{A_{j}}{\frac {f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )}{\frac {f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )}{\prod _{j=1}^{J}l_{jj}}}}q(\mathbf {y_{i}^{*}} |\mathbf {X_{i}\beta } ,\Sigma )dy_{j}^{*}\\=&\mathbb {E} _{\mathbf {q} }{\Big (}\prod _{j=1}^{J}l_{jj}{\Big )}\\\end{aligned}}}$

Это хорошо аппроксимируется ${\displaystyle {\frac {1}{S}}\sum _{s=1}^{S}\prod _{j=1}^{J}l_{jj}}$.

Рекомендации

1. Гадживассилиу, Василис (1994). «КЛАССИЧЕСКИЕ МЕТОДЫ ОЦЕНКИ МОДЕЛЕЙ LDV С ИСПОЛЬЗОВАНИЕМ МОДЕЛИРОВАНИЯ» (PDF). Справочник по эконометрике.
2. Поезд, Кеннет (2003). Методы дискретного выбора с моделированием. Издательство Кембриджского университета.
3. Грин, Уильям (2003). Эконометрический анализ. Прентис Холл.