Многомерная пробит-модель - Multivariate probit model - Wikipedia

Эта статья посвящена моделированию нескольких коррелированных бинарных результатов. Для моделирования одного события с несколькими результатами см. полиномиальный пробит.

В статистика и эконометрика, то многомерная пробит модель является обобщением пробит модель используется для совместной оценки нескольких коррелированных бинарных результатов. Например, если считается, что решения об отправке хотя бы одного ребенка в государственную школу и решение о голосовании в пользу школьного бюджета коррелированы (оба решения бинарны), то многомерная пробит-модель будет подходящей для совместного прогнозирования этих два варианта на индивидуальной основе. Этот подход изначально был разработан Сиддхартха Чиб и Эдвард Гринберг.^[1]

Пример: двумерный пробит

В обычной пробит-модели есть только одна двоичная зависимая переменная ${\displaystyle Y}$ и так только один скрытая переменная ${\displaystyle Y^{*}}$ используется. Напротив, в двумерной пробит-модели есть две двоичные зависимые переменные. ${\displaystyle Y_{1}}$ и ${\displaystyle Y_{2}}$, так что есть две скрытые переменные: ${\displaystyle Y_{1}^{*}}$ и ${\displaystyle Y_{2}^{*}}$Предполагается, что каждая наблюдаемая переменная принимает значение 1 тогда и только тогда, когда лежащая в основе непрерывная скрытая переменная принимает положительное значение:

${\displaystyle Y_{1}={\begin{cases}1&{\text{if }}Y_{1}^{*}>0,\\0&{\text{otherwise}},\end{cases}}}$

${\displaystyle Y_{2}={\begin{cases}1&{\text{if }}Y_{2}^{*}>0,\\0&{\text{otherwise}},\end{cases}}}$

с

${\displaystyle {\begin{cases}Y_{1}^{*}=X_{1}\beta _{1}+\varepsilon _{1}\\Y_{2}^{*}=X_{2}\beta _{2}+\varepsilon _{2}\end{cases}}}$

и

${\displaystyle {\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\end{bmatrix}}\mid X\sim {\mathcal {N}}\left({\begin{bmatrix}0\\0\end{bmatrix}},{\begin{bmatrix}1&\rho \\\rho &1\end{bmatrix}}\right)}$

Подбор двумерной пробит-модели включает оценку значений ${\displaystyle \beta _{1},\ \beta _{2},}$ и ${\displaystyle \rho }$. Для этого вероятность модели должна быть максимальной. Эта вероятность

${\displaystyle {\begin{aligned}L(\beta _{1},\beta _{2})={\Big (}\prod &P(Y_{1}=1,Y_{2}=1\mid \beta _{1},\beta _{2})^{Y_{1}Y_{2}}P(Y_{1}=0,Y_{2}=1\mid \beta _{1},\beta _{2})^{(1-Y_{1})Y_{2}}\\[8pt]&{}\qquad P(Y_{1}=1,Y_{2}=0\mid \beta _{1},\beta _{2})^{Y_{1}(1-Y_{2})}P(Y_{1}=0,Y_{2}=0\mid \beta _{1},\beta _{2})^{(1-Y_{1})(1-Y_{2})}{\Big )}\end{aligned}}}$

Подстановка скрытых переменных ${\displaystyle Y_{1}^{*}}$ и ${\displaystyle Y_{2}^{*}}$ в функциях вероятности и ведении журналов дает

${\displaystyle {\begin{aligned}\sum &{\Big (}Y_{1}Y_{2}\ln P(\varepsilon _{1}>-X_{1}\beta _{1},\varepsilon _{2}>-X_{2}\beta _{2})\\[4pt]&{}\quad {}+(1-Y_{1})Y_{2}\ln P(\varepsilon _{1}<-X_{1}\beta _{1},\varepsilon _{2}>-X_{2}\beta _{2})\\[4pt]&{}\quad {}+Y_{1}(1-Y_{2})\ln P(\varepsilon _{1}>-X_{1}\beta _{1},\varepsilon _{2}<-X_{2}\beta _{2})\\[4pt]&{}\quad {}+(1-Y_{1})(1-Y_{2})\ln P(\varepsilon _{1}<-X_{1}\beta _{1},\varepsilon _{2}<-X_{2}\beta _{2}){\Big )}.\end{aligned}}}$

После некоторой переписывания функция логарифмического правдоподобия становится:

${\displaystyle {\begin{aligned}\sum &{\Big (}Y_{1}Y_{2}\ln \Phi (X_{1}\beta _{1},X_{2}\beta _{2},\rho )\\[4pt]&{}\quad {}+(1-Y_{1})Y_{2}\ln \Phi (-X_{1}\beta _{1},X_{2}\beta _{2},-\rho )\\[4pt]&{}\quad {}+Y_{1}(1-Y_{2})\ln \Phi (X_{1}\beta _{1},-X_{2}\beta _{2},-\rho )\\[4pt]&{}\quad {}+(1-Y_{1})(1-Y_{2})\ln \Phi (-X_{1}\beta _{1},-X_{2}\beta _{2},\rho ){\Big )}.\end{aligned}}}$

Обратите внимание, что ${\displaystyle \Phi }$ это кумулятивная функция распределения из двумерное нормальное распределение. ${\displaystyle Y_{1}}$ и ${\displaystyle Y_{2}}$ в функции логарифмического правдоподобия наблюдаемые переменные равны единице или нулю.

Многовариантный пробит

В общем случае ${\displaystyle \mathbf {y_{i}} =(y_{1},...,y_{j}),\ (i=1,...,N)}$ где мы можем взять ${\displaystyle j}$ как выбор и ${\displaystyle i}$ как отдельные лица или наблюдения, вероятность наблюдения за выбором ${\displaystyle \mathbf {y_{i}} }$ является

${\displaystyle {\begin{aligned}\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int _{A_{J}}\cdots \int _{A_{1}}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )dy_{1}^{*}\dots dy_{J}^{*}\\\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )=&\int \mathbb {1} _{y^{*}\in A}f_{N}(\mathbf {y} _{i}^{*}|\mathbf {X_{i}\beta } ,\Sigma )d\mathbf {y} _{i}^{*}\end{aligned}}}$

Где ${\displaystyle A=A_{1}\times \cdots \times A_{J}}$ и,

${\displaystyle A_{j}={\begin{cases}(-\infty ,0]&y_{j}^{*}=0\\(0,\infty )&y_{j}^{*}=1\end{cases}}}$

Функция логарифма правдоподобия в этом случае будет ${\displaystyle \sum _{i=1}^{N}\log \Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta } ,\Sigma )}$

Кроме ${\displaystyle J\leq 2}$ обычно не существует решения в замкнутой форме для интегралов в уравнении логарифмического правдоподобия. Вместо этого для моделирования вероятностей выбора могут использоваться методы моделирования. Методы, использующие выборку по важности, включают Алгоритм GHK (Гевеке, Хадживассилу, Макфадден и Кин),^[2] AR (accept-reject), метод Стерна. Существуют также подходы MCMC к этой проблеме, включая CRB (метод Чиба с Рао-Блэквеллизацией), CRT (Чиб, Риттер, Таннер), ARK (ядро принятия-отклонения) и ASK (ядро с адаптивной выборкой).^[3]. В Probit-LMM (Mandt, Wenzel, Nakajima et al.) Предлагается вариационный подход к масштабированию до больших наборов данных.^[4]

Рекомендации

1. Чиб, Сиддхартха; Гринберг, Эдвард (июнь 1998 г.). «Анализ многомерных пробит-моделей». Биометрика. 85 (2): 347–361. CiteSeerX  10.1.1.198.8541. Дои:10.1093 / biomet / 85.2.347 - через Oxford Academic.
2. Гадживассилиу, Василис (1994). «Глава 40 Классические методы оценки для моделей LDV с помощью моделирования». Справочник по эконометрике. 4: 2383–2441. Дои:10.1016 / S1573-4412 (05) 80009-1. ISBN  9780444887665.
3. Елязков, Иван (2010). «Перспективы MCMC по моделированию оценки правдоподобия». Достижения в эконометрике. 26: 3–39. Дои:10.1108 / S0731-9053 (2010) 0000026005. ISBN  978-0-85724-149-8.
4. Мандт, Стефан; Венцель, Флориан; Накадзима, Шиничи; Джон, Каннингем; Липперт, Кристоф; Клофт, Мариус (2017). «Разреженная пробит линейная смешанная модель» (PDF). Машинное обучение. 106 (9–10): 1–22. arXiv:1507.04777. Дои:10.1007 / s10994-017-5652-6.

дальнейшее чтение

• Грин, Уильям Х., Эконометрический анализ, седьмое издание, Prentice-Hall, 2012.