Байесовское иерархическое моделирование - Bayesian hierarchical modeling

Байесовское иерархическое моделирование это статистическая модель написанные на нескольких уровнях (иерархическая форма), которые оценивают параметры из апостериорное распределение с использованием Байесовский метод.^[1] Подмодели объединяются, образуя иерархическую модель, и Теорема Байеса используется для интеграции их с наблюдаемыми данными и учета всей имеющейся неопределенности. Результатом этого интегрирования является апостериорное распределение, также известное как обновленная оценка вероятности, как дополнительное свидетельство предварительное распространение приобретается.

Статистика Frequentist может привести к выводам, которые кажутся несовместимыми с выводами, предлагаемыми байесовской статистикой из-за байесовской обработки параметров как случайные переменные и использование субъективной информации при создании предположений об этих параметрах.^[2] Поскольку подходы отвечают на разные вопросы, формальные результаты технически не противоречат друг другу, но два подхода расходятся во мнениях относительно того, какой ответ актуален для конкретных приложений. Байесовцы утверждают, что нельзя игнорировать релевантную информацию, касающуюся принятия решений и обновления убеждений, и что иерархическое моделирование может отменить классические методы в приложениях, где респонденты предоставляют несколько данных наблюдений. Более того, модель оказалась крепкий, причем апостериорное распределение менее чувствительно к более гибким иерархическим априорным значениям.

Иерархическое моделирование используется, когда информация доступна на нескольких разных уровнях единиц наблюдения. Иерархическая форма анализа и организации помогает в понимании многопараметрических задач, а также играет важную роль в разработке вычислительных стратегий.^[3]

Философия

Статистические методы и модели обычно включают несколько параметров, которые можно рассматривать как связанные или связанные таким образом, что проблема подразумевает зависимость совместной вероятностной модели для этих параметров.^[4]Индивидуальные степени веры, выраженные в форме вероятностей, сопровождаются неопределенностью.^[5] При этом степень веры меняется с течением времени. Как заявил профессор Хосе М. Бернардо и профессор Адриан Ф. Смит, «Актуальность процесса обучения заключается в эволюции индивидуальных и субъективных представлений о реальности». Эти субъективные вероятности более непосредственно связаны с умом, чем с физическими вероятностями.^[5] Следовательно, именно с этой необходимостью обновления убеждений байесовцы сформулировали альтернативную статистическую модель, которая принимает во внимание предшествующее наступление определенного события.^[6]

Теорема Байеса

Предполагаемое наступление реального события обычно изменяет предпочтения между определенными вариантами. Это делается путем изменения степени убежденности, привязанной человеком к событиям, определяющим варианты.^[7]

Предположим, что при исследовании эффективности кардиологического лечения пациенты в больнице j с вероятностью выживания ${\displaystyle \theta _{j}}$, вероятность выживания будет обновляться с появлением у, событие, при котором создается сомнительная сыворотка, которая, по мнению некоторых, увеличивает выживаемость сердечных пациентов.

Чтобы сделать обновленные вероятностные утверждения о ${\displaystyle \theta _{j}}$, учитывая наступление события у, мы должны начать с модели, обеспечивающей совместное распределение вероятностей за ${\displaystyle \theta _{j}}$ и у. Это можно записать как произведение двух дистрибутивов, которые часто называют априорным распределением. ${\displaystyle P(\theta )}$ и выборочное распределение ${\displaystyle P(y\mid \theta )}$ соответственно:

${\displaystyle P(\theta ,y)=P(\theta )P(y\mid \theta )}$

Используя основное свойство условная возможность, апостериорное распределение даст:

${\displaystyle P(\theta \mid y)={\frac {P(\theta ,y)}{P(y)}}={\frac {P(y\mid \theta )P(\theta )}{P(y)}}}$

Это уравнение, показывающее связь между условной вероятностью и отдельными событиями, известно как теорема Байеса. Это простое выражение инкапсулирует техническое ядро ​​байесовского вывода, цель которого - включить обновленное убеждение, ${\displaystyle P(\theta \mid y)}$, подходящими и решаемыми способами.^[7]

Возможность обмена

Обычно отправной точкой статистического анализа является предположение, что п значения ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ можно обменять. Если нет информации - кроме данных у - можно различить любой из ${\displaystyle \theta _{j}}$От любых других, и не может быть выполнено упорядочивание или группировка параметров, необходимо предположить симметрию между параметрами в их предыдущем распределении.^[8] Эта симметрия вероятностно представлена ​​взаимозаменяемостью. Как правило, полезно и уместно моделировать данные из обменного распределения как независимо и одинаково распределены, учитывая некоторый неизвестный вектор параметров ${\displaystyle \theta }$, с раздачей ${\displaystyle P(\theta )}$.

Конечная заменяемость

На фиксированный номер п, набор ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ подлежит обмену, если совместная вероятность ${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})}$ инвариантен относительно перестановки индексов. То есть для каждой перестановки ${\displaystyle \pi }$ или же ${\displaystyle (\pi _{1},\pi _{2},\ldots ,\pi _{n})}$ из (1, 2,…, п), ${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}}).}$^[9]

Ниже приводится заменяемый, но не независимый и идентичный (iid) пример: рассмотрим урну с красным шаром и синим шаром внутри, с вероятностью ${\displaystyle {\frac {1}{2}}}$ рисования тоже. Шары тянутся без замены, т.е. после того, как один шар вытянут из п шары, будет п - Остался 1 мяч для следующего розыгрыша.

${\displaystyle {\text{Let }}Y_{i}={\begin{cases}1,&{\text{if the }}i{\text{th ball is red}},\\0,&{\text{otherwise}}.\end{cases}}}$

Поскольку вероятность выбора красного шара при первом розыгрыше и синего шара при втором розыгрыше равна вероятности выбора синего шара при первом розыгрыше и красного шара при втором розыгрыше, оба из которых равны 1 / 2 (т.е. ${\displaystyle [P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}]}$), тогда ${\displaystyle y_{1}}$ и ${\displaystyle y_{2}}$ можно обменять.

Но вероятность выбора красного шара при втором розыгрыше при условии, что красный шар уже был выбран в первом розыгрыше, равна 0, и не равна вероятности того, что красный шар будет выбран во втором розыгрыше, которая равна 1. / 2 (т.е. ${\displaystyle [P(y_{2}=1\mid y_{1}=1)=0\neq P(y_{2}=1)={\frac {1}{2}}]}$). Таким образом, ${\displaystyle y_{1}}$ и ${\displaystyle y_{2}}$ не являются независимыми.

Если ${\displaystyle x_{1},\ldots ,x_{n}}$ независимы и одинаково распределены, то они взаимозаменяемы, но обратное не всегда верно.^[10]

Бесконечная возможность обмена

Бесконечная возможность обмена - это свойство, что каждое конечное подмножество бесконечной последовательности ${\displaystyle y_{1}}$, ${\displaystyle y_{2},\ldots }$ можно обменять. То есть для любого п, последовательность ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ можно обменять.^[10]

Иерархические модели

Составные части

Байесовское иерархическое моделирование использует две важные концепции при выводе апостериорного распределения:^[1] а именно:

1. Гиперпараметры: параметры априорного распределения
2. Гиперприоры: распределения гиперпараметров

Предположим случайную величину Y следует нормальному распределению с параметром θ как иметь в виду и 1 как отклонение, то есть ${\displaystyle Y\mid \theta \sim N(\theta ,1)}$. В тильда связь ${\displaystyle \sim }$ можно прочитать как «имеет распространение» или «распространяется как». Предположим также, что параметр ${\displaystyle \theta }$ имеет распределение, данное нормальное распределение со средним ${\displaystyle \mu }$ и дисперсия 1, т.е. ${\displaystyle \theta \mid \mu \sim N(\mu ,1)}$. Более того, ${\displaystyle \mu }$ следует другому распределению, задаваемому, например, стандартное нормальное распределение, ${\displaystyle {\text{N}}(0,1)}$. Параметр ${\displaystyle \mu }$ называется гиперпараметром, а его распределение определяется выражением ${\displaystyle {\text{N}}(0,1)}$ является примером гиперприорного распределения. Обозначения распределения Y изменяется при добавлении другого параметра, т.е. ${\displaystyle Y\mid \theta ,\mu \sim N(\theta ,1)}$. Если есть другой этап, скажем, ${\displaystyle \mu }$ следует другому нормальному распределению со средним ${\displaystyle \beta }$ и дисперсия ${\displaystyle \epsilon }$, смысл ${\displaystyle \mu \sim N(\beta ,\epsilon )}$, ${\displaystyle {\mbox{ }}}$${\displaystyle \beta }$ и ${\displaystyle \epsilon }$ также могут называться гиперпараметрами, в то время как их распределения также являются гиперприорными.^[4]

Рамки

Позволять ${\displaystyle y_{j}}$ быть наблюдением и ${\displaystyle \theta _{j}}$ параметр, управляющий процессом генерации данных для ${\displaystyle y_{j}}$. Предположим далее, что параметры ${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{j}}$ генерируются обменно из общей популяции, причем распределение регулируется гиперпараметром ${\displaystyle \phi }$.
Байесовская иерархическая модель содержит следующие этапы:

${\displaystyle {\text{Stage I: }}y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )}$

${\displaystyle {\text{Stage II: }}\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )}$

${\displaystyle {\text{Stage III: }}\phi \sim P(\phi )}$

Вероятность на этапе I равна ${\displaystyle P(y_{j}\mid \theta _{j},\phi )}$, с ${\displaystyle P(\theta _{j},\phi )}$ как его предварительное распространение. Обратите внимание, что вероятность зависит от ${\displaystyle \phi }$ только через ${\displaystyle \theta _{j}}$.

Предыдущее распределение со стадии I можно разбить на:

${\displaystyle P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )}$ [из определения условной вероятности]

С ${\displaystyle \phi }$ как его гиперпараметр с гиперприорным распределением, ${\displaystyle P(\phi )}$.

Таким образом, апостериорное распределение пропорционально:

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )}$ [используя теорему Байеса]

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )}$^[11]

Пример

Чтобы проиллюстрировать это, рассмотрим пример: учитель хочет оценить, насколько хорошо ученик справился с заданием. СИДЕЛ. Учитель использует информацию об оценках учащегося в средней школе и текущих средний балл (GPA), чтобы сделать оценку. Текущий средний балл студента, обозначенный ${\displaystyle Y}$, имеет вероятность, заданную некоторой функцией вероятности с параметром ${\displaystyle \theta }$, т.е. ${\displaystyle Y\mid \theta \sim P(Y\mid \theta )}$. Этот параметр ${\displaystyle \theta }$ это результат SAT студента. Оценка SAT рассматривается как выборка, полученная из общего распределения населения, проиндексированного другим параметром. ${\displaystyle \phi }$, который является классом средней школы учащегося (первокурсник, второкурсник, младший или старший).^[12] То есть, ${\displaystyle \theta \mid \phi \sim P(\theta \mid \phi )}$. Более того, гиперпараметр ${\displaystyle \phi }$ следует своему собственному распределению, данному ${\displaystyle P(\phi )}$, гиперприор. Чтобы вычислить балл SAT с учетом информации о среднем балле,

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$

Вся информация в задаче будет использована для решения апостериорного распределения. Вместо решения только с использованием априорного распределения и функции правдоподобия, использование гиперприоров дает больше информации, чтобы сделать более точные представления о поведении параметра.^[13]

2-х ступенчатая иерархическая модель

В общем, совместное апостериорное распределение интереса в двухступенчатых иерархических моделях следующее:

${\displaystyle P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$^[13]

3-х ступенчатая иерархическая модель

Для трехступенчатых иерархических моделей апостериорное распределение определяется как:

${\displaystyle P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}}$

${\displaystyle P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)}$^[13]

Рекомендации

1. Алленби, Росси, Маккалок (январь 2005 г.). «Иерархическая байесовская модель: руководство для практикующего». Журнал байесовских приложений в маркетинге, стр. 1–4. Проверено 26 апреля 2014 г., стр. 3
2. Гельман, Андрей; Карлин, Джон Б .; Стерн, Хэл С. и Рубин, Дональд Б. (2004). Байесовский анализ данных (второе изд.). Бока-Ратон, Флорида: CRC Press. С. 4–5. ISBN  1-58488-388-X.
3. Гельман и др. 2004 г., п. 6.
4. Гельман и др. 2004 г., п. 117.
5. Хорошо, И.Дж. (1980). «Немного истории иерархической байесовской методологии». Trabajos de Estadistica y de Investigacion Operativa. 31: 489–519. Дои:10.1007 / BF02888365. S2CID  121270218.
6. Бернардо, Смит (1994). Байесовская теория. Чичестер, Англия: John Wiley & Sons, ISBN  0-471-92416-4, п. 23
7. Гельман и др. 2004 г., стр. 6–8.
8. Бернардо, Дегрут, Линдли (сентябрь 1983 г.). «Протоколы второй международной встречи в Валенсии». Байесовская статистика 2. Амстердам: Elsevier Science Publishers B.V, ISBN  0-444-87746-0, стр. 167–168
9. Гельман и др. 2004 г. С. 121–125.
10. Диаконис, Фридман (1980). «Конечные заменяемые последовательности». Анналы вероятности, стр. 745–747.
11. Бернардо, Дегрут, Линдли (сентябрь 1983 г.). «Протоколы второй международной встречи в Валенсии». Байесовская статистика 2. Амстердам: Elsevier Science Publishers B.V, ISBN  0-444-87746-0, стр. 371–372
12. Гельман и др. 2004 г. С. 120–121.
13. Box G. E. P., Tiao G. C. (1965). «Многопараметрическая задача с байесовской точки зрения». Многопараметрические задачи с байесовской точки зрения Том 36, номер 5. Нью-Йорк: John Wiley & Sons, ISBN  0-471-57428-7