Алгоритм Метрополиса – Гастингса - Metropolis–Hastings algorithm

Предложение распределение Q предлагает следующий пункт, к которому случайная прогулка может двигаться.

В статистика и статистическая физика, то Алгоритм Метрополиса – Гастингса это Цепь Маркова Монте-Карло (MCMC) метод получения последовательности случайные выборки из распределение вероятностей из которых затруднен прямой отбор проб. Эта последовательность может использоваться для аппроксимации распределения (например, для создания гистограмма ) или в вычислить интеграл (например, ожидаемое значение ). Метрополис – Гастингс и другие алгоритмы MCMC обычно используются для выборки из многомерных распределений, особенно когда количество измерений велико. Для одномерных распределений обычно существуют другие методы (например, адаптивное отклонение выборки ), которые могут напрямую возвращать независимые выборки из дистрибутива, и они свободны от проблемы автокоррелированный образцов, что присуще методам MCMC.

История

Алгоритм был назван в честь Николай Метрополис, автор статьи 1953 г. Уравнение расчета состояний на быстрых вычислительных машинах вместе с Арианна В. Розенблют, Маршалл Розенблют, Огаста Х. Теллер и Эдвард Теллер. В этой статье предложен алгоритм для случая симметричных распределений предложений, и В. К. Гастингс распространил его на более общий случай в 1970 году.^[1]

Некоторые разногласия существуют относительно кредита на разработку алгоритма. Метрополис ввел термин «Монте-Карло» в более раннюю статью с Станислав Улам, был знаком с вычислительными аспектами метода и возглавлял группу теоретического отдела, которая разработала и построила МАНИАК I компьютер, который использовался в экспериментах в 1952 году. Однако до 2003 года подробного описания развития алгоритма не существовало. Затем, незадолго до его смерти, Маршалл Розенблют присутствовал на конференции 2003 года в LANL, посвященной 50-летию публикации 1953 года. На этой конференции Розенблют описал алгоритм и его развитие в презентации под названием «Генезис алгоритма Монте-Карло для статистической механики».^[2] Дальнейшее историческое разъяснение сделано Губернатисом в журнальной статье 2005 г.^[3] Пересчет 50-летия конференции. Розенблют ясно дает понять, что он и его жена Арианна сделали работу, и что Метрополис не играл никакой роли в развитии, кроме предоставления компьютерного времени.

Это противоречит описанию Эдварда Теллера, который утверждает в своих мемуарах, что пять авторов статьи 1953 года работали вместе «днями (и ночами)».^[4] Напротив, в подробном отчете Розенблюта Теллер сделал важное, но раннее предложение «воспользоваться статистической механикой и взять средние по совокупности вместо того, чтобы следовать детальной кинематике». Это, по словам Розенблюта, побудило его задуматься об обобщенном подходе Монте-Карло - теме, которую, по его словам, он часто обсуждал с Фон Нейман. Арианна Розенблут рассказала (Губернатису в 2003 году), что Августа Теллер начала работу за компьютером, но сама Арианна взяла на себя ее и написала код с нуля. В устной истории, записанной незадолго до его смерти,^[5] Розенблут снова приписывает Теллеру постановку исходной задачи, его решение - самого себя, а Арианне - программирование компьютера. Что касается репутации, у Розенблута нет особых причин ставить под сомнение. В биографических воспоминаниях Розенблута Фриман Дайсон пишет:^[6]

Я много раз приходил к Розенблуту, задавал ему вопрос [...] и получал ответ через две минуты. Затем мне обычно требовалась неделя напряженной работы, чтобы в деталях понять, почему ответ Розенблута был правильным. У него была удивительная способность видеть сложные физические ситуации и находить правильный ответ с помощью физических аргументов. Энрико Ферми был единственным из известных мне физиков, равным Розенблюту в его интуитивном понимании физики.

Интуиция

Алгоритм Метрополиса – Гастингса может брать образцы из любых распределение вероятностей ${ Displaystyle P (x)}$ при условии, что мы знаем функцию ${ displaystyle f (x)}$ пропорционально плотность из ${ displaystyle P}$ и значения ${ displaystyle f (x)}$ можно рассчитать. Требование, чтобы ${ displaystyle f (x)}$ Должен быть только пропорционален плотности, а не точно равен ей, что делает алгоритм Метрополиса – Гастингса особенно полезным, поскольку вычисление необходимого коэффициента нормализации на практике часто бывает чрезвычайно трудным.

Алгоритм Метрополиса – Гастингса работает, генерируя последовательность выборочных значений таким образом, что по мере создания все большего количества выборочных значений распределение значений более точно приближается к желаемому распределению. ${ Displaystyle P (x)}$ . Эти значения выборки создаются итеративно, при этом распределение следующей выборки зависит только от текущего значения выборки (таким образом, превращая последовательность выборок в Цепь Маркова ). В частности, на каждой итерации алгоритм выбирает кандидата для следующего значения выборки на основе текущего значения выборки. Затем с некоторой вероятностью кандидат либо принимается (в этом случае значение кандидата используется в следующей итерации), либо отклоняется (в этом случае значение кандидата отбрасывается, а текущее значение повторно используется в следующей итерации) - вероятность принятия определяется путем сравнения значений функции ${ displaystyle f (x)}$ текущих и возможных значений выборки по отношению к желаемому распределению ${ Displaystyle P (x)}$ .

В целях иллюстрации ниже описывается алгоритм Метрополиса, частный случай алгоритма Метрополиса – Гастингса, в котором функция предложения является симметричной.

Алгоритм Метрополиса (симметричное распределение предложений)

Позволять ${ displaystyle f (x)}$ - функция, пропорциональная желаемому распределению вероятностей ${ Displaystyle P (x)}$ (также известное как целевое распределение).

Инициализация: выберите произвольную точку ${ displaystyle x_ {t}}$ быть первым образцом и выбрать произвольную плотность вероятности ${ Displaystyle г (х середина у)}$ (иногда пишется ${ Displaystyle Q (х середина у)}$ ), который предлагает кандидата на следующее значение выборки ${ displaystyle x}$ , учитывая предыдущее значение выборки ${ displaystyle y}$ . В этой секции, ${ displaystyle g}$ считается симметричным; другими словами, он должен удовлетворять ${ Displaystyle г (х середина у) = г (у середина х)}$ . Обычный выбор - позволить ${ Displaystyle г (х середина у)}$ быть Гауссово распределение сосредоточен на ${ displaystyle y}$ , так что точки ближе к ${ displaystyle y}$ вероятнее всего, их посетят следующим, что превратит последовательность выборок в случайная прогулка. Функция ${ displaystyle g}$ называется плотность предложения или же скачущее распределение.
Для каждой итерации т:
- Генерировать кандидат ${ displaystyle x '}$ для следующего образца, выбрав из раздачи ${ Displaystyle г (х ' середина x_ {т})}$ .
- Рассчитать то коэффициент принятия ${ Displaystyle альфа = е (х ') / е (х_ {т})}$ , который будет использоваться для принятия решения о принятии или отклонении кандидата. Потому что ж пропорциональна плотности пу нас есть это ${ Displaystyle альфа = f (x ') / f (x_ {t}) = P (x') / P (x_ {t})}$ .
- Принять или отклонить:
  - Создать однородное случайное число ${ Displaystyle и в [0,1]}$ .
  - Если ${ Displaystyle и leq alpha}$ , тогда принимать кандидат, установив ${ displaystyle x_ {t + 1} = x '}$ ,
  - Если ${ displaystyle u> alpha}$ , тогда отклонять кандидат и набор ${ Displaystyle х_ {т + 1} = х_ {т}}$ вместо.

Этот алгоритм работает, пытаясь случайным образом перемещаться по пространству выборки, иногда принимая ходы, а иногда оставаясь на месте. Обратите внимание, что коэффициент принятия ${ displaystyle alpha}$ указывает, насколько вероятна новая предлагаемая выборка по сравнению с текущей выборкой в соответствии с распределением ${ Displaystyle P (x)}$ . Если мы попытаемся переместиться в точку, которая более вероятна, чем существующая точка (то есть точка в области с более высокой плотностью ${ Displaystyle P (x)}$ ), мы всегда примем ход. Однако, если мы пытаемся перейти к менее вероятной точке, мы иногда отклоняем это движение, и чем больше относительное падение вероятности, тем больше вероятность, что мы отклоним новую точку. Таким образом, мы будем стремиться оставаться в регионах с высокой плотностью (и возвращать большое количество образцов из них). ${ Displaystyle P (x)}$ , при этом лишь изредка посещая районы с низкой плотностью населения. Интуитивно понятно, почему этот алгоритм работает и возвращает образцы, которые соответствуют желаемому распределению. ${ Displaystyle P (x)}$ .

По сравнению с таким алгоритмом, как адаптивное отклонение выборки^[7] который напрямую генерирует независимые выборки из распределения, алгоритмы Metropolis – Hastings и другие MCMC имеют ряд недостатков:

Образцы коррелированы. Хотя в долгосрочной перспективе они правильно следуют ${ Displaystyle P (x)}$ , набор ближайших выборок будет коррелирован друг с другом и не будет правильно отражать распределение. Это означает, что если нам нужен набор независимых образцов, мы должны выбросить большинство образцов и брать только каждый пth выборка, для некоторого значения п (обычно определяется путем изучения автокорреляция между соседними образцами). Автокорреляцию можно уменьшить, увеличив ширина прыжка (средний размер прыжка, который связан с дисперсией распределения прыжков), но это также увеличит вероятность отклонения предложенного прыжка. Слишком большой или слишком маленький размер прыжка приведет к медленное перемешивание Цепь Маркова, т.е. высококоррелированный набор выборок, поэтому для получения разумной оценки любого желаемого свойства распределения потребуется очень большое количество выборок.
Хотя цепь Маркова в конечном итоге сходится к желаемому распределению, начальные выборки могут следовать совсем другому распределению, особенно если начальная точка находится в области с низкой плотностью. В результате записать в период обычно необходим,^[8] где начальное количество образцов (например, первые 1000 или около того) выбрасывается.

С другой стороны, самый простой отбраковка методы страдают от "проклятие размерности ", где вероятность отклонения экспоненциально возрастает в зависимости от количества измерений. Метрополис-Гастингс, как и другие методы MCMC, не имеют этой проблемы в такой степени, и поэтому часто являются единственными доступными решениями, когда количество размерность выборки распределения высока. В результате методы MCMC часто являются методами выбора для получения образцов из иерархические байесовские модели и другие многомерные статистические модели, используемые в настоящее время во многих дисциплинах.

В многомерный распределений, классический алгоритм Метрополиса – Гастингса, описанный выше, включает выбор новой многомерной точки выборки. Когда количество измерений велико, найти подходящее распределение прыжков для использования может быть сложно, так как разные отдельные измерения ведут себя по-разному, а ширина прыжка (см. Выше) должна быть "правильной" для всех измерений сразу, чтобы Избегайте слишком медленного перемешивания. Альтернативный подход, который часто лучше работает в таких ситуациях, известный как Выборка Гиббса, предполагает выбор новой выборки для каждого измерения отдельно от других, а не выборку для всех измерений сразу. Это особенно применимо, когда многомерное распределение состоит из набора отдельных случайные переменные в котором каждая переменная зависит только от небольшого числа других переменных, как в большинстве типичных иерархические модели. Затем отбираются отдельные переменные по одной, каждая переменная зависит от самых последних значений всех остальных. Для выбора этих отдельных выборок можно использовать различные алгоритмы, в зависимости от точной формы многомерного распределения: некоторые возможности включают адаптивное отклонение выборки методы,^[7] алгоритм адаптивного отклонения выборки Метрополиса^[9] простой одномерный шаг Метрополиса – Гастингса, или выборка срезов.

Формальное происхождение

Целью алгоритма Метрополиса – Гастингса является создание набора состояний в соответствии с желаемым распределением. ${ Displaystyle P (x)}$ . Для этого алгоритм использует Марковский процесс, который асимптотически достигает единственного стационарное распределение ${ Displaystyle пи (х)}$ такой, что ${ Displaystyle пи (х) = п (х)}$ .^[10]

Марковский процесс однозначно определяется своими переходными вероятностями ${ Displaystyle Р (х ' середина х)}$ , вероятность перехода из любого заданного состояния ${ displaystyle x}$ в любое другое данное состояние ${ displaystyle x '}$ . Имеет уникальное стационарное распределение. ${ Displaystyle пи (х)}$ при соблюдении следующих двух условий:^[10]

Наличие стационарного распределения: должно существовать стационарное распределение ${ Displaystyle пи (х)}$ . Достаточным, но не необходимым условием является подробный баланс, что требует, чтобы каждый переход ${ Displaystyle х к х '}$ обратимо: для каждой пары состояний ${ Displaystyle х, х '}$ , вероятность нахождения в состоянии ${ displaystyle x}$ и переход в состояние ${ displaystyle x '}$ должно быть равно вероятности нахождения в состоянии ${ displaystyle x '}$ и переход в состояние ${ displaystyle x}$ , ${ Displaystyle пи (х) п (х ' середина х) = пи (х') п (х середина х ')}$ .
Уникальность стационарного распределения: стационарное распределение ${ Displaystyle пи (х)}$ Должно быть уникальным. Это гарантируется эргодичность марковского процесса, который требует, чтобы каждое состояние (1) было апериодическим - система не возвращается в одно и то же состояние через фиксированные промежутки времени; и (2) быть положительно повторяющимся - ожидаемое количество шагов для возврата в то же состояние конечно.

Алгоритм Метрополиса – Гастингса включает в себя разработку марковского процесса (путем построения переходных вероятностей), который удовлетворяет двум вышеуказанным условиям, так что его стационарное распределение ${ Displaystyle пи (х)}$ выбрано быть ${ Displaystyle P (x)}$ . Вывод алгоритма начинается с условия подробный баланс:

{ Displaystyle P (x ' mid x) P (x) = P (x mid x') P (x '),}

который переписывается как

{ displaystyle { frac {P (x ' mid x)} {P (x mid x')}} = { frac {P (x ')} {P (x)}}.}

Подход состоит в том, чтобы разделить переход на два подэтапа; предложение и прием-отказ. Распространение предложения ${ Displaystyle г (х ' середина х)}$ условная вероятность предложения состояния ${ displaystyle x '}$ данный ${ displaystyle x}$ , и распределение принятия ${ Displaystyle А (х ', х)}$ вероятность принять предложенное состояние ${ displaystyle x '}$ . Вероятность перехода можно записать как их произведение:

{ Displaystyle P (x ' mid x) = g (x' mid x) A (x ', x).}

Подставляя это соотношение в предыдущее уравнение, мы имеем

{ displaystyle { frac {A (x ', x)} {A (x, x')}} = { frac {P (x ')} {P (x)}} { frac {g (x mid x ')} {g (x' mid x)}}.}

Следующим шагом в выводе является выбор коэффициента приемлемости, который удовлетворяет вышеуказанному условию. Один из распространенных вариантов - выбор Метрополиса:

{ displaystyle A (x ', x) = min left (1, { frac {P (x')} {P (x)}} { frac {g (x mid x ')} {g (x ' mid x)}} right).}

Для данного Метрополиса коэффициент приемки ${ displaystyle A}$ , либо ${ Displaystyle А (х ', х) = 1}$ или же ${ Displaystyle А (х, х ') = 1}$ и в любом случае условие выполняется.

Таким образом, алгоритм Метрополиса – Гастингса состоит в следующем:

Инициализировать
1. Выберите начальное состояние ${ displaystyle x_ {0}}$ .
2. Набор ${ displaystyle t = 0}$ .
Повторять
1. Генерировать случайное состояние кандидата ${ displaystyle x '}$ в соответствии с ${ Displaystyle г (х ' середина x_ {т})}$ .
2. Рассчитать вероятность принятия ${ Displaystyle A (x ', x_ {t}) = min left (1, { frac {P (x')} {P (x_ {t})}} { frac {g (x_ {t}) } mid x ')} {g (x' mid x_ {t})}} right)}$ .
3. Принять или отклонить:
  1. генерировать однородное случайное число ${ Displaystyle и в [0,1]}$ ;
  2. если ${ Displaystyle и leq А (х ', x_ {т})}$ , тогда принимать новое состояние и установить ${ displaystyle x_ {t + 1} = x '}$ ;
  3. если ${ Displaystyle и> А (х ', х_ {т})}$ , тогда отклонять новое состояние и скопируйте старое состояние вперед ${ Displaystyle х_ {т + 1} = х_ {т}}$ .
4. Инкремент: набор ${ Displaystyle т = т + 1}$ .

При соблюдении указанных условий эмпирическое распределение сохраненных состояний ${ displaystyle x_ {0}, ldots, x_ {T}}$ подойдет ${ Displaystyle P (x)}$ . Количество итераций ( ${ displaystyle T}$ ) требуется для эффективной оценки ${ Displaystyle P (x)}$ зависит от ряда факторов, включая взаимосвязь между ${ Displaystyle P (x)}$ а также распределение предложений и желаемая точность оценки.^[11] Для распределения в дискретных пространствах состояний он должен быть порядка автокорреляция время марковского процесса.^[12]

Важно отметить, что в общей проблеме неясно, какое распределение ${ Displaystyle г (х ' середина х)}$ следует использовать или количество итераций, необходимое для правильной оценки; оба являются свободными параметрами метода, которые необходимо адаптировать к конкретной задаче.

Использование в численном интегрировании

Обычно алгоритм Метрополиса – Гастингса используется для вычисления интеграла. В частности, рассмотрите пространство ${ Displaystyle Omega subset mathbb {R}}$ и распределение вероятностей ${ Displaystyle P (x)}$ над ${ displaystyle Omega}$ , ${ displaystyle x in Omega}$ . Метрополис – Гастингс может оценить интеграл формы

{ Displaystyle P (E) = int _ { Omega} A (x) P (x) , dx,}

куда ${ Displaystyle А (х)}$ является интересующей (измеримой) функцией.

Например, рассмотрим статистика ${ displaystyle E (x)}$ и его распределение вероятностей ${ Displaystyle P (E)}$ , который является предельное распределение. Предположим, что цель - оценить ${ Displaystyle P (E)}$ за ${ displaystyle E}$ на хвосте ${ Displaystyle P (E)}$ . Формально, ${ Displaystyle P (E)}$ можно записать как

{ Displaystyle P (E) = int _ { Omega} P (E mid x) P (x) , dx = int _ { Omega} delta { big (} EE (x) { большой)} P (x) , dx = E { big (} P (E mid X) { big)}}

и, таким образом, оценивая ${ Displaystyle P (E)}$ может быть достигнуто путем оценки ожидаемой стоимости индикаторная функция ${ Displaystyle A_ {E} (х) эквив mathbf {1} _ {E} (х)}$ , который равен 1, когда ${ Displaystyle E (х) в [E, E + Delta E]}$ и ноль в противном случае. ${ displaystyle E}$ находится на хвосте ${ Displaystyle P (E)}$ , вероятность нарисовать состояние ${ displaystyle x}$ с ${ displaystyle E (x)}$ на хвосте ${ Displaystyle P (E)}$ пропорционально ${ Displaystyle P (E)}$ , которая по определению мала. Здесь можно использовать алгоритм Метрополиса – Гастингса для более вероятных выборок (редких) состояний и, таким образом, увеличения количества выборок, используемых для оценки ${ Displaystyle P (E)}$ на хвостах. Это можно сделать, например, с помощью выборочного распределения ${ Displaystyle пи (х)}$ в пользу этих состояний (например, ${ displaystyle pi (x) propto e ^ {aE}}$ с ${ displaystyle a> 0}$ ).

Пошаговая инструкция

Предположим, что самым последним выбранным значением является ${ displaystyle x_ {t}}$ . Следуя алгоритму Метрополиса – Гастингса, мы рисуем новое состояние предложения. ${ displaystyle x '}$ с плотностью вероятности ${ Displaystyle г (х ' середина x_ {т})}$ и рассчитать значение

{ displaystyle a = a_ {1} a_ {2},}

куда

{ displaystyle a_ {1} = { frac {P (x ')} {P (x_ {t})}}}

вероятность (например, байесовская апостериорная) между предложенной выборкой ${ displaystyle x '}$ и предыдущий образец ${ displaystyle x_ {t}}$ , и

{ displaystyle a_ {2} = { frac {g (x_ {t} mid x ')} {g (x' mid x_ {t})}}}

- отношение плотности предложения по двум направлениям (от ${ displaystyle x_ {t}}$ к ${ displaystyle x '}$ и наоборот). Это равно 1, если плотность предложения симметрична. Тогда новое состояние ${ displaystyle x_ {t + 1}}$ выбирается по следующим правилам.

Если

{ displaystyle a geq 1 {:}}

{ displaystyle x_ {t + 1} = x ',}

еще:

{ displaystyle x_ {t + 1} = { begin {case} x '& { text {with possible}} a, x_ {t} & { text {с вероятностью}} 1-a. end {случаи}}}

Цепь Маркова начинается с произвольного начального значения ${ displaystyle x_ {0}}$ , и алгоритм выполняется много итераций, пока это начальное состояние не будет «забыто». Эти выброшенные образцы известны как записать в. Оставшийся набор принятых значений ${ displaystyle x}$ представляют собой образец из раздачи ${ Displaystyle P (x)}$ .

Алгоритм работает лучше всего, если плотность предложения соответствует форме целевого распределения. ${ Displaystyle P (x)}$ , из которых затруднен прямой отбор проб, то есть ${ Displaystyle г (х ' середина x_ {т}) приблизительно Р (х')}$ .Если гауссова плотность предложения ${ displaystyle g}$ используется параметр дисперсии ${ displaystyle sigma ^ {2}}$ должен быть настроен во время периода приработки. Обычно это делается путем расчета Скорость принятия, которая представляет собой долю предложенных выборок, которая принимается в окне последнего ${ displaystyle N}$ Желаемая скорость приема зависит от целевого распределения, однако теоретически было показано, что идеальная скорость приема для одномерного гауссова распределения составляет около 50%, снижаясь до примерно 23% для ${ displaystyle N}$ -мерное гауссово целевое распределение.^[13]

Если ${ displaystyle sigma ^ {2}}$ слишком мала, цепь будет медленно перемешивать (то есть скорость приема будет высокой, но последовательные образцы будут медленно перемещаться по пространству, и цепочка будет только медленно сходиться к ${ Displaystyle P (x)}$ ). С другой стороны, если ${ displaystyle sigma ^ {2}}$ слишком велико, процент принятия будет очень низким, потому что предложения, скорее всего, попадут в регионы с гораздо более низкой плотностью вероятности, поэтому ${ displaystyle a_ {1}}$ будет очень маленьким, и снова цепочка будет сходиться очень медленно. Обычно распределение предложений настраивается так, чтобы алгоритмы принимали порядка 30% всех выборок - в соответствии с теоретическими оценками, упомянутыми в предыдущем абзаце.

Результат трех Цепи Маркова работает на 3D Функция Розенброка с использованием алгоритма Метрополиса – Гастингса. Алгоритм выбирает из регионов, где апостериорная вероятность высокий, и цепи начинают смешиваться в этих областях. Было подсвечено приблизительное положение максимума. Обратите внимание, что красные точки - это те, которые остаются после процесса приработки. Более ранние были отброшены.

Смотрите также

дальнейшее чтение

Бернд А. Берг. Моделирование цепей Маркова методом Монте-Карло и их статистический анализ. Сингапур, Всемирный научный, 2004.
Сиддхартха Чиб и Эдвард Гринберг: «Понимание алгоритма Метрополиса – Гастингса». Американский статистик, 49(4), 327–335, 1995
Дэвид Д. Л. Минь и До Ле Минь. «Понимание алгоритма Гастингса». Коммуникации в статистике - моделирование и вычисления, 44: 2 332-349, 2015
Болстад, Уильям М. (2010) Понимание вычислительной байесовской статистики, Джон Уайли и сыновья ISBN 0-470-04609-0

[Hastings-1] Гастингс, В.К. (1970). "Методы дискретизации Монте-Карло с использованием цепей Маркова и их приложения". Биометрика. 57 (1): 97–109. Bibcode:1970Бимка..57 ... 97Н. Дои:10.1093 / biomet / 57.1.97. JSTOR 2334940. Zbl 0219.65008.

[Rosenbluth-2] М.Н. Розенблют (2003). «Генезис алгоритма Монте-Карло для статистической механики». Материалы конференции AIP. 690: 22–30. Дои:10.1063/1.1632112.

[Gubernatis-3] Дж. Э. Губернатис (2005). «Маршалл Розенблют и алгоритм мегаполиса». Физика плазмы. 12 (5): 057303. Bibcode:2005ФПЛ ... 12Э7303Г. Дои:10.1063/1.1887186.

[Teller-4] Теллер, Эдвард. Мемуары: путешествие в двадцатый век в науке и политике. Издательство "Персей", 2001, с. 328

[Barth-5] Розенблют, Маршалл. «Стенограмма устной истории». Американский институт физики

[Dyson-6] Ф. Дайсон (2006). «Маршалл Н. Розенблют». Труды Американского философского общества. 250: 404.

[:0-7] а ^б Gilks, W. R .; Уайлд, П. (1992-01-01). «Адаптивная выборка отбраковки для выборки Гиббса». Журнал Королевского статистического общества. Серия C (Прикладная статистика). 41 (2): 337–348. Дои:10.2307/2347565. JSTOR 2347565.

[8] Байесовский анализ данных. Гельман, Андрей (2-е изд.). Бока-Ратон, Флорида: Chapman & Hall / CRC. 2004 г. ISBN 978-1584883883. OCLC 51991499.CS1 maint: другие (связь)

[9] Gilks, W. R .; Бест, Н.Г.; Тан, К. К. (1995-01-01). «Адаптивное отклонение семплирования мегаполиса в рамках семплирования Гиббса». Журнал Королевского статистического общества. Серия C (Прикладная статистика). 44 (4): 455–472. Дои:10.2307/2986138. JSTOR 2986138.

[Roberts_Casella-10] а ^б Роберт, Кристиан; Казелла, Джордж (2004). Статистические методы Монте-Карло. Springer. ISBN 978-0387212395.

[11] Рафтери, Адриан Э. и Стивен Льюис. "Сколько итераций в семплере Гиббса?" В байесовской статистике 4. 1992.

[Newman_Barkema-12] Newman, M. E. J .; Баркема, Г. Т. (1999). Методы Монте-Карло в статистической физике. США: Издательство Оксфордского университета. ISBN 978-0198517979.

[Roberts-13] Робертс, Г.О .; Гельман, А .; Гилкс, W.R. (1997). «Слабая сходимость и оптимальное масштабирование алгоритмов случайного блуждания Метрополиса». Анна. Appl. Вероятно. 7 (1): 110–120. CiteSeerX 10.1.1.717.2582. Дои:10.1214 / aoap / 1034625254.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]