Отбор проб - Rejection sampling

В численном анализе и вычислительная статистика, отбраковка это основной метод, используемый для генерации наблюдений с распределение. Его также обычно называют прием-отказ или «алгоритм принятия-отклонения» и представляет собой тип точного метода моделирования. Метод работает для любого дистрибутива в ${\displaystyle \mathbb {R} ^{m}}$ с плотность.

Выборка отклонения основана на наблюдении, что для выборки случайная переменная в одном измерении можно выполнить равномерно случайную выборку двумерного декартова графика и сохранить выборки в области под графиком его функции плотности.^[1][2][3] Обратите внимание, что это свойство можно расширить до N-размерные функции.

Описание

Чтобы наглядно представить мотивацию выборки отклонения, представьте, что график функции плотности случайной величины наносится на большую прямоугольную доску и бросает в нее дротики. Предположим, что дротики равномерно распределены по доске. Теперь удалите все дротики, которые находятся за пределами области под кривой. Оставшиеся дротики будут равномерно распределены в пределах области под кривой, а положения этих дротиков по оси x будут распределены в соответствии с плотностью случайной величины. Это потому, что у дротиков больше всего места для приземления там, где кривая наибольшая, и, следовательно, плотность вероятности наибольшая.

Визуализация, как только что описанная, эквивалентна особой форме выборки отклонения, где «распределение предложения» является однородным (следовательно, его график представляет собой прямоугольник). Общая форма выборки отклонения предполагает, что доска не обязательно прямоугольная, но имеет форму в соответствии с плотностью распределения некоторого предложения, из которого мы знаем, как отбирать образцы (например, используя инверсионная выборка ), который в каждой точке имеет такое же высокое значение, как и распределение, из которого мы хотим произвести выборку, так что первое полностью охватывает второе. (В противном случае были бы части изогнутой области, из которых мы хотим получить образец, которые никогда не будут доступны.)

Выборка отбраковки работает следующим образом:

1. Выберите точку на оси X из распределения предложения.
2. Нарисуйте вертикальную линию в этой позиции x до максимального значения y распределения предложения.
3. Равномерно выполните выборку по этой линии от 0 до максимума функции плотности вероятности. Если значение выборки больше, чем значение желаемого распределения на этой вертикальной линии, отклоните значение x и вернитесь к шагу 1; иначе значение x является выборкой из желаемого распределения.

Этот алгоритм можно использовать для выборки из области под любой кривой, независимо от того, интегрируется ли функция до 1. Фактически, масштабирование функции с помощью константы не влияет на выбранные позиции по оси x. Таким образом, алгоритм можно использовать для выборки из распределения, нормализующая константа неизвестно, что часто встречается в вычислительная статистика.

Теория

Метод отклонения выборки генерирует выборочные значения из целевого распределения. ${\displaystyle X}$ с произвольным функция плотности вероятности ${\displaystyle f(x)}$ с помощью распространения предложения ${\displaystyle Y}$ с плотностью вероятности ${\displaystyle g(x)}$. Идея состоит в том, что можно сгенерировать примерное значение из ${\displaystyle X}$ взамен выборки из ${\displaystyle Y}$ и принимая образец из ${\displaystyle Y}$ с вероятностью ${\displaystyle f(x)/(Mg(x))}$, повторяя розыгрыши из ${\displaystyle Y}$ пока значение не будет принято. ${\displaystyle M}$ вот постоянная конечная оценка отношения правдоподобия ${\displaystyle f(x)/g(x)}$, удовлетворяющий ${\displaystyle 1<M<\infty }$ над поддерживать из ${\displaystyle X}$; другими словами, M должно удовлетворять ${\displaystyle f(x)\leq Mg(x)}$ для всех значений ${\displaystyle x}$. Обратите внимание, что для этого требуется поддержка ${\displaystyle Y}$ должен включать поддержку ${\displaystyle X}$-другими словами, ${\displaystyle g(x)>0}$ в любое время ${\displaystyle f(x)>0}$.

Подтверждением этого метода является принцип конверта: при моделировании пары ${\textstyle (x,v=u\cdot Mg(x))}$, производится равномерное моделирование над подграфом ${\textstyle Mg(x)}$. Принимаются только такие пары, что ${\textstyle u<f(x)/(Mg(x))}$ затем производит пары ${\displaystyle (x,v)}$ равномерно распределены по подграфу ${\displaystyle f(x)}$ и, таким образом, незначительно, симуляция из ${\displaystyle f(x).}$

Это означает, что при достаточном количестве реплик алгоритм генерирует выборку из желаемого распределения. ${\displaystyle f(x)}$. У этого алгоритма есть ряд расширений, таких как Алгоритм мегаполиса.

Этот метод относится к общей области Монте-Карло методы, в том числе Цепь Маркова Монте-Карло алгоритмы, которые также используют прокси-распределение для симуляции целевого распределения ${\displaystyle f(x)}$. Он составляет основу таких алгоритмов, как Алгоритм мегаполиса.

Вероятность безусловной приемки - это доля предложенных образцов, которые приняты, т.е.

${\displaystyle {\begin{aligned}\mathbb {P} \left(U\leq {\frac {f(Y)}{Mg(Y)}}\right)&=\operatorname {E} \mathbf {1} _{\left[U\leq {\frac {f(Y)}{Mg(Y)}}\right]}\\[6pt]&=E\left[\operatorname {E} [\mathbf {1} _{\left[U\leq {\frac {f(Y)}{Mg(Y)}}\right]}|Y]\right]&({\text{by tower property }})\\[6pt]&=\operatorname {E} \left[\mathbb {P} \left(U\leq {\frac {f(Y)}{Mg(Y)}}{\biggr |}Y\right)\right]\\[6pt]&=E\left[{\frac {f(Y)}{Mg(Y)}}\right]&({\text{because }}\Pr(U\leq u)=u,{\text{when }}U{\text{ is uniform on }}(0,1))\\[6pt]&=\int \limits _{y:g(y)>0}{\frac {f(y)}{Mg(y)}}g(y)\,dy\\[6pt]&={\frac {1}{M}}\int \limits _{y:g(y)>0}f(y)\,dy\\[6pt]&={\frac {1}{M}}&({\text{since support of }}Y{\text{ includes support of }}X)\end{aligned}}}$

куда ${\displaystyle U\sim \mathrm {Unif} (0,1)}$, а значение ${\displaystyle y}$ каждый раз генерируется под функцией плотности ${\displaystyle g(.)}$ распространения предложения ${\displaystyle Y}$.

Количество требуемых образцов от ${\displaystyle Y}$ для получения принятого значения следует, таким образом, геометрическое распределение с вероятностью ${\displaystyle 1/M}$, что означает ${\displaystyle M}$. Интуитивно ${\displaystyle M}$ - ожидаемое количество итераций, которые необходимы, как мера вычислительной сложности алгоритма.

Перепишите приведенное выше уравнение,

${\displaystyle M={\frac {1}{\mathbb {P} \left(U\leq {\frac {f(Y)}{Mg(Y)}}\right)}}}$

Обратите внимание, что ${\textstyle 1\leq M<\infty }$, по приведенной выше формуле, где ${\textstyle \mathbb {P} \left(U\leq {\frac {f(Y)}{Mg(Y)}}\right)}$ вероятность, которая может принимать значения только в интервале ${\displaystyle [0,1]}$. Когда ${\displaystyle M}$ выбирается ближе к единице, вероятность безусловного принятия тем выше, чем меньше изменяется это соотношение, так как ${\displaystyle M}$ это верхняя граница отношения правдоподобия ${\textstyle f(x)/g(x)}$. На практике значение ${\displaystyle M}$ ближе к 1 предпочтительнее, так как это означает в среднем меньше отклоненных выборок и, следовательно, меньше итераций алгоритма. В этом смысле предпочитают иметь ${\displaystyle M}$ как можно меньше (при этом удовлетворительно ${\displaystyle f(x)\leq Mg(x)}$, что предполагает, что ${\displaystyle g(x)}$ должен в целом напоминать ${\displaystyle f(x)}$ каким-то образом. Обратите внимание, однако, что ${\displaystyle M}$ не может быть равно 1: это означало бы, что ${\displaystyle f(x)=g(x)}$, то есть целевое распределение и распределение предложения на самом деле являются одним и тем же распределением.

Отбраковочная выборка чаще всего используется в тех случаях, когда форма ${\displaystyle f(x)}$ затрудняет отбор проб. Одна итерация алгоритма отклонения требует выборки из распределения предложения, извлечения из равномерного распределения и оценки ${\displaystyle f(x)/(Mg(x))}$ выражение. Таким образом, отбор с отбраковкой более эффективен, чем какой-либо другой метод, когда M-кратная стоимость этих операций - которая является ожидаемой стоимостью получения образца с отбором с отбраковкой - ниже, чем стоимость получения образца с использованием другого метода.

Алгоритм

Алгоритм (используемый Джон фон Нейман^{[нужна цитата ]} и восходит к Буффону и его игла^{[нужна цитата ]}) для получения образца из раздачи ${\displaystyle X}$ с плотностью ${\displaystyle f}$ используя образцы из раздачи ${\displaystyle Y}$ с плотностью ${\displaystyle g}$ как следует:

• Получить образец ${\displaystyle y}$ из раздачи ${\displaystyle Y}$ и образец ${\displaystyle u}$ из ${\displaystyle \mathrm {Unif} (0,1)}$ (равномерное распределение на единичном интервале).
• Проверить, действительно ли ${\textstyle u<f(y)/Mg(y)}$.
  • Если это так, примите ${\displaystyle y}$ как образец взят из ${\displaystyle f}$;
  • в противном случае отвергните ценность ${\displaystyle y}$ и вернитесь к этапу выборки.

Алгоритм займет в среднем ${\displaystyle M}$ итераций для получения образца.

Преимущества перед выборкой с использованием наивных методов

Выборка отклонения может быть намного более эффективной по сравнению с наивными методами в некоторых ситуациях. Например, учитывая задачу как выборка ${\textstyle X\sim F(\cdot )}$ условно на ${\displaystyle X}$ учитывая набор ${\displaystyle A}$, т.е. ${\textstyle X|X\in A}$, иногда ${\textstyle X}$ можно легко смоделировать с помощью наивных методов (например, выборка с обратным преобразованием ):

• Образец ${\textstyle X\sim F(\cdot )}$ самостоятельно, а те, кто удовлетворяет ${\displaystyle \{n\geq 1:X_{n}\in A\}}$
• Выход: ${\displaystyle \{X_{1},X_{2},...,X_{N}:X_{i}\in A,i=1,...,N\}}$

Проблема в том, что этот отбор проб может быть трудным и неэффективным, если ${\textstyle \mathbb {P} (X\in A)\approx 0}$. Ожидаемое количество итераций будет ${\displaystyle {\frac {1}{\mathbb {P} (X\in A)}}}$, которая может быть близка к бесконечности. Более того, даже когда вы применяете метод выборки Rejection, всегда сложно оптимизировать границу ${\displaystyle M}$ для отношения правдоподобия. Чаще да, чем нет, ${\displaystyle M}$ большой и процент отказов высок, алгоритм может быть очень неэффективным. В Естественная экспоненциальная семья (если он существует), также известный как экспоненциальный наклон, предоставляет класс распределений предложений, которые могут снизить сложность вычислений, значение ${\displaystyle M}$ и ускорить вычисления (см. примеры: работа с естественными экспоненциальными семействами).

Примеры: работа с естественными экспоненциальными семействами

Учитывая случайную величину ${\displaystyle X\sim F(\cdot )}$, ${\displaystyle F(x)=\mathbb {P} (X\leq x)}$ - это целевое распределение. Предположим для простоты, что функция плотности может быть явно записана как ${\displaystyle f(x)}$ . Выберите предложение как

${\displaystyle {\begin{aligned}F_{\theta }(x)&=\mathbb {E} \left[\mathrm {exp} (\theta X-\psi (\theta ))\mathbb {I} (X\leq x)\right]\\&=\int _{-\infty }^{x}e^{\theta y-\psi (\theta )}f(y)dy\\g_{\theta }(x)&=F_{\theta }^{'}(x)=e^{\theta x-\psi (\theta )}f(x)\end{aligned}}}$

куда ${\displaystyle \psi (\theta )=\mathrm {log} \left(\mathbb {E} \mathrm {exp} (\theta X)\right)}$ и ${\displaystyle \Theta =\{\theta :\psi (\theta )<\infty \}}$. Четко, ${\displaystyle \{F_{\theta }(\cdot )\}_{\theta \in \Theta }}$, из естественная экспоненциальная семья. Кроме того, отношение правдоподобия равно

${\displaystyle Z(x)={\frac {f(x)}{g_{\theta }(x)}}={\frac {f(x)}{e^{\theta x-\psi (\theta )}f(x)}}=e^{-\theta x+\psi (\theta )}}$

Обратите внимание, что ${\displaystyle \psi (\theta )<\infty }$ означает, что это действительно журнал функция генерации моментов, то есть, ${\displaystyle \psi (\theta )=\log \mathbb {E} {\exp(tX)}|_{t=\theta }=\log M_{X}(t)|_{t=\theta }}$. И легко вывести логарифмическую функцию создания моментов предложения и, следовательно, моментов предложения.

${\displaystyle {\begin{aligned}\psi _{\theta }(\eta )&=\log \left(\mathbb {E} _{\theta }\exp(\eta X)\right)=\psi (\theta +\eta )-\psi (\theta )<\infty \\\mathbb {E} _{\theta }(X)&={\frac {\partial \psi _{\theta }(\eta )}{\partial \eta }}\mid _{\eta =0}\\Var_{\theta }(X)&={\frac {\partial ^{2}\psi _{\theta }(\eta )}{\partial ^{2}\eta }}\mid _{\eta =0}\end{aligned}}}$

В качестве простого примера предположим, что под ${\displaystyle F(\cdot )}$, ${\displaystyle X\sim \mathrm {N} (\mu ,\sigma ^{2})}$, с ${\textstyle \psi (\theta )=\theta \mu +{\frac {\sigma ^{2}\theta ^{2}}{2}}}$. Цель - отобрать ${\displaystyle X|X\in \left[b,\infty \right]}$, ${\displaystyle b>\mu }$. Анализ идет следующим образом.

• Выберите форму рассылки предложения ${\displaystyle F_{\theta }(\cdot )}$, с функцией создания момента журнала как ${\textstyle \psi _{\theta }(\eta )=\psi (\theta +\eta )-\psi (\eta )=\eta (\mu +\theta \sigma ^{2})+{\frac {\sigma ^{2}\eta ^{2}}{2}}}$, из чего следует, что это нормальное распределение ${\displaystyle \mathrm {N} (\mu +\theta \sigma ^{2},\sigma ^{2})}$.
• Решите удачно выбранный ${\displaystyle \theta ^{*}}$ для распространения предложения. В этой настройке интуитивно понятный способ выбора ${\displaystyle \theta ^{*}}$ должен установить ${\displaystyle \mathbb {E} _{\theta }(X)=\mu +\theta \sigma ^{2}=b}$, то есть ${\displaystyle \theta ^{*}={\frac {b-\mu }{\sigma ^{2}}}}$
• Четко запишите цель, предложение и отношение правдоподобия

${\displaystyle {\begin{aligned}f_{X|X\geq b}(x)&={\frac {f(x)\mathbb {I} (x\geq b)}{\mathbb {P} (x\geq b)}}\\g_{\theta ^{*}}(x)&=f(x)\exp(\theta ^{*}x-\psi (\theta ^{*}))\\Z(x)&={\frac {f_{X|X\geq b}(x)}{g_{\theta ^{*}}(x)}}={\frac {\exp(-\theta ^{*}x+\psi (\theta ^{*}))\mathbb {I} (x\geq b)}{\mathbb {P} (x\geq b)}}\end{aligned}}}$

• Вывести границу ${\displaystyle M}$ для отношения правдоподобия ${\displaystyle z(x)}$, которая является убывающей функцией при ${\displaystyle x\in [b,\infty ]}$, следовательно

${\displaystyle M=Z(b)={\frac {\exp(-\theta ^{*}b+\psi (\theta ^{*}))}{\mathbb {P} (X\geq b)}}={\frac {\exp(-{\frac {(b-\mu )^{2}}{2\sigma ^{2}}})}{\mathbb {P} (X\geq b)}}={\frac {\exp(-{\frac {(b-\mu )^{2}}{2\sigma ^{2}}})}{\mathbb {P} (\mathrm {N} (0,1)\geq {\frac {b-\mu }{\sigma }})}}}$

• Критерий отбора отбраковки: для ${\displaystyle U\sim \mathrm {Unif} (0,1)}$, если

${\displaystyle U\leq {\frac {Z(x)}{M}}=e^{-\theta ^{*}(x-b)}\mathbb {I} (x\geq b)}$

держит, принять значение ${\displaystyle X}$; если нет, продолжить отбор новых ${\textstyle X\sim _{i.i.d.}\mathrm {N} (\mu +\theta ^{*}\sigma ^{2},\sigma ^{2})}$ и новые ${\textstyle U\sim \mathrm {Unif} (0,1)}$ до принятия.

Для приведенного выше примера в качестве измерения эффективности ожидаемое количество итераций метода выборки отбраковки на основе NEF имеет порядок b, то есть ${\displaystyle M(b)=O(b)}$, в то время как при использовании метода Naive ожидаемое количество итераций равно ${\textstyle {\frac {1}{\mathbb {P} (X\geq b)}}=O(b\cdot e^{\frac {(b-\mu )^{2}}{2\sigma ^{2}}})}$, что гораздо менее эффективно.

В общем, экспоненциальный наклон, параметрический класс распределения предложения, удобно решает проблемы оптимизации, благодаря своим полезным свойствам, которые напрямую характеризуют распределение предложения. Для этого типа проблемы, чтобы смоделировать ${\displaystyle X}$ условно на ${\displaystyle X\in A}$, среди класса простых распределений хитрость заключается в использовании NEF, что помогает получить некоторый контроль над сложностью и значительно ускорить вычисления. Действительно, для использования NEF есть глубокие математические причины.

Недостатки

Отказ от выборки может привести к взятию большого количества нежелательных выборок, если функция, для которой выполняется выборка, сильно сконцентрирована в определенной области, например функция, у которой есть пик в каком-то месте. Для многих дистрибутивов эта проблема может быть решена с помощью адаптивного расширения (см. адаптивное отклонение выборки ). Кроме того, по мере увеличения размеров проблемы отношение встроенного объема к «углам» внедренного объема стремится к нулю, поэтому может произойти множество отклонений до того, как будет сгенерирована полезная выборка, что делает алгоритм неэффективно и непрактично. Видеть проклятие размерности. Для больших измерений необходимо использовать другой подход, обычно метод Монте-Карло цепи Маркова, такой как Выборка мегаполиса или же Выборка Гиббса. (Однако выборка Гиббса, которая разбивает проблему многомерной выборки на серию выборок низкой размерности, может использовать выборку отклонения в качестве одного из своих шагов.)

Адаптивное отклонение выборки

Для многих дистрибутивов трудно найти дистрибутив предложения, который включает данный дистрибутив без лишнего пространства. Расширение выборки для отбраковки, которое можно использовать для преодоления этой трудности и эффективного выбора из широкого спектра распределений (при условии, что они имеют бревенчатый функции плотности, что на самом деле имеет место для большинства распространенных распределений - даже тех, плотность функции не являются вогнутыми сами по себе!) известен как адаптивное отклонение выборки (ARS).

В этой технике, в конечном счете, представленной Гилксом в 1992 году, есть три основные идеи:^[4]

1. Если это помогает, определите вместо этого распределение конвертов в пространстве журнала (например, логарифмическую вероятность или логарифмическую плотность). То есть работать с ${\displaystyle h\left(x\right)=\mathrm {log} \;g\left(x\right)}$ вместо ${\displaystyle g\left(x\right)}$ напрямую.
   • Часто распределения, которые имеют алгебраически беспорядочные функции плотности, имеют достаточно простые функции логарифмической плотности (т.е. когда ${\displaystyle f\left(x\right)}$ грязный, ${\displaystyle \mathrm {log} \;f\left(x\right)}$ может быть проще работать или, по крайней мере, ближе к кусочно-линейному).
2. Вместо одной функции однородной плотности конверта используйте в качестве конверта кусочно-линейную функцию плотности.
   • Каждый раз, когда вам нужно отклонить образец, вы можете использовать значение ${\displaystyle f\left(x\right)}$ что вы оценили, чтобы улучшить кусочное приближение ${\displaystyle h\left(x\right)}$. Это снижает вероятность того, что ваша следующая попытка будет отклонена. Асимптотически вероятность отклонения выборки должна стремиться к нулю, а на практике часто очень быстро.
   • Согласно предложению, каждый раз, когда мы выбираем точку, которая отклоняется, мы сжимаем огибающую другим отрезком линии, который касается кривой в точке с той же координатой x, что и выбранная точка.
   • Кусочно-линейная модель распределения журнала предложений приводит к набору кусочно-линейных экспоненциальные распределения (т.е. сегменты одного или нескольких экспоненциальных распределений, прикрепленные встык). Экспоненциальные распределения хороши и понятны. Логарифм экспоненциального распределения представляет собой прямую линию, и, следовательно, этот метод по существу включает в себя включение логарифма плотности в серию отрезков прямой. Это является источником ограничения логарифмической вогнутости: если распределение логарифмически вогнуто, то его логарифм вогнутый (имеет форму перевернутой буквы U), что означает, что касательный к кривой отрезок прямой всегда будет проходить над кривой.
   • Если не работает в журнальном пространстве, кусочно-линейная функция плотности также может быть выбрана с помощью треугольных распределений. ^[5]
3. Мы можем воспользоваться еще одним преимуществом требования (логарифмической) вогнутости, чтобы потенциально избежать затрат на оценку ${\displaystyle f\left(x\right)}$ когда твой образец является принято.
   • Точно так же, как мы можем построить кусочно-линейную верхнюю границу (функцию "конверт"), используя значения ${\displaystyle h\left(x\right)}$ которые мы должны были оценить в текущей цепочке отказов, мы также можем построить кусочно-линейную нижнюю границу (функцию «сжатия»), используя эти значения.
   • Перед оценкой (потенциально дорого) ${\displaystyle f\left(x\right)}$ чтобы узнать, будет ли принят ваш образец, мы можем уже знаете если он будет принят сравнением с (в идеале дешевле) ${\displaystyle g_{l}\left(x\right)}$ (или же ${\displaystyle h_{l}\left(x\right)}$ в данном случае) имеющаяся функция сжатия.
   • Этот этап сжатия не является обязательным, даже если он предложен Гилксом. В лучшем случае это избавит вас от всего лишь одной дополнительной оценки вашей (беспорядочной и / или дорогой) целевой плотности.Однако, предположительно, для особенно дорогих функций плотности (и при условии быстрой сходимости коэффициента отбраковки к нулю) это может существенно повлиять на конечное время выполнения.

Метод по существу включает в себя последовательное определение огибающей прямолинейных сегментов, которая приближает логарифм все лучше и лучше, оставаясь при этом выше кривой, начиная с фиксированного количества сегментов (возможно, только одной касательной). Выборка из усеченной экспоненциальной случайной величины проста. Просто возьмите журнал однородной случайной величины (с соответствующим интервалом и соответствующим усечением).

К сожалению, ARS может быть применен только на основе выборки из логарифмически вогнутой целевой плотности. По этой причине в литературе было предложено несколько расширений ARS для устранения логарифмически вогнутых целевых распределений.^[6][7][8] Кроме того, были разработаны различные комбинации ARS и метода Метрополиса-Гастингса, чтобы получить универсальный семплер, который строит самонастраивающиеся плотности предложений (т. Е. Предложение, автоматически построенное и адаптированное к цели). Этот класс методов часто называют Алгоритмы Adaptive Rejection Metropolis Sampling (ARMS).^[9][10] Результирующие адаптивные методы можно всегда применять, но в этом случае сгенерированные выборки коррелируются (хотя корреляция быстро исчезает до нуля по мере увеличения количества итераций).

Смотрите также

• Выборка с обратным преобразованием
• Выборка псевдослучайных чисел
• Алгоритм зиккурата

Рекомендации

1. Казелла, Джордж; Роберт, Кристиан П .; Уэллс, Мартин Т. (2004). Обобщенные схемы выборки "прием-отклонение". Институт математической статистики. С. 342–347. Дои:10.1214 / lnms / 1196285403. ISBN  9780940600614.
2. Нил, Рэдфорд М. (2003). «Выборка срезов». Анналы статистики. 31 (3): 705–767. Дои:10.1214 / aos / 1056562461. МИСТЕР  1994729. Zbl  1051.65007.
3. Епископ, Кристофер (2006). «11.4: Выборка срезов». Распознавание образов и машинное обучение. Springer. ISBN  978-0-387-31073-2.
4. Адаптивное отклонение семплирования для семплирования Гиббса. https://stat.duke.edu/~cnk/Links/tangent.method.pdf
5. Д. Томас и В. Лук, Генерация неоднородных случайных чисел с помощью кусочно-линейных приближений, 2006. http://www.doc.ic.ac.uk/~wl/papers/iee07dt.pdf
6. Хёрманн, Вольфганг (01.06.1995). "Метод отклонения для отбора проб из T-вогнутых распределений". ACM Trans. Математика. Softw. 21 (2): 182–193. CiteSeerX  10.1.1.56.6055. Дои:10.1145/203082.203089. ISSN  0098-3500.
7. Evans, M .; Шварц, Т. (1998-12-01). «Генерация случайных переменных с использованием свойств вогнутости преобразованных плотностей». Журнал вычислительной и графической статистики. 7 (4): 514–528. CiteSeerX  10.1.1.53.9001. Дои:10.2307/1390680. JSTOR  1390680.
8. Гёрюр, Дилан; Тех, Йи Уай (01.01.2011). «Вогнуто-выпуклая адаптивная выборка отбраковки». Журнал вычислительной и графической статистики. 20 (3): 670–691. Дои:10.1198 / jcgs.2011.09058. ISSN  1061-8600.
9. Gilks, W. R .; Бест, Н.Г.; Тан, К. К. (1995-01-01). «Адаптивное отклонение семплирования мегаполиса в рамках семплирования Гиббса». Журнал Королевского статистического общества. Серия C (Прикладная статистика). 44 (4): 455–472. Дои:10.2307/2986138. JSTOR  2986138.
10. Мейер, Ренате; Цай, Бо; Перрон, Франсуа (15 марта 2008 г.). «Адаптивное отклонение выборки Метрополиса с использованием полиномов интерполяции Лагранжа степени 2». Вычислительная статистика и анализ данных. 52 (7): 3408–3423. Дои:10.1016 / j.csda.2008.01.005.

• Роберт, К. и Казелла, Г. «Статистические методы Монте-Карло» (второе издание). Нью-Йорк: Springer-Verlag, 2004.
• J. von Neumann, "Различные методы, используемые в связи со случайными числами. Методы Монте-Карло", Nat. Стандарты бюро, 12 (1951), стр. 36–38.