Правило преемственности - Rule of succession

Эта статья о правиле преемственности в теории вероятностей. О монархических и президентских правилах наследования см. Порядок наследования.

«Оценка Лапласа-Байеса» перенаправляется сюда. Для статистических оценок, которые максимизируют апостериорную ожидаемую полезность или минимизируют апостериорную ожидаемую потерю, см. Байесовская оценка.

В теория вероятности, то правило наследования это формула, введенная в 18 веке Пьер-Симон Лаплас в процессе лечения проблема восхода солнца.^[1]

Формула все еще используется, особенно для оценки основных вероятностей при небольшом количестве наблюдений или для событий, которые вообще не наблюдались в (конечных) выборочных данных.

Заявление о правопреемстве

Если мы повторим эксперимент, который, как мы знаем, может привести к успеху или неудаче, п раз независимо, и получить s успехов и н-с отказов, то какова вероятность того, что следующее повторение будет успешным?

Более абстрактно: если Икс₁, ..., Икс_п+1 находятся условно независимый случайные переменные что каждый может принимать значение 0 или 1, тогда, если мы больше ничего о них не знаем,

${\displaystyle P(X_{n+1}=1\mid X_{1}+\cdots +X_{n}=s)={s+1 \over n+2}.}$

Интерпретация

Поскольку мы заранее знаем, что смотрим на эксперимент, для которого возможны как успех, так и неудача, наша оценка такова, как если бы мы наверняка наблюдали один успех и один провал еще до того, как даже начали эксперименты. В некотором смысле мы сделали п + 2 наблюдения (известные как псевдосчета ) с s+1 успехов. Хотя это может показаться самым простым и разумным предположением, которое также оказывается верным, оно все же требует доказательства. В самом деле, предположение, что псевдосчет равен единице для каждой возможности, является одним из способов обобщения двоичного результата, но имеет неожиданные последствия - см. Обобщение на любое количество возможностей, ниже.

Тем не менее, если бы у нас было нет с самого начала известно, что возможны как успех, так и неудача, тогда нам пришлось бы назначить

${\displaystyle P'(X_{n+1}=1\mid X_{1}+\cdots +X_{n}=s)={s \over n}.}$

Но посмотри Математические детали ниже, для анализа его действительности. В частности, это недействительно, когда ${\displaystyle s=0}$, или же ${\displaystyle s=n}$.

Если количество наблюдений увеличивается, ${\displaystyle P}$ и ${\displaystyle P'}$ становиться все более и более похожим, что интуитивно понятно: чем больше у нас данных, тем меньшее значение следует придавать нашей предыдущей информации.

Историческое приложение к проблеме восхода солнца

Лаплас использовал правило последовательности, чтобы вычислить вероятность того, что Солнце взойдет завтра, учитывая, что оно вставало каждый день в течение последних 5000 лет. Получается очень большой множитель примерно 5000 × 365,25, что дает вероятность 1,826,200 к 1 в пользу завтрашнего восхода Солнца.

Однако, как показывают математические детали, приведенные ниже, основное предположение для использования правила преемственности будет заключаться в том, что у нас нет предварительных знаний о вопросе, взойдет или нет Солнце завтра, за исключением того, что оно может делать то и другое. Это не относится к рассветам.

Лаплас хорошо это знал, и он написал, завершая пример восхода солнца: «Но это число намного больше для того, кто, видя во всей совокупности явлений принцип, регулирующий дни и времена года, понимает, что ничто в настоящий момент не может остановить курс. этого. "^[2] Однако за этот расчет Лапласа высмеивали; его противники^{[ВОЗ? ]} не обратил внимания на это предложение или не понял его важности.^[2]

В 1940-х годах Рудольф Карнап исследовал вероятностную теорию индуктивное мышление, и разработал меры степени подтверждения, которые он рассматривал как альтернативу правилу преемственности Лапласа.^[3][4] Смотрите также Новая загадка индукции # Карнап.

Математические детали

Пропорция п назначается равномерное распределение для описания неопределенности его истинного значения. (Это соотношение не является случайным, но неопределенным. Мы назначаем распределение вероятностей для п чтобы выразить нашу неуверенность, а не приписывать случайностьп. Но математически это равносильно лечению п как будто это было случайно).

Позволять Икс_я быть 1, если мы наблюдаем «успех» на яth испытание в противном случае 0, с вероятностью п успеха на каждом испытании. Таким образом, каждый Икс равно 0 или 1; каждый Икс имеет Распределение Бернулли. Предположим, что эти Иксs есть условно независимый данный п.

Мы можем использовать Теорема Байеса найти условное распределение вероятностей п учитывая данные Икс_я, я = 1, ..., п. Для "прежний "(т. е. предельная) вероятностная мера п мы назначили равномерное распределение через открытый интервал (0,1)

${\displaystyle f(p)={\begin{cases}0&{\text{for }}p\leq 0\\1&{\text{for }}0<p<1\\0&{\text{for }}p\geq 1\end{cases}}}$

Для вероятности наших наблюдений мы используем функция правдоподобия

${\displaystyle L(p)=P(X_{1}=x_{1},\ldots ,X_{n}=x_{n}\mid p)=\prod _{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}=p^{s}(1-p)^{n-s}}$

куда s = Икс₁ + ... + Икс_п количество "успехов" и п количество испытаний (мы используем заглавную Икс для обозначения случайной величины и нижнего регистра Икс как фактически наблюдаемые данные). Собирая все вместе, мы можем вычислить апостериор:

${\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={L(p)f(p) \over \int _{0}^{1}L(r)f(r)\,dr}={p^{s}(1-p)^{n-s} \over \int _{0}^{1}r^{s}(1-r)^{n-s}\,dr}}$

Чтобы получить нормализующая константа, мы нашли

${\displaystyle \int _{0}^{1}r^{s}(1-r)^{n-s}\,dr={s!(n-s)! \over (n+1)!}}$

(видеть бета-функция подробнее об интегралах такого вида).

Следовательно, апостериорная функция плотности вероятности

${\displaystyle f(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})={(n+1)! \over s!(n-s)!}p^{s}(1-p)^{n-s}.}$

Это бета-распространение с ожидаемое значение

${\displaystyle \operatorname {E} (p\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)=\int _{0}^{1}pf(p\mid X_{1}=x_{1},\ldots ,X_{n}=x_{n})\,dp={s+1 \over n+2}.}$

С п говорит нам вероятность успеха в любом эксперименте, и каждый эксперимент условно независимый, условная вероятность успеха в следующем эксперименте равна п. В качестве п это случайная переменная, The закон полной вероятности говорит нам, что ожидаемая вероятность успеха в следующем эксперименте - это просто ожидаемое значение п. С п зависит от наблюдаемых данных Икс_я за я = 1, ..., п, у нас есть

${\displaystyle P(X_{n+1}=1\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)=\operatorname {E} (p\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)={s+1 \over n+2}.}$

Такой же расчет можно провести с (неправильно) до что выражает полное незнание п, включая незнание в отношении вопроса, может ли эксперимент быть успешным или может потерпеть неудачу. Этот неправильный априор равен 1 / (п(1 − п)) для 0 ≤п ≤ 1 и 0 в противном случае.^[5] Если вышеописанный расчет повторить с этим априорном, мы получим

${\displaystyle P'(X_{n+1}=1\mid X_{i}=x_{i}{\text{ for }}i=1,\dots ,n)={s \over n}.}$

Таким образом, при предварительном указании полного незнания вероятность успеха определяется наблюдаемой частотой успеха. Однако апостериорным распределением, которое привело к этому результату, является Бета (s,п − s) распределение, которое не является правильным, когда s = п или же s = 0 (т.е. константа нормировки бесконечна, когда s = 0 или s = п). Это означает, что мы не можем использовать эту форму апостериорного распределения для вычисления вероятности успеха следующего наблюдения, когда s = 0 или s = п. Это проливает больше света на информацию, содержащуюся в правиле последовательности: его можно рассматривать как выражение предшествующего предположения о том, что если бы выборка продолжалась бесконечно, мы в конечном итоге наблюдали бы по крайней мере один успех и по крайней мере одну неудачу в выборке. Предварительное выражение полного незнания не предполагает этого знания.

Оценить случай «полного незнания», когда s = 0 или s = п можно решить, сначала вернувшись к гипергеометрическое распределение, обозначаемый ${\displaystyle \mathrm {Hyp} (s|N,n,S)}$. Это подход, использованный Джейнсом (2003). Бином ${\displaystyle \mathrm {Bin} (r|n,p)}$ можно получить как предельную форму, где ${\displaystyle N,S\rightarrow \infty }$ таким образом, чтобы их соотношение ${\displaystyle p={S \over N}}$ остается фиксированным. Можно думать о ${\displaystyle S}$ как количество успехов в общей популяции, размер ${\displaystyle N}$

Эквивалент до ${\displaystyle {1 \over p(1-p)}}$ является ${\displaystyle {1 \over S(N-S)}}$, с доменом ${\displaystyle 1\leq S\leq N-1}$. Условия работы до ${\displaystyle N}$ означает, что оценка ${\displaystyle p}$ эквивалентно оценке ${\displaystyle S}$, а затем разделив эту оценку на ${\displaystyle N}$. Задний для ${\displaystyle S}$ можно представить как:

${\displaystyle P(S|N,n,s)\propto {1 \over S(N-S)}{S \choose s}{N-S \choose n-s}\propto {S!(N-S)! \over S(N-S)(S-s)!(N-S-[n-s])!}}$

И видно, что если s = п или же s = 0, то один из факториалов в числителе сокращается ровно с единицей в знаменателе. Принимая s = 0, имеем:

${\displaystyle P(S|N,n,s=0)\propto {(N-S-1)! \over S(N-S-n)!}={\prod _{j=1}^{n-1}(N-S-j) \over S}}$

Добавление нормирующей константы, которая всегда конечна (поскольку нет сингулярностей в диапазоне апостериорных значений и есть конечное число членов), дает:

${\displaystyle P(S|N,n,s=0)={\prod _{j=1}^{n-1}(N-S-j) \over S\sum _{R=1}^{N-n}{\prod _{j=1}^{n-1}(N-R-j) \over R}}}$

Итак, апостериорное ожидание ${\displaystyle p={S \over N}}$ является:

${\displaystyle E\left({S \over N}|n,s=0,N\right)={1 \over N}\sum _{S=1}^{N-n}SP(S|N,n=1,s=0)={1 \over N}{\sum _{S=1}^{N-n}\prod _{j=1}^{n-1}(N-S-j) \over \sum _{R=1}^{N-n}{\prod _{j=1}^{n-1}(N-R-j) \over R}}}$

Приближенное аналитическое выражение для больших N дается путем первого приближения к члену продукта:

${\displaystyle \prod _{j=1}^{n-1}(N-R-j)\approx (N-R)^{n-1}}$

а затем заменив суммирование в числителе на интеграл

${\displaystyle \sum _{S=1}^{N-n}\prod _{j=1}^{n-1}(N-S-j)\approx \int _{1}^{N-n}(N-S)^{n-1}\,dS={(N-1)^{n}-n^{n} \over n}\approx {N^{n} \over n}}$

Та же процедура используется для знаменателя, но процесс немного сложнее, так как интеграл труднее вычислить.

${\displaystyle {\begin{aligned}\sum _{R=1}^{N-n}{\prod _{j=1}^{n-1}(N-R-j) \over R}&\approx \int _{1}^{N-n}{(N-R)^{n-1} \over R}\,dR\\&=N\int _{1}^{N-n}{(N-R)^{n-2} \over R}\,dR-\int _{1}^{N-n}(N-R)^{n-2}\,dR\\&=N^{n-1}\left[\int _{1}^{N-n}{dR \over R}-{1 \over n-1}+O\left({1 \over N}\right)\right]\approx N^{n-1}\ln(N)\end{aligned}}}$

где ln - это натуральный логарифм включение этих приближений в математическое ожидание дает

${\displaystyle E\left({S \over N}|n,s=0,N\right)\approx {1 \over N}{{N^{n} \over n} \over N^{n-1}\ln(N)}={1 \over n[\ln(N)]}={\log _{10}(e) \over n[\log _{10}(N)]}={0.434294 \over n[\log _{10}(N)]}}$

где база 10 логарифм был использован в окончательном ответе для простоты расчета. Например, если население имеет размер 10^k тогда вероятность успеха на следующем образце определяется как:

${\displaystyle E\left({S \over N}\mid n,s=0,N=10^{k}\right)\approx {0.434294 \over nk}}$

Так, например, если население составляет порядка десятков миллиардов, так что k = 10, и мы наблюдаем п = 10 безуспешных результатов, то ожидаемая доля в генеральной совокупности составляет примерно 0,43%. Если популяция меньше, так что п = 10, k = 5 (десятки тысяч), ожидаемая доля возрастает примерно до 0,86% и так далее. Аналогично, если количество наблюдений меньше, так что п = 5, k = 10, доля снова увеличивается примерно до 0,86%.

Эта вероятность не имеет положительной нижней границы и может быть сделана сколь угодно малой для все большего и большего выбора N, или же k. Это означает, что вероятность зависит от размера популяции, из которой проводится выборка. Переходя к пределу бесконечности N (для более простых аналитических свойств) мы «выбрасываем» часть очень важной информации. Обратите внимание, что это отношение незнания сохраняется только до тех пор, пока не наблюдается никаких успехов. Соответственно, оно возвращается к наблюдаемому правилу частоты. ${\displaystyle p={s \over n}}$ как только наблюдается один успех. Соответствующие результаты получены для s = n case, переключая метки, а затем вычитая вероятность из 1.

Обобщение на любое количество возможностей

В этом разделе дается эвристический вывод из приведенного в Теория вероятностей: логика науки.^[6]

Правило преемственности имеет множество различных интуитивных интерпретаций, и в зависимости от того, какую интуицию использует, обобщение может быть разным. Таким образом, можно действовать очень осторожно и заново вывести результаты из первых принципов, а не вводить интуитивно разумное обобщение. Полный вывод можно найти в книге Джейнса, но он допускает более легкий для понимания альтернативный вывод, если решение известно. Еще один момент, который следует подчеркнуть, - это то, что предшествующее состояние знаний, описываемое правилом преемственности, дается как перечисление возможностей с дополнительной информацией о том, что можно наблюдать каждую категорию. Это может быть эквивалентно определено как однократное наблюдение за каждой категорией перед сбором данных. Чтобы обозначить, что это используемые знания, я_м ставится как часть условий в вероятностных присвоениях.

Правило преемственности исходит из установки биномиального правдоподобия и равномерного априорного распределения. Таким образом, прямое обобщение - это просто многомерные расширения этих двух распределений: 1) установка равномерного априорного значения по сравнению с начальными m категориями, и 2) использование полиномиальное распределение как функция правдоподобия (которая является многомерным обобщением биномиального распределения). Можно показать, что равномерное распределение является частным случаем Распределение Дирихле со всеми его параметрами, равными 1 (так же, как униформа - это Beta (1,1) в двоичном случае). Распределение Дирихле - это сопряженный предшествующий для полиномиального распределения, что означает, что апостериорное распределение также является распределением Дирихле с другими параметрами. Позволять п_я обозначают вероятность того, что категория я будет соблюдаться, и пусть п_я обозначают количество раз категория я (я = 1, ..., м) действительно наблюдалось. Тогда совместное апостериорное распределение вероятностей п₁, ..., п_м дан кем-то;

${\displaystyle f(p_{1},\ldots ,p_{m}\mid n_{1},\ldots ,n_{m},I)={\begin{cases}{\displaystyle {\frac {\Gamma \left(\sum _{i=1}^{m}(n_{i}+1)\right)}{\prod _{i=1}^{m}\Gamma (n_{i}+1)}}p_{1}^{n_{1}}\cdots p_{m}^{n_{m}}},\quad &\sum _{i=1}^{m}p_{i}=1\\\\0&{\text{otherwise.}}\end{cases}}}$

Чтобы получить обобщенное правило преемственности, отметим, что вероятность наблюдения категории я при следующем наблюдении, при условии п_я просто п_я, мы просто требуем своего ожидания. Сдача А_я обозначают событие, когда следующее наблюдение находится в категории я (я = 1, ..., м), и разреши п = п₁ + ... + п_м быть общим количеством сделанных наблюдений. Результат, используя свойства распределения Дирихле:

${\displaystyle P(A_{i}|n_{1},\ldots ,n_{m},I_{m})={n_{i}+1 \over n+m}.}$

Это решение сводится к вероятности, которая была бы присвоена с использованием принципа безразличия до того, как будут сделаны какие-либо наблюдения (т.е. п = 0), что соответствует исходному правилу преемственности. Он также содержит правило преемственности как частный случай, когда м = 2, как и должно быть в обобщении.

Потому что предложения или события А_я являются взаимоисключающими, можно свернуть м категории в 2. Просто сложите А_я вероятности, которые соответствуют «успеху», чтобы получить вероятность успеха. Предполагая, что это совокупность c категории как «успех» и m-c категории как «отказ». Позволять s обозначают сумму соответствующих п_я ценности, которые получили название «успех». Тогда вероятность «успеха» в следующем испытании равна:

${\displaystyle P({\text{success}}|n_{1},\ldots ,n_{m},I_{m})={s+c \over n+m},}$

которое отличается от первоначального правила наследования. Но обратите внимание, что первоначальное правило преемственности основано на я₂, а обобщение основано на я_м. Это означает, что информация, содержащаяся в я_м отличается от того, что содержится в я₂. Это указывает на то, что простое знание более чем двух исходов, которые, как мы знаем, возможны, является релевантной информацией при сокращении этих категорий до двух. Это демонстрирует тонкость описания априорной информации и то, почему важно указать, какая априорная информация используется.

Дальнейший анализ

Очень важна хорошая модель (т. Е. Хороший компромисс между точностью и практичностью). Перефразировать Лаплас на проблема восхода солнца: Хотя у нас есть огромное количество образцов восходящего солнца, существуют гораздо лучшие модели солнца, чем предполагать, что оно имеет определенную вероятность восхода каждый день, например, просто имеет период полураспада.

При наличии хорошей модели лучше всего провести как можно больше наблюдений, в зависимости от ожидаемой надежности предшествующих знаний, стоимости наблюдений, времени и ресурсов, а также требуемой точности.

Один из самых сложных аспектов правила преемственности - это не математические формулы, а ответ на вопрос: когда применяется правило преемственности? В разделе обобщения это было очень четко отмечено путем добавления предварительной информации я_м в расчеты. Таким образом, когда о явлении известно только то, что существуют м известные возможные результаты до начала наблюдения за любыми данными, только тогда применяется правило преемственности. Если правило преемственности применяется в задачах, где это не точно описывает предшествующее состояние знаний, то оно может дать противоречащие интуиции результаты. Это не потому, что правило преемственности несовершенно, а потому, что оно эффективно отвечает на другой вопрос, основанный на другой априорной информации.

В принципе (см. Правило Кромвеля ), вероятность (или псевдосчет) любой возможности не должна быть установлена ​​равной нулю, поскольку ничто в физическом мире не должно считаться строго невозможным (хотя это может быть) - даже если это противоречит всем наблюдениям и текущим теориям. В самом деле, Правило Байеса берет абсолютно нет описания наблюдения, которое, как ранее считалось, имеет нулевую вероятность - оно все еще объявлено невозможным. Однако рассмотрение только фиксированного набора возможностей является приемлемым путем, нужно просто помнить, что результаты зависят от рассматриваемого набора (или ограничиваются им), а не от некоторого «универсального» набора. На самом деле Ларри Бретторст ^[7] показывает, что включение возможности «чего-то еще» в пространство гипотез не имеет никакого значения для относительных вероятностей другой гипотезы - оно просто перенормирует их в сумме до значения меньше 1. Пока не указано «что-то еще», вероятность функция, обусловленная этим "чем-то еще", является неопределенной, поскольку как определить ${\displaystyle Pr({\text{data}}|{\text{something else}},I)}$? Таким образом, обновление априорной вероятности «чего-то еще» не может произойти, пока оно не будет определено более точно.

Однако иногда остается спорным, должно ли предшествующее знание влиять на относительные вероятности или также на общий вес предшествующего знания по сравнению с фактическими наблюдениями. На это нет однозначного ответа, поскольку это зависит от того, какие предварительные знания вы рассматриваете. Фактически, альтернативный предыдущий уровень знаний может иметь форму «Я указал м потенциальные категории, но я уверен, что до наблюдения данных возможна только одна из них. Однако я не знаю, что это за конкретная категория ». Математический способ описать эту априорность - это распределение Дирихле со всеми параметрами, равными м⁻¹, что дает псевдосчет 1 к знаменателю вместо м, и добавляет псевдосчет м⁻¹ в каждую категорию. Это дает немного другую вероятность в двоичном случае ${\displaystyle {\frac {s+0.5}{n+1}}}$.

На оценку априорных вероятностей стоит потратить значительные усилия только тогда, когда они могут иметь значительный эффект. Они могут быть важны, когда имеется мало наблюдений - особенно когда их так мало, что было мало, если вообще было, наблюдений некоторых возможностей, таких как редкое животное, в данном регионе. Также важно, когда есть много наблюдений, когда считается, что ожидание должно быть сильно взвешено по отношению к предыдущим оценкам, несмотря на многие наблюдения об обратном, например, для колеса рулетки в уважаемом казино.В последнем случае по крайней мере некоторые из псевдосчета может потребоваться очень большой размер. Они не всегда маленькие, и поэтому вскоре их перевешивают реальные наблюдения, как это часто предполагается. Однако предварительные знания, хотя и в крайнем случае, для повседневных целей обычно необходимы. Таким образом, большинство решений должно быть до некоторой степени субъективным (в зависимости от аналитика и используемого анализа).

Смотрите также

• Аддитивное разглаживание
• Оценка Кричевского – Трофимова
• Принцип безразличия

Рекомендации

1. Лаплас, Пьер-Симон (1814). Философские очерки о вероятностях. Париж: Курсье.
2. Часть II, раздел 18.6 Джейнса, Э. Т. и Бретторста, Г. Л. (2003). Теория вероятностей: логика науки. Издательство Кембриджского университета. ISBN  978-0-521-59271-0
3. Рудольф Карнап (1945). «Об индуктивной логике» (PDF). Философия науки. 12 (2): 72–97. Дои:10.1086/286851.; здесь: стр.86, 97
4. Рудольф Карнап (1947). «О применении индуктивной логики» (PDF). Философия и феноменологические исследования. 8: 133–148. Дои:10.2307/2102920. JSTOR  2102920.; здесь: с.145
5. http://www.stats.org.uk/priors/noninformative/Smith.pdf
6. Джейнс, Э. (2003), Теория вероятностей: Логика науки, Кембридж, Великобритания, Cambridge University Press.
7. Стр. 55 - Дж. Ларри Бреттост. Байесовский спектральный анализ и оценка параметров. Кандидатская диссертация 1988 г. доступна по адресу http://bayes.wustl.edu/glb/book.pdf