Достаточная статистика - Sufficient statistic

В статистика, а статистика является достаточно по отношению к статистическая модель и связанные с ним неизвестные параметр если "нет другой статистики, которая может быть рассчитана на основе того же образец предоставляет любую дополнительную информацию о значении параметра ".^[1] В частности, статистика достаточно для семья из распределения вероятностей если выборка, по которой она рассчитана, не дает дополнительной информации, кроме статистики, то какое из этих распределений вероятностей является выборочное распределение.

Связанная концепция - это концепция линейная достаточность, что слабее, чем достаточность но может применяться в некоторых случаях, когда нет достаточной статистики, хотя и ограничивается линейными оценками.^[2] В Структурная функция Колмогорова имеет дело с отдельными конечными данными; с этим связано понятие алгоритмической достаточной статистики.

Концепция обусловлена Сэр Рональд Фишер в 1920 году. Стивен Стиглер в 1973 году отметил, что концепция достаточности потеряла популярность в описательная статистика из-за сильной зависимости от предположения о форме распределения (см. Теорема Питмана – Купмана – Дармуа. ниже), но оставался очень важным в теоретической работе.^[3]

Задний план

Примерно, учитывая набор ${\displaystyle \mathbf {X} }$ из независимые одинаково распределенные данные, обусловленные неизвестным параметром ${\displaystyle \theta }$, достаточной статистикой является функция ${\displaystyle T(\mathbf {X} )}$ значение которого содержит всю информацию, необходимую для вычисления любой оценки параметра (например, максимальная вероятность оценить). По теореме факторизации (см. ниже ), для достаточной статистики ${\displaystyle T(\mathbf {X} )}$, плотность вероятности можно записать как ${\displaystyle f_{\mathbf {X} }(x)=h(x)\,g(\theta ,T(x))}$. Из этой факторизации легко увидеть, что оценка максимального правдоподобия ${\displaystyle \theta }$ будет взаимодействовать с ${\displaystyle \mathbf {X} }$ только через ${\displaystyle T(\mathbf {X} )}$. Обычно достаточная статистика является простой функцией данных, например сумма всех точек данных.

В более общем смысле «неизвестный параметр» может представлять собой вектор неизвестных величин или может представлять все о модели, что неизвестно или не полностью определено. В таком случае достаточной статистикой может быть набор функций, называемых совместно достаточная статистика. Обычно функций столько, сколько параметров. Например, для Гауссово распределение с неизвестным значить и отклонение, совместно достаточная статистика, из которой могут быть оценены оценки максимального правдоподобия обоих параметров, состоит из двух функций, суммы всех точек данных и суммы всех квадратов точек данных (или, что эквивалентно, выборочное среднее и выборочная дисперсия ).

Эта концепция эквивалентна утверждению, что, условный от значения достаточной статистики для параметра, совместное распределение вероятностей данных не зависит от этого параметра. И статистика, и базовый параметр могут быть векторами.

Математическое определение

Статистика т = Т(Икс) является достаточно для базового параметра θ именно если условное распределение вероятностей данных Икс, учитывая статистику т = Т(Икс), не зависит от параметра θ.^[4]

пример

Например, выборочного среднего достаточно для среднего (μ) из нормальное распределение с известной дисперсией. Как только среднее значение выборки известно, никакой дополнительной информации о μ можно получить из самого образца. С другой стороны, для произвольного распределения медиана недостаточно для среднего значения: даже если известно среднее значение выборки, знание самой выборки предоставит дополнительную информацию о среднем значении генеральной совокупности. Например, если наблюдения, которые меньше медианы, лишь немного меньше, но наблюдения, превышающие медианное значение, значительно превышают ее, то это будет иметь отношение к выводу о среднем населении.

Теорема факторизации Фишера – Неймана

Фишера теорема факторизации или критерий факторизации обеспечивает удобный характеристика достаточной статистики. Если функция плотности вероятности является ƒ_θ(Икс), тогда Т достаточно для θ если и только если неотрицательные функции г и час можно найти так, что

${\displaystyle f_{\theta }(x)=h(x)\,g_{\theta }(T(x)),}$

т.е. плотность ƒ может быть разложена на продукт так, что один фактор, час, не зависит от θ и другой фактор, который зависит от θ, зависит от Икс только через Т(Икс).

Легко видеть, что если F(т) является взаимно однозначной функцией и Т является достаточной статистикой, то F(Т) является достаточной статистикой. В частности, мы можем умножить достаточную статистику на ненулевую константу и получить другую достаточную статистику.

Интерпретация принципа правдоподобия

Смысл теоремы заключается в том, что при использовании вывода на основе правдоподобия два набора данных дают одно и то же значение для достаточной статистики. Т(Икс) всегда будет приводить к одним и тем же выводам о θ. По критерию факторизации зависимость правдоподобия от θ только в сочетании с Т(Икс). Поскольку в обоих случаях это одно и то же, зависимость от θ будет таким же, что приведет к идентичным выводам.

Доказательство

Из-за Хогга и Крейга.^[5] Позволять ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$, обозначают случайную выборку из распределения, имеющего pdf ж(Икс, θ) для ι < θ < δ. Позволять Y₁ = ты₁(Икс₁, Икс₂, ..., Икс_п) - статистика, pdf которой г₁(y₁; θ). Мы хотим доказать, что Y₁ = ты₁(Икс₁, Икс₂, ..., Икс_п) является достаточной статистикой для θ тогда и только тогда, когда для некоторой функции ЧАС,

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

Сначала предположим, что

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

Мы сделаем преобразование y_я = ты_я(Икс₁, Икс₂, ..., Икс_п), для я = 1, ..., п, имеющий обратные функции Икс_я = ш_я(y₁, y₂, ..., y_п), для я = 1, ..., п, и Якобиан ${\displaystyle J=\left[w_{i}/y_{j}\right]}$. Таким образом,

${\displaystyle \prod _{i=1}^{n}f\left[w_{i}(y_{1},y_{2},\dots ,y_{n});\theta \right]=|J|g_{1}(y_{1};\theta )H\left[w_{1}(y_{1},y_{2},\dots ,y_{n}),\dots ,w_{n}(y_{1},y_{2},\dots ,y_{n})\right].}$

Левая часть - это совместный pdf г(y₁, y₂, ..., y_п; θ) из Y₁ = ты₁(Икс₁, ..., Икс_п), ..., Y_п = ты_п(Икс₁, ..., Икс_п). В правом члене ${\displaystyle g_{1}(y_{1};\theta )}$ это PDF-файл ${\displaystyle Y_{1}}$, так что ${\displaystyle H[w_{1},\dots ,w_{n}]|J|}$ является частным от ${\displaystyle g(y_{1},\dots ,y_{n};\theta )}$ и ${\displaystyle g_{1}(y_{1};\theta )}$; то есть это условный pdf ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$ из ${\displaystyle Y_{2},\dots ,Y_{n}}$ данный ${\displaystyle Y_{1}=y_{1}}$.

Но ${\displaystyle H(x_{1},x_{2},\dots ,x_{n})}$, и поэтому ${\displaystyle H\left[w_{1}(y_{1},\dots ,y_{n}),\dots ,w_{n}(y_{1},\dots ,y_{n}))\right]}$, дано не зависеть от ${\displaystyle \theta }$. поскольку ${\displaystyle \theta }$ не был введен в преобразование и, соответственно, не в якобиан ${\displaystyle J}$, это следует из того ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$ не зависит от ${\displaystyle \theta }$ и это ${\displaystyle Y_{1}}$ достаточная статистика для ${\displaystyle \theta }$.

Обратное доказывается следующим образом:

${\displaystyle g(y_{1},\dots ,y_{n};\theta )=g_{1}(y_{1};\theta )h(y_{2},\dots ,y_{n}\mid y_{1}),}$

где ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$ не зависит от ${\displaystyle \theta }$ потому что ${\displaystyle Y_{2}...Y_{n}}$ зависеть только от ${\displaystyle X_{1}...X_{n}}$, которые не зависят от ${\displaystyle \Theta }$ когда обусловлено ${\displaystyle Y_{1}}$Достаточная статистика по гипотезе. Теперь разделите оба члена на абсолютное значение ненулевого якобиана. ${\displaystyle J}$и заменить ${\displaystyle y_{1},\dots ,y_{n}}$ по функциям ${\displaystyle u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n})}$ в ${\displaystyle x_{1},\dots ,x_{n}}$. Это дает

${\displaystyle {\frac {g\left[u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n});\theta \right]}{|J^{*}|}}=g_{1}\left[u_{1}(x_{1},\dots ,x_{n});\theta \right]{\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

где ${\displaystyle J^{*}}$ это якобиан с ${\displaystyle y_{1},\dots ,y_{n}}$ заменены их стоимостью в терминах ${\displaystyle x_{1},\dots ,x_{n}}$. Левый член обязательно является объединенным pdf ${\displaystyle f(x_{1};\theta )\cdots f(x_{n};\theta )}$ из ${\displaystyle X_{1},\dots ,X_{n}}$. поскольку ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$, и поэтому ${\displaystyle h(u_{2},\dots ,u_{n}\mid u_{1})}$, не зависит от ${\displaystyle \theta }$, тогда

${\displaystyle H(x_{1},\dots ,x_{2})={\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

это функция, которая не зависит от ${\displaystyle \theta }$.

Еще одно доказательство

Более простое и наглядное доказательство состоит в следующем, хотя оно применимо только в дискретном случае.

Мы используем сокращенные обозначения для обозначения совместной плотности вероятности ${\displaystyle (X,T(X))}$ от ${\displaystyle f_{\theta }(x,t)}$. поскольку ${\displaystyle T}$ является функцией ${\displaystyle X}$, у нас есть ${\displaystyle f_{\theta }(x,t)=f_{\theta }(x)}$, так долго как ${\displaystyle t=T(x)}$ и ноль в противном случае. Следовательно:

${\displaystyle {\begin{aligned}f_{\theta }(x)&=f_{\theta }(x,t)\\[5pt]&=f_{\theta }(x\mid t)f_{\theta }(t)\\[5pt]&=f(x\mid t)f_{\theta }(t)\end{aligned}}}$

причем последнее равенство верно по определению достаточной статистики. Таким образом ${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$ с участием ${\displaystyle a(x)=f_{X\mid t}(x)}$ и ${\displaystyle b_{\theta }(t)=f_{\theta }(t)}$.

Наоборот, если ${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$, у нас есть

${\displaystyle {\begin{aligned}f_{\theta }(t)&=\sum _{x:T(x)=t}f_{\theta }(x,t)\\[5pt]&=\sum _{x:T(x)=t}f_{\theta }(x)\\[5pt]&=\sum _{x:T(x)=t}a(x)b_{\theta }(t)\\[5pt]&=\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t).\end{aligned}}}$

При первом равенстве определение PDF для нескольких переменных, второй - по замечанию выше, третий - по гипотезе, а четвертый - потому что суммирование не окончено ${\displaystyle t}$.

Позволять ${\displaystyle f_{X\mid t}(x)}$ обозначим условную плотность вероятности ${\displaystyle X}$ данный ${\displaystyle T(X)}$. Тогда мы можем получить явное выражение для этого:

${\displaystyle {\begin{aligned}f_{X\mid t}(x)&={\frac {f_{\theta }(x,t)}{f_{\theta }(t)}}\\[5pt]&={\frac {f_{\theta }(x)}{f_{\theta }(t)}}\\[5pt]&={\frac {a(x)b_{\theta }(t)}{\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t)}}\\[5pt]&={\frac {a(x)}{\sum _{x:T(x)=t}a(x)}}.\end{aligned}}}$

Первое равенство по определению условной плотности вероятности, второе - по замечанию выше, третье - по доказанному выше равенству, а четвертое - по упрощению. Это выражение не зависит от ${\displaystyle \theta }$ и поэтому ${\displaystyle T}$ это достаточная статистика.^[6]

Минимальная достаточность

Достаточная статистика минимально достаточный если он может быть представлен как функция любой другой достаточной статистики. Другими словами, S(Икс) является минимально достаточный если и только если^[7]

1. S(Икс) достаточно, и
2. если Т(Икс) достаточно, то существует функция ж такой, что S(Икс) = ж(Т(Икс)).

Интуитивно минимальная достаточная статистика наиболее эффективно фиксирует всю возможную информацию о параметре θ.

Полезной характеристикой минимальной достаточности является то, что когда плотность ж_θ существуют, S(Икс) является минимально достаточный если и только если

${\displaystyle {\frac {f_{\theta }(x)}{f_{\theta }(y)}}}$ не зависит от θ :${\displaystyle \Longleftrightarrow }$ S(Икс) = S(y)

Это следует как следствие из Теорема факторизации Фишера указано выше.

Случай, в котором нет минимально достаточной статистики, был показан Бахадуром, 1954.^[8] Однако в мягких условиях всегда существует минимальная достаточная статистика. В частности, в евклидовом пространстве эти условия всегда выполняются, если случайные величины (связанные с ${\displaystyle P_{\theta }}$ ) все дискретны или все непрерывны.

Если существует минимальная достаточная статистика, а это обычно так, то каждый полный достаточная статистика обязательно минимальная достаточная^[9](обратите внимание, что это утверждение не исключает вариант патологического случая, когда существует полное достаточное количество, а минимально достаточная статистика отсутствует). Хотя трудно найти случаи, когда отсутствует минимальная достаточная статистика, не так сложно найти случаи, в которых нет полной статистики.

Сборник отношений правдоподобия ${\displaystyle \left\{{\frac {L(\theta _{1}\mid X)}{L(\theta _{2}\mid X)}}\right\}}$ является минимальной достаточной статистикой, если ${\displaystyle P(X\mid \theta )}$ дискретна или имеет функцию плотности.

Примеры

Распределение Бернулли

Если Икс₁, ...., Икс_п независимы Распределенный по Бернулли случайные величины с ожидаемым значением п, то сумма Т(Икс) = Икс₁ + ... + Икс_п является достаточной статистикой для п (здесь "успех" соответствует Икс_я = 1 и 'отказ' до Икс_я = 0; так Т это общее количество успехов)

Это видно при рассмотрении совместного распределения вероятностей:

${\displaystyle \Pr\{X=x\}=\Pr\{X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}\}.}$

Поскольку наблюдения независимы, это можно записать как

${\displaystyle p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\cdots p^{x_{n}}(1-p)^{1-x_{n}}}$

и, собирая полномочия п и 1 -п, дает

${\displaystyle p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}}$

которое удовлетворяет критерию факторизации, при этом час(Икс) = 1 является просто константой.

Обратите внимание на важную особенность: неизвестный параметр п взаимодействует с данными Икс только по статистике Т(Икс) = ΣИкс_я.

В качестве конкретного приложения это дает процедуру различения честная монета из смещенной монеты.

Равномерное распределение

Смотрите также: Проблема с немецким танком

Если Икс₁, ...., Икс_п независимы и равномерно распределены на интервале [0,θ], тогда Т(Икс) = макс (Икс₁, ..., Икс_п) достаточно для θ - максимум выборки - достаточная статистика для максимума популяции.

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из Икс  (Икс₁,...,Икс_п). Поскольку наблюдения независимы, pdf можно записать как произведение индивидуальных плотностей

${\displaystyle {\begin{aligned}f_{X}(x_{1},\ldots ,x_{n})&={\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{1}\leq \theta \}}\cdots {\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{n}\leq \theta \}}\\[5pt]&={\frac {1}{\theta ^{n}}}\mathbf {1} _{\{0\leq \min\{x_{i}\}\}}\mathbf {1} _{\{\max\{x_{i}\}\leq \theta \}}\end{aligned}}}$

где 1_{...} это индикаторная функция. Таким образом, плотность принимает форму, требуемую теоремой Фишера – Неймана о факторизации, где час(Икс) = 1_{{min {Икся}≥0}}, а остальная часть выражения является функцией только θ и Т(Икс) = max {Икс_я}.

Фактически, несмещенная оценка с минимальной дисперсией (MVUE) для θ является

${\displaystyle {\frac {n+1}{n}}T(X).}$

Это максимум выборки, масштабированный с поправкой на предвзятость, и является MVUE по Теорема Лемана – Шеффе. Максимум непересчитанной выборки Т(Икс) это оценщик максимального правдоподобия для θ.

Равномерное распределение (с двумя параметрами)

Если ${\displaystyle X_{1},...,X_{n}}$ независимы и равномерно распределены на интервале ${\displaystyle [\alpha ,\beta ]}$ (где ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ - неизвестные параметры), то ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$ - двумерная достаточная статистика для ${\displaystyle (\alpha \,,\,\beta )}$.

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из ${\displaystyle X_{1}^{n}=(X_{1},\ldots ,X_{n})}$. Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т.е.

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \beta -\alpha }\right)\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta \}}=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta ,\,\forall \,i=1,\ldots ,n\}}\\&=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\quad g_{(\alpha ,\beta )}(x_{1}^{n})=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

поскольку ${\displaystyle h(x_{1}^{n})}$ не зависит от параметра ${\displaystyle (\alpha ,\beta )}$ и ${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$ зависит только от ${\displaystyle x_{1}^{n}}$ через функцию ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right),}$

из теоремы факторизации Фишера – Неймана следует ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$ является достаточной статистикой для ${\displaystyle (\alpha \,,\,\beta )}$.

распределение Пуассона

Если Икс₁, ...., Икс_п независимы и имеют распределение Пуассона с параметром λ, то сумма Т(Икс) = Икс₁ + ... + Икс_п является достаточной статистикой дляλ.

Чтобы увидеть это, рассмотрим совместное распределение вероятностей:

${\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).}$

Поскольку наблюдения независимы, это можно записать как

${\displaystyle {e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}}$

который можно записать как

${\displaystyle e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

что показывает выполнение критерия факторизации, где час(Икс) является обратной величиной произведения факториалов. Обратите внимание, что параметр λ взаимодействует с данными только через свою сумму Т(Икс).

Нормальное распределение

Если ${\displaystyle X_{1},\ldots ,X_{n}}$ независимы и нормально распределенный с ожидаемой стоимостью ${\displaystyle \theta }$ (параметр) и известная конечная дисперсия ${\displaystyle \sigma ^{2},}$ тогда

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

является достаточной статистикой для ${\displaystyle \theta .}$

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$. Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т.е.

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {\left(\left(x_{i}-{\overline {x}}\right)-\left(\theta -{\overline {x}}\right)\right)^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+\sum _{i=1}^{n}(\theta -{\overline {x}})^{2}-2\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})\right)\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+n(\theta -{\overline {x}})^{2}\right)\right)&&\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})=0\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\\[6pt]g_{\theta }(x_{1}^{n})&=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

поскольку ${\displaystyle h(x_{1}^{n})}$ не зависит от параметра ${\displaystyle \theta }$ и ${\displaystyle g_{\theta }(x_{1}^{n})}$ зависит только от ${\displaystyle x_{1}^{n}}$ через функцию

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i},}$

из теоремы факторизации Фишера – Неймана следует ${\displaystyle T(X_{1}^{n})}$ является достаточной статистикой для ${\displaystyle \theta }$.

Если ${\displaystyle \sigma ^{2}}$ неизвестно и с тех пор ${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}$, указанная выше вероятность может быть переписана как

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})=(2\pi \sigma ^{2})^{-n/2}\exp \left(-{\frac {n-1}{2\sigma ^{2}}}s^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right).\end{aligned}}}$

Теорема факторизации Фишера – Неймана все еще верна и влечет, что ${\displaystyle ({\overline {x}},s^{2})}$ является совместной достаточной статистикой для ${\displaystyle (\theta ,\sigma ^{2})}$.

Экспоненциальное распределение

Если ${\displaystyle X_{1},\dots ,X_{n}}$ независимы и экспоненциально распределенный с ожидаемой стоимостью θ (неизвестный положительный параметр с действительным знаком), то ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$ является достаточной статистикой для θ.

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$. Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т.е.

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{1 \over \theta }\,e^{{-1 \over \theta }x_{i}}={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{\theta }(x_{1}^{n})={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

поскольку ${\displaystyle h(x_{1}^{n})}$ не зависит от параметра ${\displaystyle \theta }$ и ${\displaystyle g_{\theta }(x_{1}^{n})}$ зависит только от ${\displaystyle x_{1}^{n}}$ через функцию ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

из теоремы факторизации Фишера – Неймана следует ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$ является достаточной статистикой для ${\displaystyle \theta }$.

Гамма-распределение

Если ${\displaystyle X_{1},\dots ,X_{n}}$ независимы и распределены как ${\displaystyle \Gamma (\alpha \,,\,\beta )}$, где ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ неизвестные параметры Гамма-распределение, тогда ${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}{X_{i}},\sum _{i=1}^{n}X_{i}\right)}$ - двумерная достаточная статистика для ${\displaystyle (\alpha ,\beta )}$.

Чтобы убедиться в этом, рассмотрим сустав функция плотности вероятности из ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$. Поскольку наблюдения независимы, PDF может быть записан как произведение индивидуальных плотностей, т.е.

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)x_{i}^{\alpha -1}e^{(-1/\beta )x_{i}}\\[5pt]&=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

Совместная плотность образца принимает форму, требуемую теоремой Фишера – Неймана о факторизации, если позволить

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{(\alpha \,,\,\beta )}(x_{1}^{n})=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

поскольку ${\displaystyle h(x_{1}^{n})}$ не зависит от параметра ${\displaystyle (\alpha \,,\,\beta )}$ и ${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$ зависит только от ${\displaystyle x_{1}^{n}}$ через функцию ${\displaystyle T(x_{1}^{n})=\left(\prod _{i=1}^{n}x_{i},\sum _{i=1}^{n}x_{i}\right),}$

из теоремы факторизации Фишера – Неймана следует ${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}\right)}$ является достаточной статистикой для ${\displaystyle (\alpha \,,\,\beta ).}$

Теорема Рао – Блэквелла

Достаточность находит полезное применение в Теорема Рао – Блэквелла, который гласит, что если г(Икс) - это любая оценка θ, то обычно условное ожидание г(Икс) при достаточной статистике Т(Икс) лучше^{[расплывчатый ]} оценщик θ, и хуже не бывает. Иногда очень легко построить очень грубую оценку г(Икс), а затем оценить это условное ожидаемое значение, чтобы получить оценку, которая является оптимальной в различных смыслах.

Экспоненциальная семья

Основная статья: Экспоненциальная семья

Согласно Теорема Питмана – Купмана – Дармуа, среди семейств вероятностных распределений, область определения которых не меняется в зависимости от оцениваемого параметра, только в экспоненциальные семейства существует ли достаточная статистика, размерность которой остается ограниченной по мере увеличения размера выборки.

Менее кратко, предположим ${\displaystyle X_{n},n=1,2,3,\dots }$ находятся независимые одинаково распределенные случайные величины, распределение которых, как известно, принадлежит некоторому семейству вероятностных распределений с фиксированной поддержкой. Только если эта семья экспоненциальный семья имеется достаточная статистика (возможно, векторная) ${\displaystyle T(X_{1},\dots ,X_{n})}$ чье количество скалярных компонентов не увеличивается с увеличением размера выборки п увеличивается.

Эта теорема показывает, что достаточность (или, скорее, наличие скалярной или векторной достаточной статистики ограниченной размерности) резко ограничивает возможные формы распределения.

Другие виды достаточности

Байесовская достаточность

Альтернативная формулировка условия достаточности статистики, заданная в байесовском контексте, включает апостериорные распределения, полученные с использованием полного набора данных и с использованием только статистики. Таким образом, требуется, чтобы почти для каждого Икс,

${\displaystyle \Pr(\theta \mid X=x)=\Pr(\theta \mid T(X)=t(x)).}$

В более общем плане, не предполагая параметрической модели, мы можем сказать, что статистика Т является предсказуемо достаточно если

${\displaystyle \Pr(X'=x'\mid X=x)=\Pr(X'=x'\mid T(X)=t(x)).}$

Оказывается, эта «байесовская достаточность» является следствием приведенной выше формулировки:^[10] однако они не эквивалентны прямо в бесконечномерном случае.^[11] Доступен ряд теоретических результатов для достаточности в байесовском контексте.^[12]

Линейная достаточность

Концепция, называемая «линейная достаточность», может быть сформулирована в байесовском контексте,^[13] и вообще.^[14] Сначала определите лучший линейный предиктор вектора Y на основе Икс так как ${\displaystyle {\hat {E}}[Y\mid X]}$. Тогда линейная статистика Т(Икс) линейно достаточно^[15] если

${\displaystyle {\hat {E}}[\theta \mid X]={\hat {E}}[\theta \mid T(X)].}$

Смотрите также

• Полнота статистики
• Теорема Басу о независимости полной достаточной и вспомогательной статистики
• Теорема Лемана – Шеффе: полная достаточная оценка - лучшая оценка ее ожидания
• Теорема Рао – Блэквелла
• Достаточное уменьшение размеров
• Дополнительная статистика

Заметки

1. Фишер, Р.А. (1922). «О математических основах теоретической статистики». Философские труды Королевского общества A. 222 (594–604): 309–368. Дои:10.1098 / рста.1922.0009. JFM  48.1280.02. JSTOR  91208.
2. Додж, Ю. (2003) - запись о линейной достаточности
3. Стиглер, Стивен (Декабрь 1973 г.). «Исследования по истории вероятности и статистики. XXXII: Лаплас, Фишер и открытие концепции достаточности». Биометрика. 60 (3): 439–445. Дои:10.1093 / biomet / 60.3.439. JSTOR  2334992. Г-Н  0326872.
4. Казелла, Джордж; Бергер, Роджер Л. (2002). Статистический вывод, 2-е изд.. Duxbury Press.
5. Хогг, Роберт В .; Крейг, Аллен Т. (1995). Введение в математическую статистику. Прентис Холл. ISBN  978-0-02-355722-4.
6. "Теорема факторизации Фишера – Неймана".. Веб-страница Connexions (cnx.org)
7. Dodge (2003) - запись для минимально достаточной статистики
8. Леманн и Казелла (1998), Теория точечного оценивания, 2-е издание, Springer, стр. 37
9. Леманн и Казелла (1998), Теория точечного оценивания, 2-е издание, Springer, стр. 42
10. Бернардо, Дж.; Смит, А.Ф.М. (1994). «Раздел 5.1.4». Байесовская теория. Вайли. ISBN  0-471-92416-4.
11. Блэквелл, Д.; Рамамурти, Р. В. (1982). «Байесовская, но недостаточно классическая статистика». Анналы статистики. 10 (3): 1025–1026. Дои:10.1214 / aos / 1176345895. Г-Н  0663456. Zbl  0485.62004.
12. Ногалес, А.Г .; Oyola, J.A .; Перес, П. (2000). «Об условной независимости и соотношении достаточности и инвариантности с байесовской точки зрения». Письма о статистике и вероятности. 46 (1): 75–84. Дои:10.1016 / S0167-7152 (99) 00089-9. Г-Н  1731351. Zbl  0964.62003.
13. Goldstein, M .; О'Хаган, А. (1996). «Байесовская линейная достаточность и системы апостериорных экспертных оценок». Журнал Королевского статистического общества. Серия Б. 58 (2): 301–316. JSTOR  2345978.
14. Годамб, В. П. (1966). "Новый подход к выборке из конечных совокупностей. II Достаточность без распределения". Журнал Королевского статистического общества. Серия Б. 28 (2): 320–328. JSTOR  2984375.
15. Уиттинг, Т. (1987). «Линейное марковское свойство в теории достоверности». Бюллетень АСТИН. 17 (1): 71–84. Дои:10.2143 / аст.17.1.2014984.

использованная литература

• Холево, А. (2001) [1994], «Достаточная статистика», Энциклопедия математики, EMS Press
• Lehmann, E. L .; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. Глава 4. ISBN  0-387-98502-6.
• Додж, Ю. (2003) Оксфордский словарь статистических терминов, ОУП. ISBN  0-19-920613-9