Инвариантная оценка - Invariant estimator

В статистика, концепция быть инвариантная оценка это критерий, который можно использовать для сравнения свойств различных оценщики за такое же количество. Это способ формализовать идею о том, что оценщик должен обладать некоторыми интуитивно привлекательными качествами. Строго говоря, «инвариантный» будет означать, что сами оценки не изменяются, когда и измерения, и параметры преобразуются совместимым образом, но смысл был расширен, чтобы оценки могли изменяться соответствующим образом с такими преобразованиями.^[1] Период, термин эквивариантная оценка используется в формальных математических контекстах, которые включают точное описание взаимосвязи способа, которым оценщик изменяется в ответ на изменения в наборе данных и параметризации: это соответствует использованию "эквивалентность "в более общей математике.

Общие настройки

Задний план

В статистические выводы, есть несколько подходов к теория оценки это можно использовать для немедленного решения, какие оценки следует использовать в соответствии с этими подходами. Например, идеи из Байесовский вывод приведет непосредственно к Байесовские оценки. Точно так же теория классического статистического вывода может иногда приводить к четким выводам о том, какую оценку следует использовать. Однако полезность этих теорий зависит от наличия полностью предписанного статистическая модель и также может зависеть от наличия соответствующей функции потерь для определения оценщика. Таким образом Байесовский анализ могут быть предприняты, что приведет к апостериорному распределению соответствующих параметров, но использование конкретной функции полезности или потерь может быть неясным. Идеи инвариантности затем могут быть применены к задаче резюмирования апостериорного распределения. В других случаях статистический анализ проводится без полностью определенной статистической модели или классическая теория статистического вывода не может быть легко применена, поскольку рассматриваемое семейство моделей не поддается такой обработке. В дополнение к этим случаям, когда общая теория не предписывает оценку, концепция инвариантности оценки может применяться при поиске оценок альтернативных форм, либо для простоты применения оценки, либо для того, чтобы оценка была крепкий.

Концепция инвариантности иногда используется сама по себе как способ выбора между оценками, но это не обязательно окончательно. Например, требование инвариантности может быть несовместимо с требованием, чтобы оценка быть объективной; с другой стороны, критерий срединная непредвзятость определяется в терминах распределения выборки оценщика и поэтому инвариантен при многих преобразованиях.

Одно из применений концепции инвариантности - это когда предлагается класс или семейство оценок, и среди них должна быть выбрана конкретная формулировка. Одна из процедур состоит в том, чтобы наложить соответствующие свойства инвариантности, а затем найти формулировку в этом классе, которая имеет наилучшие свойства, что приводит к так называемой оптимальной инвариантной оценке.

Некоторые классы инвариантных оценок

Есть несколько типов преобразований, которые полезно учитывать при работе с инвариантными оценками. Каждый порождает класс оценок, которые инвариантны к этим конкретным типам преобразований.

• Инвариантность к сдвигу: теоретически оценки параметр местоположения должен быть инвариантным к простым сдвигам значений данных. Если все значения данных увеличиваются на заданную величину, оценка должна измениться на такую ​​же величину. При рассмотрении оценки с использованием средневзвешенное, это требование инвариантности немедленно означает, что суммы весов должны быть равны единице. Хотя тот же результат часто получается из требования к объективности, использование «инвариантности» не требует наличия среднего значения и вообще не использует какое-либо распределение вероятностей.
• Масштабная инвариантность: обратите внимание, что эту тему об инвариантности параметра шкалы оценки не следует путать с более общими масштабная инвариантность о поведении систем при совокупных свойствах (по физике).
• Инвариантность преобразования параметров: здесь преобразование применяется только к параметрам. Идея здесь заключается в том, что, по сути, из данных и модели, включающей параметр θ, следует сделать такой же вывод, как если бы модель использовала параметр φ, где φ - взаимно однозначное преобразование θ, φ =час(θ). Согласно этому типу инвариантности результаты инвариантных преобразований оценок также должны быть связаны соотношением φ =час(θ). Оценщики максимального правдоподобия иметь это свойство, когда преобразование монотонный. Хотя асимптотические свойства оценщика могут быть инвариантными, свойства малой выборки могут отличаться, и необходимо получить конкретное распределение.^[2]
• Инвариантность перестановок: когда набор значений данных может быть представлен статистической моделью, из которой они являются независимые и одинаково распределенные случайные переменные, разумно наложить требование, чтобы любая оценка любого свойства общего распределения была инвариантной к перестановкам: в частности, чтобы оценка, рассматриваемая как функция набора значений данных, не изменялась, если элементы данных меняются местами. в наборе данных.

Комбинация инвариантности перестановок и инвариантности местоположения для оценки параметра местоположения из независимые и одинаково распределенные набор данных с использованием средневзвешенного значения подразумевает, что веса должны быть идентичны и в сумме равны единице. Конечно, могут быть предпочтительнее оценки, отличные от средневзвешенного.

Оптимальные инвариантные оценки

В этой настройке нам дается набор измерений ${\displaystyle x}$ который содержит информацию о неизвестном параметре ${\displaystyle \theta }$. Измерения ${\displaystyle x}$ моделируются как векторная случайная величина иметь функция плотности вероятности ${\displaystyle f(x|\theta )}$ который зависит от вектора параметров ${\displaystyle \theta }$.

Проблема в том, чтобы оценить ${\displaystyle \theta }$ данный ${\displaystyle x}$. Оценка, обозначенная ${\displaystyle a}$, является функцией измерений и принадлежит множеству ${\displaystyle A}$. Качество результата определяется функция потерь ${\displaystyle L=L(a,\theta )}$ что определяет функция риска ${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$. Множества возможных значений ${\displaystyle x}$, ${\displaystyle \theta }$, и ${\displaystyle a}$ обозначаются ${\displaystyle X}$, ${\displaystyle \Theta }$, и ${\displaystyle A}$соответственно.

В классификации

В статистическая классификация, правило, присваивающее класс новому элементу данных, можно рассматривать как специальный тип оценки. Ряд соображений типа инвариантности можно использовать при формулировании предварительные знания для распознавания образов.

Математическая установка

Определение

Инвариантная оценка - это оценка, которая подчиняется следующим двум правилам:^{[нужна цитата ]}

1. Принцип рациональной инвариантности: действие, предпринимаемое при решении задачи, не должно зависеть от преобразования используемого измерения.
2. Принцип инвариантности: если две задачи решения имеют одинаковую формальную структуру (с точки зрения ${\displaystyle X}$, ${\displaystyle \Theta }$, ${\displaystyle f(x|\theta )}$ и ${\displaystyle L}$), то в каждой задаче следует использовать одно и то же правило принятия решения.

Для формального определения инвариантной или эквивариантной оценки сначала необходимы некоторые определения, относящиеся к группам преобразований. Позволять ${\displaystyle X}$ обозначают набор возможных выборок данных. А группа преобразований из ${\displaystyle X}$, чтобы обозначить ${\displaystyle G}$, представляет собой набор (измеримых) 1: 1 и на преобразования ${\displaystyle X}$ в себя, что удовлетворяет следующим условиям:

1. Если ${\displaystyle g_{1}\in G}$ и ${\displaystyle g_{2}\in G}$ тогда ${\displaystyle g_{1}g_{2}\in G\,}$
2. Если ${\displaystyle g\in G}$ тогда ${\displaystyle g^{-1}\in G}$, где ${\displaystyle g^{-1}(g(x))=x\,.}$ (То есть каждое преобразование имеет обратное внутри группы.)
3. ${\displaystyle e\in G}$ (т.е. есть тождественное преобразование ${\displaystyle e(x)=x\,}$)

Наборы данных ${\displaystyle x_{1}}$ и ${\displaystyle x_{2}}$ в ${\displaystyle X}$ эквивалентны, если ${\displaystyle x_{1}=g(x_{2})}$ для некоторых ${\displaystyle g\in G}$. Все эквивалентные точки образуют класс эквивалентности.Такой класс эквивалентности называется орбита (в ${\displaystyle X}$). В ${\displaystyle x_{0}}$ орбита ${\displaystyle X(x_{0})}$, это множество ${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$.Если ${\displaystyle X}$ состоит из одной орбиты, тогда ${\displaystyle g}$ называется транзитивным.

Семья плотностей ${\displaystyle F}$ называется инвариантным относительно группы ${\displaystyle G}$ если для каждого ${\displaystyle g\in G}$ и ${\displaystyle \theta \in \Theta }$ существует уникальный ${\displaystyle \theta ^{*}\in \Theta }$ такой, что ${\displaystyle Y=g(x)}$ имеет плотность ${\displaystyle f(y|\theta ^{*})}$. ${\displaystyle \theta ^{*}}$ будет обозначаться ${\displaystyle {\bar {g}}(\theta )}$.

Если ${\displaystyle F}$ инвариантен относительно группы ${\displaystyle G}$ тогда функция потерь ${\displaystyle L(\theta ,a)}$ называется инвариантным относительно ${\displaystyle G}$ если для каждого ${\displaystyle g\in G}$ и ${\displaystyle a\in A}$ существует ${\displaystyle a^{*}\in A}$ такой, что ${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$ для всех ${\displaystyle \theta \in \Theta }$. Преобразованное значение ${\displaystyle a^{*}}$ будем обозначать ${\displaystyle {\tilde {g}}(a)}$.

В приведенном выше описании ${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$ группа преобразований из ${\displaystyle \Theta }$ себе и ${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$ группа преобразований из ${\displaystyle A}$ себе.

Задача оценивания инвариантна (эквивариантна) относительно ${\displaystyle G}$ если есть три группы ${\displaystyle G,{\bar {G}},{\tilde {G}}}$ как определено выше.

Для задачи оценивания, инвариантной относительно ${\displaystyle G}$, оценщик ${\displaystyle \delta (x)}$ является инвариантной оценкой относительно ${\displaystyle G}$ если для всех ${\displaystyle x\in X}$ и ${\displaystyle g\in G}$,

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

Характеристики

1. Функция риска инвариантной оценки, ${\displaystyle \delta }$, постоянна на орбитах ${\displaystyle \Theta }$. Эквивалентно ${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$ для всех ${\displaystyle \theta \in \Theta }$ и ${\displaystyle {\bar {g}}\in {\bar {G}}}$.
2. Функция риска инвариантной оценки с транзитивным ${\displaystyle {\bar {g}}}$ постоянно.

Для данной проблемы инвариантная оценка с наименьшим риском называется «наилучшей инвариантной оценкой». Не всегда удается получить наилучшую инвариантную оценку. Особым случаем, в котором это может быть достигнуто, является случай, когда ${\displaystyle {\bar {g}}}$ транзитивен.

Пример: параметр местоположения

Предположим ${\displaystyle \theta }$ является параметром местоположения, если плотность ${\displaystyle X}$ имеет форму ${\displaystyle f(x-\theta )}$. За ${\displaystyle \Theta =A=\mathbb {R} ^{1}}$ и ${\displaystyle L=L(a-\theta )}$, задача инвариантна относительно ${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$. Инвариантная оценка в этом случае должна удовлетворять

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

таким образом, это имеет форму ${\displaystyle \delta (x)=x+K}$ (${\displaystyle K\in \mathbb {R} }$). ${\displaystyle {\bar {g}}}$ транзитивен на ${\displaystyle \Theta }$ поэтому риск не зависит от ${\displaystyle \theta }$: это, ${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$. Лучшая инвариантная оценка - та, которая приносит риск ${\displaystyle R(\theta ,\delta )}$ к минимуму.

В случае, если L - квадрат ошибки ${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

Оценщик Питмана

Проблема оценки заключается в том, что ${\displaystyle X=(X_{1},\dots ,X_{n})}$ имеет плотность ${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$, где θ - параметр, который необходимо оценить, и где функция потерь является ${\displaystyle L(|a-\theta |)}$. Эта задача инвариантна со следующими (аддитивными) группами преобразований:

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

Лучшая инвариантная оценка ${\displaystyle \delta (x)}$ тот, который сводит к минимуму

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

и это оценка Питмана (1939).

Для случая квадратичной ошибки потери результат будет

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

Если ${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$ (т.е. многомерное нормальное распределение с независимыми компонентами единичной дисперсии), то

${\displaystyle \delta _{pitman}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

Если ${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$ (независимые компоненты, имеющие Распределение Коши с параметром масштаба σ) тогда${\displaystyle \delta _{pitman}\neq \delta _{ML}}$,. Однако результат

${\displaystyle \delta _{pitman}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

с участием

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$

использованная литература

1. см. раздел 5.2.1 в Gourieroux, C. and Monfort, A. (1995). Статистика и эконометрические модели, том 1. Cambridge University Press.
2. Гурье и Монфор (1995)

• Бергер, Джеймс О. (1985). Теория статистических решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN  0-387-96098-8. Г-Н  0804611.^{[страница нужна ]}
• Freue, Габриэла В. Коэн (2007). «Оценка Питмана параметра местоположения Коши». Журнал статистического планирования и вывода. 137: 1900–1913. Дои:10.1016 / j.jspi.2006.05.002.
• Pitman, E.J.G. (1939). «Оценка местоположения и масштабных параметров сплошной популяции любой заданной формы». Биометрика. 30 (3/4): 391–421. Дои:10.1093 / biomet / 30.3-4.391. JSTOR  2332656.
• Pitman, E.J.G. (1939). «Проверка гипотез о параметрах расположения и масштаба». Биометрика. 31 (1/2): 200–215. Дои:10.1093 / биомет / 31.1-2.200. JSTOR  2334983.