Эмпирическая мера - Empirical measure

В теория вероятности, эмпирическая мера это случайная мера возникающие из конкретной реализации (обычно конечной) последовательности случайные переменные. Точное определение приведено ниже. Эмпирические меры имеют отношение к математическая статистика.

Мотивация для изучения эмпирических показателей заключается в том, что часто невозможно узнать истинную основу вероятностная мера ${displaystyle P}$. Собираем наблюдения ${displaystyle X_{1},X_{2},dots ,X_{n}}$ и вычислить относительные частоты. Мы можем оценить ${displaystyle P}$, или связанная функция распределения ${displaystyle F}$ соответственно с помощью эмпирической меры или эмпирической функции распределения. Это всегда хорошие оценки при определенных условиях. Теоремы в области эмпирические процессы представьте темпы этой конвергенции.

Определение

Позволять ${displaystyle X_{1},X_{2},dots }$ быть последовательностью независимый одинаково распределены случайные переменные со значениями в пространстве состояний S с распределением вероятностей п.

Определение

В эмпирическая мера п_п определено для измеримых подмножеств S и дано

${displaystyle P_{n}(A)={1 over n}sum _{i=1}^{n}I_{A}(X_{i})={frac {1}{n}}sum _{i=1}^{n}delta _{X_{i}}(A)}$

куда ${displaystyle I_{A}}$ это индикаторная функция и ${displaystyle delta _{X}}$ это Мера Дирака.

Характеристики

• Для фиксированного измеримого множества А, нП_п(А) это биномиальный случайная величина со средним значением нП(А) и дисперсия нП(А)(1 − п(А)).
  • Особенно, п_п(А) является объективный оценщик из п(А).
• Для фиксированного раздел ${displaystyle A_{i}}$ из S, случайные переменные ${displaystyle X_{i}=nP_{n}(A_{i})}$ сформировать полиномиальное распределение с вероятности событий ${displaystyle P(A_{i})}$
  • В ковариационная матрица этого полиномиального распределения ${displaystyle Cov(X_{i},X_{j})=nP(A_{i})(delta _{ij}-P(A_{j}))}$.

Определение

${displaystyle {igl (}P_{n}(c){igr )}_{cin {mathcal {C}}}}$ это эмпирическая мера проиндексировано ${displaystyle {mathcal {C}}}$, набор измеримых подмножеств S.

Чтобы еще больше обобщить это понятие, заметим, что эмпирическая мера ${displaystyle P_{n}}$ карты измеримые функции ${displaystyle f:S o mathbb {R} }$ к их эмпирическое среднее,

${displaystyle fmapsto P_{n}f=int _{S}f,dP_{n}={frac {1}{n}}sum _{i=1}^{n}f(X_{i})}$

В частности, эмпирическая мера А просто эмпирическое среднее значение индикаторной функции, п_п(А) = п_п я_А.

Для фиксированной измеримой функции ${displaystyle f}$, ${displaystyle P_{n}f}$ случайная величина со средним значением ${displaystyle mathbb {E} f}$ и дисперсия ${displaystyle {frac {1}{n}}mathbb {E} (f-mathbb {E} f)^{2}}$.

Сильным закон больших чисел, п_п(А) сходится к п(А) почти наверняка для фиксированного А. по аналогии ${displaystyle P_{n}f}$ сходится к ${displaystyle mathbb {E} f}$ почти наверняка для фиксированной измеримой функции ${displaystyle f}$. Проблема равномерной сходимости п_п к п был открыт до Вапник и Червоненкис решил это в 1968 году.^[1]

Если класс ${displaystyle {mathcal {C}}}$ (или же ${displaystyle {mathcal {F}}}$) является Гливенко – Кантелли относительно п тогда п_п сходится к п равномерно над ${displaystyle cin {mathcal {C}}}$ (или же ${displaystyle fin {mathcal {F}}}$). Другими словами, с вероятностью 1 имеем

${displaystyle |P_{n}-P|_{mathcal {C}}=sup _{cin {mathcal {C}}}|P_{n}(c)-P(c)| o 0,}$

${displaystyle |P_{n}-P|_{mathcal {F}}=sup _{fin {mathcal {F}}}|P_{n}f-mathbb {E} f| o 0.}$

Эмпирическая функция распределения

Основная статья: Эмпирическая функция распределения

В эмпирическая функция распределения дает пример эмпирических мер. Для реальных iid случайные переменные ${displaystyle X_{1},dots ,X_{n}}$ это дается

${displaystyle F_{n}(x)=P_{n}((-infty ,x])=P_{n}I_{(-infty ,x]}.}$

В этом случае эмпирические меры индексируются классом ${displaystyle {mathcal {C}}={(-infty ,x]:xin mathbb {R} }.}$ Было показано, что ${displaystyle {mathcal {C}}}$ униформа Класс Гливенко – Кантелли, особенно,

${displaystyle sup _{F}|F_{n}(x)-F(x)|_{infty } o 0}$

с вероятностью 1.

Смотрите также

• Случайная мера Пуассона

Рекомендации

1. Вапник, В .; Червоненкис А (1968). «Равномерная сходимость частот возникновения событий к их вероятностям». Докл. Акад. АН СССР. 181.

дальнейшее чтение

• Биллингсли, П. (1995). Вероятность и мера (Третье изд.). Нью-Йорк: Джон Уайли и сыновья. ISBN  0-471-80478-9.
• Донскер, М. Д. (1952). «Обоснование и расширение эвристического подхода Дуба к теоремам Колмогорова – Смирнова». Анналы математической статистики. 23 (2): 277–281. Дои:10.1214 / aoms / 1177729445.
• Дадли, Р. М. (1978). «Центральные предельные теоремы для эмпирических мер». Анналы вероятности. 6 (6): 899–929. Дои:10.1214 / aop / 1176995384. JSTOR  2243028.
• Дадли, Р. М. (1999). Равномерные центральные предельные теоремы. Кембриджские исследования в области высшей математики. 63. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  0-521-46102-2.
• Вулфовиц, Дж. (1954). «Обобщение теоремы Гливенко – Кантелли». Анналы математической статистики. 25 (1): 131–138. Дои:10.1214 / aoms / 1177728852. JSTOR  2236518.