Доказательства сходимости случайных величин - Proofs of convergence of random variables

Эта статья является дополнительной к «Сходимость случайных величин »И предоставляет доказательства избранных результатов.

Некоторые результаты будут получены с использованием лемма Портманто: A sequence {Икс_п} сходится по распределению к Икс тогда и только тогда, когда выполняется одно из следующих условий:

1. E [ж(Икс_п)] → E [ж(Икс)] для всех ограниченный, непрерывные функции ж;
2. E [ж(Икс_п)] → E [ж(Икс)] для всех ограниченных, Липшицевы функции ж;
3. limsup {Pr (Икс_п ∈ C)} ≤ Pr (Икс ∈ C) для всех закрытые наборы C;

Сходимость почти наверняка означает сходимость по вероятности

${\displaystyle X_{n}\ {\xrightarrow {as}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {p}}\ X}$

Доказательство: Если {Икс_п} сходится к Икс почти наверняка, это означает, что множество точек {ω: lim Икс_п(ω) ≠ Икс(ω)} имеет нулевую меру; обозначим это множество О. Теперь зафиксируем ε> 0 и рассмотрим последовательность множеств

${\displaystyle A_{n}=\bigcup _{m\geq n}\left\{\left|X_{m}-X\right|>\varepsilon \right\}}$

Эта последовательность наборов убывает: А_п ⊇ А_п+1 ⊇ ..., и она убывает к множеству

${\displaystyle A_{\infty }=\bigcap _{n\geq 1}A_{n}.}$

Для этой убывающей последовательности событий их вероятности также являются убывающей последовательностью, и она убывает в сторону Pr (А_∞); покажем теперь, что это число равно нулю. Теперь любая точка ω из дополнения О такое, что lim Икс_п(ω) = Икс(ω), откуда следует, что |Икс_п(ω) - Икс(ω) | <ε для всех п больше определенного числа N. Поэтому для всех п ≥ N точка ω не будет принадлежать множеству А_п, и, следовательно, он не будет принадлежать А_∞. Это означает, что А_∞ не пересекается с О, или эквивалентно, А_∞ это подмножество О и поэтому Pr (А_∞) = 0.

Наконец, рассмотрим

${\displaystyle \operatorname {Pr} \left(|X_{n}-X|>\varepsilon \right)\leq \operatorname {Pr} (A_{n})\ {\underset {n\to \infty }{\rightarrow }}0,}$

что по определению означает, что Икс_п сходится по вероятности к Икс.

Сходимость по вероятности не означает почти уверенной сходимости в дискретном случае.

Если Икс_п - независимые случайные величины, принимающие значение один с вероятностью 1 /п и ноль в противном случае, то Икс_п сходится к нулю по вероятности, но не почти наверняка. Это можно проверить с помощью Леммы Бореля – Кантелли..

Сходимость по вероятности подразумевает сходимость по распределению

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {d}}\ X,}$

Доказательство для случая скалярных случайных величин.

Лемма. Позволять Икс, Y - случайные величины, пусть а - действительное число и ε> 0. Тогда

${\displaystyle \operatorname {Pr} (Y\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon ).}$

Доказательство леммы:

${\displaystyle {\begin{aligned}\operatorname {Pr} (Y\leq a)&=\operatorname {Pr} (Y\leq a,\ X\leq a+\varepsilon )+\operatorname {Pr} (Y\leq a,\ X>a+\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X\leq a-X,\ a-X<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )+\operatorname {Pr} (Y-X>\varepsilon )\\&=\operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon )\end{aligned}}}$

Более короткое доказательство леммы:

У нас есть

${\displaystyle {\begin{aligned}\{Y\leq a\}\subset \{X\leq a+\varepsilon \}\cup \{|Y-X|>\varepsilon \}\end{aligned}}}$

если ${\displaystyle Y\leq a}$ и ${\displaystyle |Y-X|\leq \varepsilon }$, тогда ${\displaystyle X\leq a+\varepsilon }$. Следовательно, по оценке объединения

${\displaystyle {\begin{aligned}\operatorname {Pr} (Y\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon ).\end{aligned}}}$

Доказательство теоремы: Напомним, что для доказательства сходимости по распределению необходимо показать, что последовательность кумулятивных функций распределения сходится к F_Икс в каждой точке, где F_Икс непрерывно. Позволять а быть такой точкой. Для любого ε> 0 в силу предыдущей леммы имеем:

${\displaystyle {\begin{aligned}\operatorname {Pr} (X_{n}\leq a)&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|X_{n}-X|>\varepsilon )\\\operatorname {Pr} (X\leq a-\varepsilon )&\leq \operatorname {Pr} (X_{n}\leq a)+\operatorname {Pr} (|X_{n}-X|>\varepsilon )\end{aligned}}}$

Итак, у нас есть

${\displaystyle \operatorname {Pr} (X\leq a-\varepsilon )-\operatorname {Pr} \left(\left|X_{n}-X\right|>\varepsilon \right)\leq \operatorname {Pr} (X_{n}\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} \left(\left|X_{n}-X\right|>\varepsilon \right).}$

Принимая предел как п → ∞, получаем:

${\displaystyle F_{X}(a-\varepsilon )\leq \lim _{n\to \infty }\operatorname {Pr} (X_{n}\leq a)\leq F_{X}(a+\varepsilon ),}$

куда F_Икс(а) = Pr (Икс ≤ а) это кумулятивная функция распределения из Икс. Эта функция непрерывна при а по предположению, и поэтому оба F_Икс(а−ε) и F_Икс(а+ ε) сходятся к F_Икс(а) при ε → 0⁺. Переходя к этому пределу, получаем

${\displaystyle \lim _{n\to \infty }\operatorname {Pr} (X_{n}\leq a)=\operatorname {Pr} (X\leq a),}$

что обозначает {Икс_п} сходится к Икс в раздаче.

Доказательство для общего случая

Вывод следует из того, когда Икс_п является случайным вектором, используя это свойство доказано позже на этой странице и взяв Y_п = X.

Сходимость распределения к константе подразумевает сходимость по вероятности

${\displaystyle X_{n}\ {\xrightarrow {d}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {p}}\ c,}$ при условии c является константой.

Доказательство: Зафиксируем ε> 0. Пусть B_ε(c) быть открытый мяч радиуса ε вокруг точки c, и B_ε(c)^c его дополнение. потом

${\displaystyle \operatorname {Pr} \left(|X_{n}-c|\geq \varepsilon \right)=\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right).}$

По лемме Портманто (часть C), если Икс_п сходится по распределению к c, то Limsup последней вероятности должно быть меньше или равно Pr (c ∈ B_ε(c)^c), который, очевидно, равен нулю. Следовательно,

${\displaystyle {\begin{aligned}\lim _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)&\leq \limsup _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)\\&=\limsup _{n\to \infty }\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right)\\&\leq \operatorname {Pr} \left(c\in B_{\varepsilon }(c)^{c}\right)=0\end{aligned}}}$

что по определению означает, что Икс_п сходится к c по вероятности.

Сходимость по вероятности к последовательности, сходящейся по распределению, подразумевает сходимость к тому же распределению

${\displaystyle |Y_{n}-X_{n}|\ {\xrightarrow {p}}\ 0,\ \ X_{n}\ {\xrightarrow {d}}\ X\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {d}}\ X}$

Доказательство: Мы докажем эту теорему, используя лемму Портманто, часть B. Как требуется в этой лемме, рассмотрим любую ограниченную функцию ж (т.е. |ж(Икс)| ≤ M), который также является липшицевым:

${\displaystyle \exists K>0,\forall x,y:\quad |f(x)-f(y)|\leq K|x-y|.}$

Возьмем некоторое ε> 0 и мажорируем выражение | E [ж(Y_п)] - E [ж(Икс_п)] | в качестве

${\displaystyle {\begin{aligned}\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X_{n})\right]\right|&\leq \operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\right]\\&=\operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq \operatorname {E} \left[K\left|Y_{n}-X_{n}\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[2M\mathbf {1} _{\left\{|Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq K\varepsilon \operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|<\varepsilon \right)+2M\operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\\&\leq K\varepsilon +2M\operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\end{aligned}}}$

(здесь 1_{...} обозначает индикаторная функция; математическое ожидание индикаторной функции равно вероятности соответствующего события). Следовательно,

${\displaystyle {\begin{aligned}\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X)\right]\right|&\leq \left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X_{n})\right]\right|+\left|\operatorname {E} \left[f(X_{n})\right]-\operatorname {E} \left[f(X)\right]\right|\\&\leq K\varepsilon +2M\operatorname {Pr} \left(|Y_{n}-X_{n}|\geq \varepsilon \right)+\left|\operatorname {E} \left[f(X_{n})\right]-\operatorname {E} \left[f(X)\right]\right|.\end{aligned}}}$

Если мы возьмем предел в этом выражении как п → ∞, второе слагаемое обратится в ноль, поскольку {Y_п−X_п} сходится к нулю по вероятности; и третий член также будет сходиться к нулю в силу леммы Портманто и того факта, что Икс_п сходится к Икс в раздаче. Таким образом

${\displaystyle \lim _{n\to \infty }\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X)\right]\right|\leq K\varepsilon .}$

Поскольку ε было произвольным, мы заключаем, что предел фактически должен быть равен нулю, и поэтому E [ж(Y_п)] → E [ж(Икс)], откуда снова по лемме о Портманто следует, что {Y_п} сходится к Икс в раздаче. QED.

Сходимость одной последовательности в распределении и другой к константе подразумевает совместную сходимость в распределении.

${\displaystyle X_{n}\ {\xrightarrow {d}}\ X,\ \ Y_{n}\ {\xrightarrow {p}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {d}}\ (X,c)}$ при условии c является константой.

Доказательство: Мы докажем это утверждение, используя лемму Портманто, часть A.

Сначала мы хотим показать, что (Икс_п, c) сходится по распределению к (Икс, c). По лемме Портманто это будет верно, если мы сможем показать, что E [ж(Икс_п, c)] → E [ж(Икс, c)] для любой ограниченной непрерывной функции ж(Икс, у). Так что давайте ж - такая произвольная ограниченная непрерывная функция. Теперь рассмотрим функцию одной переменной грамм(Икс) := ж(Икс, c). Это, очевидно, также будет ограниченным и непрерывным, поэтому по лемме Портманто для последовательности {Икс_п} сходящиеся в распределении к Икс, мы будем иметь, что E [грамм(Икс_п)] → E [грамм(Икс)]. Однако последнее выражение эквивалентно «E [ж(Икс_п, c)] → E [ж(Икс, c)] », Поэтому теперь мы знаем, что (Икс_п, c) сходится по распределению к (Икс, c).

Во-вторых, рассмотрим | (Икс_п, Y_п) − (Икс_п, c)| = |Y_п − c|, Это выражение сходится по вероятности к нулю, потому что Y_п сходится по вероятности к c. Таким образом, мы продемонстрировали два факта:

${\displaystyle {\begin{cases}\left|(X_{n},Y_{n})-(X_{n},c)\right|\ {\xrightarrow {p}}\ 0,\\(X_{n},c)\ {\xrightarrow {d}}\ (X,c).\end{cases}}}$

По собственности доказано ранее, из этих двух фактов следует, что (Икс_п, Y_п) сходятся по распределению к (Икс, c).

Сходимость двух последовательностей по вероятности означает совместную сходимость по вероятности

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X,\ \ Y_{n}\ {\xrightarrow {p}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {p}}\ (X,Y)}$

Доказательство:

${\displaystyle {\begin{aligned}\operatorname {Pr} \left(\left|(X_{n},Y_{n})-(X,Y)\right|\geq \varepsilon \right)&\leq \operatorname {Pr} \left(|X_{n}-X|+|Y_{n}-Y|\geq \varepsilon \right)\\&\leq \operatorname {Pr} \left(|X_{n}-X|\geq \varepsilon /2\right)+\operatorname {Pr} \left(|Y_{n}-Y|\geq \varepsilon /2\right)\end{aligned}}}$

где последний шаг следует из принципа «ящика» и субаддитивности вероятностной меры. Каждая из вероятностей в правой части сходится к нулю при п → ∞ по определению сходимости {Икс_п} и {Y_п} с вероятностью Икс и Y соответственно. Переходя к пределу, заключаем, что левая часть также сходится к нулю, а значит, последовательность {(Икс_п, Y_п)} сходится по вероятности к {(Икс, Y)}.

Смотрите также

• Сходимость случайных величин

Рекомендации

• ван дер Ваарт, Аад В. (1998). Асимптотическая статистика. Нью-Йорк: Гаррик Ардис. ISBN  978-0-521-49603-2.