Обмениваемые случайные величины - Exchangeable random variables

В статистика, заменяемая последовательность случайных величин (также иногда взаимозаменяемый)^[1] это последовательность Икс₁, Икс₂, Икс₃, ... (которые могут быть конечными или бесконечно длинными), совместное распределение вероятностей не меняется при изменении позиций в последовательности, в которой их появляется конечное число. Так, например, последовательности

${displaystyle X_{1},X_{2},X_{3},X_{4},X_{5},X_{6}quad { ext{ and }}quad X_{3},X_{6},X_{1},X_{5},X_{2},X_{4}}$

оба имеют одинаковое совместное распределение вероятностей.

Это тесно связано с использованием независимые и одинаково распределенные случайные величины в статистических моделях. Обмениваемые последовательности случайных величин возникают в случаях простая случайная выборка.

Определение

Формально заменяемая последовательность случайных величин конечная или бесконечная последовательность Икс₁, Икс₂, Икс₃, ... из случайные переменные такой, что для любого конечного перестановка σ индексов 1, 2, 3, ..., (перестановка действует только на конечное число индексов, остальные фиксированы), совместное распределение вероятностей переставленной последовательности

${displaystyle X_{sigma (1)},X_{sigma (2)},X_{sigma (3)},dots }$

совпадает с совместным распределением вероятностей исходной последовательности.^[1][2]

(Последовательность E₁, E₂, E₃, ... событий называют заменяемыми именно в том случае, если последовательность его индикаторные функции можно обменять.) Функция распределения F_{Икс1,...,Иксп}(Икс₁, ..., Икс_п) конечной последовательности заменяемых случайных величин симметричен по своим аргументам Икс₁, ..., Икс_п. Олав Калленберг предоставил соответствующее определение заменяемости для случайных процессов с непрерывным временем.^[3][4]

История

Концепция была представлена Уильям Эрнест Джонсон в его книге 1924 года Логика, часть III: Логические основы науки.^[5] Возможность обмена эквивалентна концепции статистический контроль представлен Уолтер Шухарт также в 1924 г.^[6][7]

Возможность замены и i.i.d. статистическая модель

Свойство обмениваемости тесно связано с использованием независимые и одинаково распределенные (i.i.d.) случайные величины в статистических моделях. Последовательность случайных величин, которые являются i.i.d, обусловленными некоторой базовой формой распределения, подлежат обмену. Это непосредственно следует из структуры совместного распределения вероятностей, генерируемого i.i.d. форма.

Более того, для бесконечных последовательностей можно установить обратное с помощью важного теорема представления к Бруно де Финетти (позже расширенный другими теоретиками вероятности, такими как Халмос и дикий ). Расширенные версии теоремы показывают, что в любой бесконечной последовательности заменяемых случайных величин случайные величины условно являются независимые и одинаково распределенные с учетом основной формы распределения. Эта теорема кратко изложена ниже. (Первоначальная теорема Де Финетти показала, что это верно только для случайных индикаторных переменных, но позже она была расширена, чтобы охватить все последовательности случайных величин.) Другой способ выразить это так: теорема де Финетти характеризует заменяемые последовательности как смеси i.i.d. последовательности - хотя заменяемая последовательность не обязательно должна быть безусловно i.i.d., она может быть выражена как смесь лежащих в основе i.i.d. последовательности.^[1]

Это означает, что бесконечные последовательности заменяемых случайных величин можно эквивалентно рассматривать как последовательности условно i.i.d. случайные величины, основанные на некоторой основной форме распределения. (Обратите внимание, что эта эквивалентность не совсем верна для конечной заменяемости. Однако для конечных векторов случайных величин существует близкое приближение к модели i.i.d.) Бесконечная заменяемая последовательность - это строго стационарный и так закон больших чисел в виде Теорема Биркгофа – Хинчина применяется.^[4] Это означает, что базовое распределение может быть интерпретировано как ограничивающее эмпирическое распределение последовательности значений. Тесная связь между заменяемыми последовательностями случайных величин и i.i.d. форма означает, что последнее может быть оправдано бесконечной заменяемостью. Это понятие занимает центральное место в Бруно де Финетти развитие предсказательный вывод и чтобы Байесовская статистика. Также можно показать, что это полезное основополагающее допущение в частотная статистика и связать две парадигмы.^[8]

Теорема представления: Это утверждение основано на презентации O'Neill (2009) в ссылках ниже. Учитывая бесконечную последовательность случайных величин ${displaystyle mathbf {X} =(X_{1},X_{2},X_{3},ldots )}$ определим предельный эмпирическая функция распределения ${displaystyle F_{mathbf {X} }}$ к:

${displaystyle F_{mathbf {X} }(x)=lim _{n o infty }{frac {1}{n}}sum _{i=1}^{n}I(X_{i}leq x).}$

(Это Предел Чезаро индикаторных функций. В случаях, когда предел Чезаро не существует, эту функцию можно фактически определить как Предел Банаха индикаторных функций, что является расширением этого лимита. Этот последний предел всегда существует для сумм индикаторных функций, так что эмпирическое распределение всегда четко определено.) Это означает, что для любого вектора случайных величин в последовательности у нас есть совместная функция распределения, заданная следующим образом:

${displaystyle Pr(X_{1}leq x_{1},X_{2}leq x_{2},ldots ,X_{n}leq x_{n})=int prod _{i=1}^{n}F_{mathbf {X} }(x_{i}),dP(F_{mathbf {X} }).}$

Если функция распределения ${displaystyle F_{mathbf {X} }}$ индексируется другим параметром ${displaystyle heta }$ тогда (с должным образом определенной плотностью) мы имеем:

${displaystyle p_{X_{1},ldots ,X_{n}}(x_{1},ldots ,x_{n})=int prod _{i=1}^{n}p_{X_{i}}(x_{i}mid heta ),dP( heta ).}$

Эти уравнения показывают совместное распределение или плотность, характеризуемую как распределение смеси на основе лежащего в основе предельного эмпирического распределения (или параметра, индексирующего это распределение).

Обратите внимание, что не все конечные заменяемые последовательности являются смесью i.i.d. Чтобы убедиться в этом, рассмотрите возможность выборки без замены из конечного набора, пока не останется никаких элементов. Полученная последовательность является заменяемой, но не смесью i.i.d. Действительно, при условии наличия всех других элементов в последовательности, оставшийся элемент известен.

Ковариация и корреляция

Обмениваемые последовательности обладают некоторыми основными свойствами ковариации и корреляции, что означает, что они, как правило, положительно коррелированы. Для бесконечных последовательностей заменяемых случайных величин ковариация между случайными величинами равна дисперсии среднего значения базовой функции распределения.^[8] Для конечных заменяемых последовательностей ковариация также является фиксированным значением, которое не зависит от конкретных случайных величин в последовательности. Существует более слабая нижняя граница, чем для бесконечной взаимозаменяемости, и возможно существование отрицательной корреляции.

Ковариация для заменяемых последовательностей (бесконечная): Если последовательность ${displaystyle X_{1},X_{2},X_{3},ldots }$ подлежит обмену:

${displaystyle operatorname {cov} (X_{i},X_{j})=operatorname {var} (operatorname {E} (X_{i}mid F_{mathbf {X} }))=operatorname {var} (operatorname {E} (X_{i}mid heta ))geq 0quad { ext{for }}ieq j.}$

Ковариация для заменяемых последовательностей (конечная): Если ${displaystyle X_{1},X_{2},ldots ,X_{n}}$ можно обменять на ${displaystyle sigma ^{2}=operatorname {var} (X_{i})}$ тогда:

${displaystyle operatorname {cov} (X_{i},X_{j})geq -{frac {sigma ^{2}}{n-1}}quad { ext{for }}ieq j.}$

Результат о конечной последовательности может быть доказан следующим образом. Используя тот факт, что ценности можно обменивать, мы имеем:

${displaystyle {egin{aligned}0&leq operatorname {var} (X_{1}+cdots +X_{n})&=operatorname {var} (X_{1})+cdots +operatorname {var} (X_{n})+underbrace {operatorname {cov} (X_{1},X_{2})+cdots quad {}} _{ ext{all ordered pairs}}&=nsigma ^{2}+n(n-1)operatorname {cov} (X_{1},X_{2}).end{aligned}}}$

Затем мы можем решить неравенство для ковариации, получив указанную нижнюю границу. Неотрицательность ковариации для бесконечной последовательности затем может быть получена как предельный результат из этого результата конечной последовательности.

Равенство нижней границы для конечных последовательностей достигается в простой модели урны: урна содержит 1 красный шарик и п - 1 зеленый шарик, и они отбираются без замены, пока урна не опустеет. Позволять Икс_я = 1, если красный шарик нарисован на я-я попытка и 0 в противном случае. Конечная последовательность, которая достигает нижней границы ковариации, не может быть расширена до более длинной заменяемой последовательности.^[9]

Примеры

• Любой выпуклое сочетание или же распределение смеси из iid последовательности случайных величин можно обменивать. Обратное предложение теорема де Финетти.^[10]
• Предположим, что урна содержит п красный и м синие шарики. Предположим, шарики рисуются без замены, пока урна не опустеет. Позволять Икс_я быть индикаторной случайной величиной события, которое я-й мрамор нарисован красным. Потом {Икс_я}_{я=1,...п + м} является заменяемой последовательностью. Эта последовательность не может быть расширена до какой-либо более заменяемой последовательности.
• Позволять ${displaystyle (X,Y)}$ есть двумерное нормальное распределение с параметрами ${displaystyle mu =0}$, ${displaystyle sigma _{x}=sigma _{y}=1}$ и произвольный коэффициент корреляции ${displaystyle ho in (-1,1)}$. Случайные величины ${displaystyle X}$ и ${displaystyle Y}$ тогда взаимозаменяемы, но независимы, только если ${displaystyle ho =0}$. В функция плотности является ${displaystyle p(x,y)=p(y,x)propto exp left[-{frac {1}{2(1-ho ^{2})}}(x^{2}+y^{2}-2ho xy)ight].}$

Приложения

В экстрактор фон Неймана это экстрактор случайности это зависит от возможности обмена: он дает способ взять заменяемую последовательность нулей и единиц (Бернулли испытания ), с некоторой вероятностью п из 0 и ${displaystyle q=1-p}$ равным 1, и произвести (более короткую) заменяемую последовательность нулей и единиц с вероятностью 1/2.

Разделите последовательность на неперекрывающиеся пары: если два элемента пары равны (00 или 11), отбросьте ее; если два элемента пары не равны (01 или 10), оставьте первый. Это дает последовательность испытаний Бернулли с ${displaystyle p=1/2,}$ поскольку в силу возможности обмена шансы данной пары равны 01 или 10 равны.

Обмениваемые случайные величины возникают при изучении Статистика U, особенно в разложении Хёффдинга.^[11]

Смотрите также

• Повторная выборка
• Передискретизация (статистика) § Тесты на перестановку, статистические тесты, основанные на обмене между группами
• U-статистика

Примечания

1. Короче говоря, порядок последовательности случайных величин не влияет на ее совместное распределение вероятностей.
   • Чоу, Юань Ши и Тейчер, Генри, Теория вероятности. Независимость, взаимозаменяемость, мартингалы, Springer Texts in Statistics, 3-е изд., Springer, New York, 1997. xxii + 488 с.ISBN  0-387-98228-0
2. Олдос, Дэвид Дж., Возможность обмена и связанные темы, in: École d'Été de Probabilités de Saint-Flour XIII - 1983, Конспекты лекций по математике. 1117, стр. 1–198, Springer, Berlin, 1985. ISBN  978-3-540-15203-3 Дои:10.1007 / BFb0099421
3. Диаконис, Перси (2009). "Рецензия на книгу: Вероятностные симметрии и принципы инвариантности (Олав Калленберг, Springer, Нью-Йорк, 2005 г.) ". Бюллетень Американского математического общества. Новая серия. 46 (4): 691–696. Дои:10.1090 / S0273-0979-09-01262-2. МИСТЕР  2525743.
4. Калленберг, О., Вероятностные симметрии и принципы инвариантности. Springer-Verlag, Нью-Йорк (2005). 510 стр.ISBN  0-387-25115-4.
5. Забелл (1992)
6. Барлоу и Ирония (1992)
7. Бергман (2009)
8. • О'Нил Б. (2009) Обменяемость, корреляция и эффект Байеса. Международный статистический обзор 77(2)С. 241–250.
9. Тейлор, Роберт Ли; Даффер, Питер З .; Паттерсон, Рональд Ф. (1985). Предельные теоремы для сумм заменяемых случайных величин. Роуман и Алланхельд. С. 1–152. ISBN  9780847674350.
10. Спиццичино, Фабио Субъективные вероятностные модели для продолжительности жизни. Монографии по статистике и прикладной теории вероятностей, 91. Чепмен и Холл / CRC, Бока-Ратон, Флорида, 2001. xx + 248 с.ISBN  1-58488-060-0
11. Боровских, Ю. В. (1996). «Глава 10 Зависимые переменные». U-статистика в банаховых пространствах. Утрехт: ВСП. С. 365–376. ISBN  90-6764-200-2. МИСТЕР  1419498.

Библиография

• Олдос, Дэвид Дж., Возможность обмена и связанные темы, in: École d'Été de Probabilités de Saint-Flour XIII - 1983, Конспекты лекций по математике. 1117, стр. 1–198, Springer, Berlin, 1985. ISBN  978-3-540-15203-3 Дои:10.1007 / BFb0099421
• Барлоу, Р. Э. и Ирони, Т. З. (1992) «Основы статистического контроля качества» в Ghosh, M. & Pathak, P.K. (ред.) Актуальные вопросы статистического вывода: очерки в честь Д. Басу, Хейворд, Калифорния: Институт математической статистики, 99-112.
• Бергман, Б. (2009) «Концептуалистический прагматизм: основа для байесовского анализа?», IIE транзакции, 41, 86–93
• Боровских, Ю. В. (1996). U-статистика в банаховых пространствах. Утрехт: ВСП. С. xii + 420. ISBN  90-6764-200-2. МИСТЕР  1419498.
• Чоу, Юань Ши и Тейчер, Генри, Теория вероятности. Независимость, взаимозаменяемость, мартингалы, Springer Texts in Statistics, 3-е изд., Springer, New York, 1997. xxii + 488 с.ISBN  0-387-98228-0
• Диаконис, Перси (2009). "Рецензия на книгу: Вероятностные симметрии и принципы инвариантности (Олав Калленберг, Springer, Нью-Йорк, 2005 г.) ". Бюллетень Американского математического общества. Новая серия. 46 (4): 691–696. Дои:10.1090 / S0273-0979-09-01262-2. МИСТЕР  2525743.
• Калленберг, О., Вероятностные симметрии и принципы инвариантности. Springer-Verlag, Нью-Йорк (2005). 510 стр.ISBN  0-387-25115-4.
• Кингман, Дж. Ф. С., Использование возможности обмена, Анна. Вероятность 6 (1978) 83–197 МИСТЕР494344 JSTOR  2243211
• О'Нил Б. (2009) Обменяемость, корреляция и эффект Байеса. Международный статистический обзор 77(2)С. 241–250. ISBN  978-3-540-15203-3 Дои:10.1111 / j.1751-5823.2008.00059.x
• Тейлор, Роберт Ли; Даффер, Питер З .; Паттерсон, Рональд Ф. (1985). Предельные теоремы для сумм заменяемых случайных величин. Роуман и Алланхельд. С. 1–152. ISBN  9780847674350.
• Забелл, С. Л. (1988) «Симметрия и ее недовольство», в Skyrms, B. & Harper, W. L. Причинность, шанс и достоверность, pp155-190, Клувер
• - (1992). «Предсказание непредсказуемого». Синтез. 90 (2): 205. Дои:10.1007 / bf00485351.