Алгебра случайных величин - Algebra of random variables

В алгебра случайных величин предоставляет правила для символического манипулирования случайные переменные, избегая при этом слишком глубоко вникать в математически сложные идеи теория вероятности. Его символика позволяет обрабатывать суммы, произведения, отношения и общие функции случайных величин, а также иметь дело с такими операциями, как нахождение распределения вероятностей и ожидания (или ожидаемые значения), отклонения и ковариации таких комбинаций. В принципе, элементарная алгебра случайных величин эквивалентен обычным неслучайным (или детерминированным) переменным. Однако изменения, происходящие в распределении вероятностей случайной величины, полученной после выполнения алгебраические операции не прямолинейны. Следовательно, поведение различных операторов распределения вероятностей, таких как ожидаемые значения, дисперсии, ковариации и моменты, может отличаться от наблюдаемого для случайной величины с использованием символьной алгебры. Можно определить некоторые ключевые правила для каждого из этих операторов, что приводит к различным типам алгебры для случайных величин, помимо элементарной символьной алгебры: алгебра ожиданий, алгебра дисперсии, алгебра ковариаций, алгебра моментов и т. Д.

Элементарная символьная алгебра случайных величин

Учитывая две случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$возможны следующие алгебраические операции:

• Добавление: ${\displaystyle Z=X+Y=Y+X}$
• Вычитание: ${\displaystyle Z=X-Y=-Y+X}$
• Умножение: ${\displaystyle Z=XY=YX}$
• Разделение: ${\displaystyle Z=X/Y=X\cdot (1/Y)=(1/Y)\cdot X}$
• Возведение в степень: ${\displaystyle Z=X^{Y}=e^{Y\ln(X)}}$

Во всех случаях переменная ${\displaystyle Z}$ в результате каждой операции также является случайной величиной. Все коммутативный и ассоциативный Свойства обычных алгебраических операций справедливы и для случайных величин. Если какая-либо из случайных величин заменяется детерминированной переменной или постоянным значением, все предыдущие свойства остаются в силе.

Алгебра ожиданий для случайных величин

Ожидаемое значение ${\displaystyle E}$ случайной величины ${\displaystyle Z}$ результат алгебраической операции между двумя случайными величинами может быть вычислен с использованием следующего набора правил:

• Добавление: ${\displaystyle E[Z]=E[X+Y]=E[X]+E[Y]=E[Y]+E[X]}$
• Вычитание: ${\displaystyle E[Z]=E[X-Y]=E[X]-E[Y]=-E[Y]+E[X]}$
• Умножение: ${\displaystyle E[Z]=E[XY]=E[YX]}$. В частности, если ${\displaystyle X}$и ${\displaystyle Y}$находятся независимый друг от друга, то: ${\displaystyle E[XY]=E[X]\cdot E[Y]=E[Y]\cdot E[X]}$.
• Разделение: ${\displaystyle E[Z]=E[X/Y]=E[X\cdot (1/Y)]=E[(1/Y)\cdot X]}$. В частности, если ${\displaystyle X}$и ${\displaystyle Y}$независимы друг от друга, то: ${\displaystyle E[X/Y]=E[X]\cdot E[1/Y]=E[1/Y]\cdot E[X]}$.
• Возведение в степень: ${\displaystyle E[Z]=E[X^{Y}]=E[e^{Y\ln(X)}]}$

Если какая-либо из случайных величин заменяется детерминированной переменной или постоянным значением (${\displaystyle k}$) предыдущие свойства остаются в силе с учетом того, что ${\displaystyle P[X=k]=1}$ и поэтому, ${\displaystyle E[X]=k}$.

Если ${\displaystyle Z}$ определяется как общая нелинейная алгебраическая функция ${\displaystyle f}$ случайной величины ${\displaystyle X}$, тогда:

${\displaystyle E[Z]=E[f(X)]\neq f(E[X])}$

Вот некоторые примеры этого свойства:

• ${\displaystyle E[X^{2}]\neq E[X]^{2}}$
• ${\displaystyle E[1/X]\neq 1/E[X]}$
• ${\displaystyle E[e^{X}]\neq e^{E[X]}}$
• ${\displaystyle E[\ln(X)]\neq \ln(E[X])}$

Точное значение математического ожидания нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины. ${\displaystyle X}$.

Алгебра дисперсий для случайных величин

Дисперсия ${\displaystyle Var}$ случайной величины ${\displaystyle Z}$ полученный в результате алгебраической операции между случайными величинами, можно вычислить с использованием следующего набора правил:

• Добавление: ${\displaystyle Var[Z]=Var[X+Y]=Var[X]+2Cov[X,Y]+Var[Y]}$. В частности, если ${\displaystyle X}$и ${\displaystyle Y}$находятся независимый друг от друга, то: ${\displaystyle Var[X+Y]=Var[X]+Var[Y]}$.
• Вычитание: ${\displaystyle Var[Z]=Var[X-Y]=Var[X]-2Cov[X,Y]+Var[Y]}$. В частности, если ${\displaystyle X}$и ${\displaystyle Y}$независимы друг от друга, то: ${\displaystyle Var[X-Y]=Var[X]+Var[Y]}$. То есть для независимые случайные величины дисперсия одинакова для сложений и вычитаний: ${\displaystyle Var[X+Y]=Var[X-Y]=Var[Y-X]=Var[-X-Y]}$
• Умножение: ${\displaystyle Var[Z]=Var[XY]=Var[YX]}$. В частности, если ${\displaystyle X}$и ${\displaystyle Y}$независимы друг от друга, то: ${\displaystyle Var[XY]=E[X^{2}]\cdot E[Y^{2}]-(E[X]\cdot E[Y])^{2}=Var[X]\cdot Var[Y]+Var[X]\cdot (E[Y])^{2}+Var[Y]\cdot (E[X])^{2}}$.
• Разделение: ${\displaystyle Var[Z]=Var[X/Y]=Var[X\cdot (1/Y)]=Var[(1/Y)\cdot X]}$. В частности, если ${\displaystyle X}$и ${\displaystyle Y}$независимы друг от друга, то: ${\displaystyle Var[X/Y]=E[X^{2}]\cdot E[1/Y^{2}]-(E[X]\cdot E[1/Y])^{2}=Var[X]\cdot Var[1/Y]+Var[X]\cdot (E[1/Y])^{2}+Var[1/Y]\cdot (E[X])^{2}}$.
• Возведение в степень: ${\displaystyle Var[Z]=Var[X^{Y}]=Var[e^{Y\ln(X)}]}$

куда ${\displaystyle Cov[X,Y]=Cov[Y,X]}$ представляет собой оператор ковариации между случайными величинами ${\displaystyle X}$ и ${\displaystyle Y}$.

Дисперсия случайной величины также может быть выражена непосредственно в терминах ковариации или в терминах ожидаемого значения:

${\displaystyle Var[X]=Cov(X,X)=E[X^{2}]-E[X]^{2}}$

Если какая-либо из случайных величин заменяется детерминированной переменной или постоянным значением (${\displaystyle k}$) предыдущие свойства остаются в силе с учетом того, что ${\displaystyle P[X=k]=1}$ и ${\displaystyle E[X]=k}$, ${\displaystyle Var[X]=0}$ и ${\displaystyle Cov[Y,k]=0}$. Особые случаи - это сложение и умножение случайной величины на детерминированную переменную или константу, где:

• ${\displaystyle Var[X+Y]=Var[Y]}$
• ${\displaystyle Var[kY]=k^{2}Var[Y]}$

Если ${\displaystyle Z}$ определяется как общая нелинейная алгебраическая функция ${\displaystyle f}$ случайной величины ${\displaystyle X}$, тогда:

${\displaystyle Var[Z]=Var[f(X)]\neq f(Var[X])}$

Точное значение дисперсии нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины. ${\displaystyle X}$.

Ковариационная алгебра случайных величин

Ковариация ( ${\displaystyle Cov}$) между случайной величиной ${\displaystyle Z}$ в результате алгебраической операции и случайной величины ${\displaystyle X}$ можно рассчитать, используя следующий набор правил:

• Добавление: ${\displaystyle Cov[Z,X]=Cov[X+Y,X]=Var[X]+Cov[X,Y]}$. Если ${\displaystyle X}$и ${\displaystyle Y}$находятся независимый друг от друга, то: ${\displaystyle Cov[X+Y,X]=Var[X]}$.
• Вычитание: ${\displaystyle Cov[Z,X]=Cov[X-Y,X]=Var[X]-Cov[X,Y]}$. Если ${\displaystyle X}$и ${\displaystyle Y}$независимы друг от друга, то: ${\displaystyle Cov[X-Y,X]=Var[X]}$.
• Умножение: ${\displaystyle Cov[Z,X]=Cov[XY,X]=E[X^{2}Y]-E[XY]E[X]}$. Если ${\displaystyle X}$и ${\displaystyle Y}$независимы друг от друга, то: ${\displaystyle Cov[XY,X]=Var[X]\cdot E[Y]}$.
• Разделение (ковариация по числителю): ${\displaystyle Cov[Z,X]=Cov[X/Y,X]=E[X^{2}/Y]-E[X/Y]E[X]}$. Если ${\displaystyle X}$и ${\displaystyle Y}$независимы друг от друга, то: ${\displaystyle Cov[X/Y,X]=Var[X]\cdot E[1/Y]}$.
• Разделение (ковариация по знаменателю): ${\displaystyle Cov[Z,X]=Cov[Y/X,X]=E[Y]-E[Y/X]E[X]}$. Если ${\displaystyle X}$и ${\displaystyle Y}$независимы друг от друга, то: ${\displaystyle Cov[Y/X,X]=E[Y]\cdot (1-E[X]\cdot E[1/X])}$.
• Возведение в степень (ковариация относительно базы): ${\displaystyle Cov[Z,X]=Cov[X^{Y},X]=E[X^{Y+1}]-E[X^{Y}]E[X]}$.
• Возведение в степень (ковариация по мощности): ${\displaystyle Cov[Z,X]=Cov[Y^{X},X]=E[XY^{X}]-E[Y^{X}]E[X]}$.

Ковариация случайной величины также может быть выражена непосредственно через математическое ожидание:

${\displaystyle Cov(X,Y)=E[XY]-E[X]E[Y]}$

Если любая из случайных величин заменяется детерминированной переменной или постоянным значением ( ${\displaystyle k}$) предыдущие свойства остаются в силе с учетом того, что ${\displaystyle E[k]=k}$, ${\displaystyle Var[k]=0}$и ${\displaystyle Cov[X,k]=0}$.

Если ${\displaystyle Z}$определяется как общая нелинейная алгебраическая функция ${\displaystyle f}$случайной величины ${\displaystyle X}$, тогда:

${\displaystyle Cov[Z,X]=Cov[f(X),X]=E[Xf(X)]-E[f(X)]E[X]}$

Точное значение дисперсии нелинейной функции будет зависеть от конкретного распределения вероятностей случайной величины. ${\displaystyle X}$.

Аппроксимации разложениями моментов в ряды Тейлора

Если моменты определенной случайной величины ${\displaystyle X}$известны (или могут быть определены интегрированием, если функция плотности вероятности известно), то можно аппроксимировать математическое ожидание любой общей нелинейной функции ${\displaystyle f(X)}$как Разложение моментов в ряд Тейлора, следующее:

${\displaystyle f(X)=\displaystyle \sum _{n=0}^{\infty }\displaystyle {\frac {1}{n!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }(X-\mu )^{n}}$, куда ${\displaystyle \mu =E[X]}$среднее значение ${\displaystyle X}$.

${\displaystyle E[f(X)]=E{\biggl (}\textstyle \sum _{n=0}^{\infty }\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }(X-\mu )^{n}{\biggr )}=\displaystyle \sum _{n=0}^{\infty }\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }E[(X-\mu )^{n}]=\textstyle \sum _{n=0}^{\infty }\displaystyle {\frac {1}{n!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(X)}$, куда ${\displaystyle \mu _{n}(X)=E[(X-\mu )^{n}]}$это п-й момент ${\displaystyle X}$ о его значении. Обратите внимание, что по их определению ${\displaystyle \mu _{0}(X)=1}$ и ${\displaystyle \mu _{1}(X)=0}$. Член первого порядка всегда равен нулю, но был сохранен для получения выражения в замкнутой форме.

Потом,

${\displaystyle E[f(X)]\approx \textstyle \sum _{n=0}^{n_{max}}\displaystyle {1 \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(X)}$, где разложение Тейлора обрезается после ${\displaystyle n_{max}}$-й момент.

В частности, для функций нормальные случайные величины, можно получить разложение Тейлора по стандартное нормальное распределение:^[1]

${\displaystyle f(X)=\textstyle \sum _{n=0}^{\infty }\displaystyle {\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(Z)}$, куда ${\displaystyle X\sim N(\mu ,\sigma ^{2})}$нормальная случайная величина, и ${\displaystyle Z\sim N(0,1)}$- стандартное нормальное распределение. Таким образом,

${\displaystyle E[f(X)]\approx \textstyle \sum _{n=0}^{n_{max}}\displaystyle {\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }\mu _{n}(Z)}$, где моменты стандартного нормального распределения определяются как:

${\displaystyle \mu _{n}(Z)={\begin{cases}\prod _{i=1}^{n/2}(2i-1),&{\text{if }}n{\text{ is even}}\\0,&{\text{if }}n{\text{ is odd}}\end{cases}}}$

Аналогично для нормальных случайных величин также можно аппроксимировать дисперсию нелинейной функции в виде разложения в ряд Тейлора как:

${\displaystyle Var[f(X)]\approx \textstyle \sum _{n=1}^{n_{max}}\displaystyle {\biggl (}{\sigma ^{n} \over n!}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }{\biggr )}^{2}Var[Z^{n}]+\textstyle \sum _{n=1}^{n_{max}}\displaystyle \textstyle \sum _{m\neq n}\displaystyle {\sigma ^{n+m} \over {n!m!}}{\biggl (}{d^{n}f \over dX^{n}}{\biggr )}_{X=\mu }{\biggl (}{d^{m}f \over dX^{m}}{\biggr )}_{X=\mu }Cov[Z^{n},Z^{m}]}$, куда

${\displaystyle Var[Z^{n}]={\begin{cases}\prod _{i=1}^{n}(2i-1)-\prod _{i=1}^{n/2}(2i-1)^{2},&{\text{if }}n{\text{ is even}}\\\prod _{i=1}^{n}(2i-1),&{\text{if }}n{\text{ is odd}}\end{cases}}}$, и

${\displaystyle Cov[Z^{n},Z^{m}]={\begin{cases}\prod _{i=1}^{(n+m)/2}(2i-1)-\prod _{i=1}^{n/2}(2i-1)\prod _{j=1}^{m/2}(2j-1),&{\text{if }}n{\text{ and }}m{\text{ are even}}\\\prod _{i=1}^{(n+m)/2}(2i-1),&{\text{if }}n{\text{ and }}m{\text{ are odd}}\\0,&{\text{otherwise}}\end{cases}}}$

Алгебра комплексных случайных величин

в алгебраический аксиоматизация из теория вероятности, основная концепция - это не вероятность события, а скорее концепция случайная переменная. Распределения вероятностей определяются путем присвоения ожидание к каждой случайной величине. В измеримое пространство а вероятностная мера возникает из случайных величин и ожиданий с помощью хорошо известных теоремы представления анализа. Одна из важных особенностей алгебраического подхода состоит в том, что очевидно бесконечномерные распределения вероятностей не сложнее формализовать, чем конечномерные.

Предполагается, что случайные переменные обладают следующими свойствами:

1. сложный постоянные возможны реализации случайной величины;
2. сумма двух случайных величин является случайной величиной;
3. произведение двух случайных величин - случайная величина;
4. сложение и умножение случайных величин одновременно коммутативный; и
5. существует понятие сопряжения случайных величин, удовлетворяющих (XY)^* = Y^*Икс^* и Икс^** = Икс для всех случайных величин Икс,Y и совпадающая с комплексным сопряжением, если Икс является константой.

Это означает, что случайные величины образуют сложные коммутативные * -алгебры. Если Икс = Икс^* тогда случайная величина Икс называется "настоящим".

Ожидание E по алгебре А случайных величин является нормализованным положительным линейный функционал. Это означает, что

1. E[k] = k куда k постоянная;
2. E[Икс^*Икс] ≥ 0 для всех случайных величин Икс;
3. E[Икс + Y] = E[Икс] + E[Y] для всех случайных величин Икс и Y; и
4. E[kX] = kE[Икс] если k является константой.

Можно обобщить эту схему, позволив алгебре быть некоммутативной. Это приводит к другим областям некоммутативной вероятности, таким как квантовая вероятность, теория случайных матриц, и свободная вероятность.

Смотрите также

• Связи между распределениями вероятностей
• Распределение соотношения
  • Распределение Коши
  • Распределение слэша
• Обратное распределение
• Распространение продукции
• Преобразование Меллина
• Сумма нормально распределенных случайных величин
• Список сверток вероятностных распределений - в вероятностная мера из суммы независимые случайные величины это свертка их вероятностных мер.
• Закон полного ожидания
• Закон полной дисперсии
• Закон полной ковариации
• Закон полной совокупности
• Разложения Тейлора для моментов функций случайных величин

Рекомендации

1. Эрнандес, Уго (2016). «Моделирование эффекта флуктуации в нелинейных системах с помощью дисперсионной алгебры - Приложение к светорассеянию идеальных газов». Отчеты ForsChem Research. 2016-1. Дои:10.13140 / rg.2.2.36501.52969.

дальнейшее чтение

• Уиттл, Питер (2000). Вероятность через ожидание (4-е изд.). Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN  978-0-387-98955-6. Получено 24 сентября 2012.
• Спрингер, Мелвин Дейл (1979). Алгебра случайных величин. Wiley. ISBN  0-471-01406-0. Получено 24 сентября 2012.
• «Алгебра мер», Энциклопедия математики, EMS Press, 2001 [1994]