Сумма нормально распределенных случайных величин - Sum of normally distributed random variables

В теория вероятности, расчет сумма нормально распределенных случайных величин это пример арифметики случайные переменные, который может быть довольно сложным из-за распределения вероятностей вовлеченных случайных величин и их взаимосвязей.

Это не следует путать с сумма нормальных распределений который образует распределение смеси.

Независимые случайные величины

Позволять Икс и Y быть независимый случайные переменные которые нормально распределенный (а значит, и вместе), то их сумма также нормально распределяется. т.е. если

${\displaystyle X\sim N(\mu _{X},\sigma _{X}^{2})}$

${\displaystyle Y\sim N(\mu _{Y},\sigma _{Y}^{2})}$

${\displaystyle Z=X+Y,}$

тогда

${\displaystyle Z\sim N(\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2}).}$

Это означает, что сумма двух независимых нормально распределенных случайных величин является нормальной, причем ее среднее значение является суммой двух средних, а ее дисперсия - суммой двух дисперсий (т. Е. Квадрат стандартного отклонения представляет собой сумму квадраты стандартных отклонений).^[1]

Для справедливости этого результата предположение, что Икс и Y независимы, не могут быть отброшены, хотя их можно ослабить до предположения, что Икс и Y находятся совместно, а не по отдельности, как обычно.^[2] (Видеть вот для примера.)

Результат о среднем сохраняется во всех случаях, в то время как результат для дисперсии требует некоррелированности, но не независимости.

Доказательства

Доказательство с использованием характеристических функций

В характеристическая функция

${\displaystyle \varphi _{X+Y}(t)=\operatorname {E} \left(e^{it(X+Y)}\right)}$

суммы двух независимых случайных величин Икс и Y это просто продукт двух отдельных характеристических функций:

${\displaystyle \varphi _{X}(t)=\operatorname {E} \left(e^{itX}\right),\qquad \varphi _{Y}(t)=\operatorname {E} \left(e^{itY}\right)}$

из Икс и Y.

Характеристическая функция нормального распределения с математическим ожиданием μ и дисперсией σ² является

${\displaystyle \varphi (t)=\exp \left(it\mu -{\sigma ^{2}t^{2} \over 2}\right).}$

Так

${\displaystyle {\begin{aligned}\varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)&=\exp \left(it\mu _{X}-{\sigma _{X}^{2}t^{2} \over 2}\right)\exp \left(it\mu _{Y}-{\sigma _{Y}^{2}t^{2} \over 2}\right)\\[6pt]&=\exp \left(it(\mu _{X}+\mu _{Y})-{(\sigma _{X}^{2}+\sigma _{Y}^{2})t^{2} \over 2}\right).\end{aligned}}}$

Это характеристическая функция нормального распределения с математическим ожиданием ${\displaystyle \mu _{X}+\mu _{Y}}$ и дисперсия ${\displaystyle \sigma _{X}^{2}+\sigma _{Y}^{2}}$

Наконец, напомним, что никакие два различных распределения не могут иметь одинаковую характеристическую функцию, поэтому распределение Икс + Y должно быть именно это нормальное распределение.

Доказательство с использованием сверток

Для независимых случайных величин Икс и Y, распространение ж_Z из Z = Икс + Y равняется свертке ж_Икс и ж_Y:

${\displaystyle f_{Z}(z)=\int _{-\infty }^{\infty }f_{Y}(z-x)f_{X}(x)\,dx}$

При условии ж_Икс и ж_Y нормальные плотности,

${\displaystyle {\begin{aligned}f_{X}(x)={\mathcal {N}}(x;\mu _{X},\sigma _{X}^{2})={\frac {1}{{\sqrt {2\pi }}\sigma _{X}}}e^{-(x-\mu _{X})^{2}/(2\sigma _{X}^{2})}\\[5pt]f_{Y}(y)={\mathcal {N}}(y;\mu _{Y},\sigma _{Y}^{2})={\frac {1}{{\sqrt {2\pi }}\sigma _{Y}}}e^{-(y-\mu _{Y})^{2}/(2\sigma _{Y}^{2})}\end{aligned}}}$

Подставляем в свертку:

${\displaystyle {\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Y}}}\exp \left[-{(z-x-\mu _{Y})^{2} \over 2\sigma _{Y}^{2}}\right]{\frac {1}{{\sqrt {2\pi }}\sigma _{X}}}\exp \left[-{(x-\mu _{X})^{2} \over 2\sigma _{X}^{2}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {\sigma _{X}^{2}(z-x-\mu _{Y})^{2}+\sigma _{Y}^{2}(x-\mu _{X})^{2}}{2\sigma _{X}^{2}\sigma _{Y}^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {\sigma _{X}^{2}(z^{2}+x^{2}+\mu _{Y}^{2}-2xz-2z\mu _{Y}+2x\mu _{Y})+\sigma _{Y}^{2}(x^{2}+\mu _{X}^{2}-2x\mu _{X})}{2\sigma _{Y}^{2}\sigma _{X}^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\sqrt {2\pi }}\sigma _{X}\sigma _{Y}}}\exp \left[-{\frac {x^{2}(\sigma _{X}^{2}+\sigma _{Y}^{2})-2x(\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X})+\sigma _{X}^{2}(z^{2}+\mu _{Y}^{2}-2z\mu _{Y})+\sigma _{Y}^{2}\mu _{X}^{2}}{2\sigma _{Y}^{2}\sigma _{X}^{2}}}\right]\,dx\\[6pt]\end{aligned}}}$

Определение ${\displaystyle \sigma _{Z}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}}}}$, и завершение квадрата:

${\displaystyle {\begin{aligned}f_{Z}(z)&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {x^{2}-2x{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}+{\frac {\sigma _{X}^{2}(z^{2}+\mu _{Y}^{2}-2z\mu _{Y})+\sigma _{Y}^{2}\mu _{X}^{2}}{\sigma _{Z}^{2}}}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}-\left({\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}+{\frac {\sigma _{X}^{2}(z-\mu _{Y})^{2}+\sigma _{Y}^{2}\mu _{X}^{2}}{\sigma _{Z}^{2}}}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&=\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{\frac {\sigma _{Z}^{2}\left(\sigma _{X}^{2}(z-\mu _{Y})^{2}+\sigma _{Y}^{2}\mu _{X}^{2}\right)-\left(\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}\right)^{2}}{2\sigma _{Z}^{2}\left(\sigma _{X}\sigma _{Y}\right)^{2}}}\right]{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\\[6pt]&={\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{(z-(\mu _{X}+\mu _{Y}))^{2} \over 2\sigma _{Z}^{2}}\right]\int _{-\infty }^{\infty }{\frac {1}{{\sqrt {2\pi }}{\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}}}\exp \left[-{\frac {\left(x-{\frac {\sigma _{X}^{2}(z-\mu _{Y})+\sigma _{Y}^{2}\mu _{X}}{\sigma _{Z}^{2}}}\right)^{2}}{2\left({\frac {\sigma _{X}\sigma _{Y}}{\sigma _{Z}}}\right)^{2}}}\right]\,dx\end{aligned}}}$

Выражение в интеграле представляет собой нормальное распределение плотности на Икс, поэтому интеграл равен 1. Требуемый результат следующий:

${\displaystyle f_{Z}(z)={\frac {1}{{\sqrt {2\pi }}\sigma _{Z}}}\exp \left[-{(z-(\mu _{X}+\mu _{Y}))^{2} \over 2\sigma _{Z}^{2}}\right]}$

С использованием теорема свертки

Можно показать, что преобразование Фурье гауссиана, ${\displaystyle f_{X}(x)={\mathcal {N}}(x;\mu _{X},\sigma _{X}^{2})}$, является^[3]

${\displaystyle {\mathcal {F}}\{f_{X}\}=F_{X}(\omega )=\exp \left[-j\omega \mu _{X}\right]\exp \left[-{\tfrac {\sigma _{X}^{2}\omega ^{2}}{2}}\right]}$

Посредством теорема свертки:

${\displaystyle {\begin{aligned}f_{Z}(z)&=(f_{X}*f_{Y})(z)\\[5pt]&={\mathcal {F}}^{-1}{\big \{}{\mathcal {F}}\{f_{X}\}\cdot {\mathcal {F}}\{f_{Y}\}{\big \}}\\[5pt]&={\mathcal {F}}^{-1}{\big \{}\exp \left[-j\omega \mu _{X}\right]\exp \left[-{\tfrac {\sigma _{X}^{2}\omega ^{2}}{2}}\right]\exp \left[-j\omega \mu _{Y}\right]\exp \left[-{\tfrac {\sigma _{Y}^{2}\omega ^{2}}{2}}\right]{\big \}}\\[5pt]&={\mathcal {F}}^{-1}{\big \{}\exp \left[-j\omega (\mu _{X}+\mu _{Y})\right]\exp \left[-{\tfrac {(\sigma _{X}^{2}\ +\sigma _{Y}^{2})\omega ^{2}}{2}}\right]{\big \}}\\[5pt]&={\mathcal {N}}(z;\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})\end{aligned}}}$

Геометрическое доказательство

Сначала рассмотрим нормализованный случай, когда Икс, Y ~ N(0, 1), так что их PDF-файлы находятся

${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \,}}}e^{-x^{2}/2}}$

и

${\displaystyle g(y)={\frac {1}{\sqrt {2\pi \,}}}e^{-y^{2}/2}.}$

Позволять Z = Икс + Y. Тогда CDF за Z будет

${\displaystyle z\mapsto \int _{x+y\leq z}f(x)g(y)\,dx\,dy.}$

Этот интеграл берется по полуплоскости, лежащей под прямой Икс+y = z.

Ключевое наблюдение заключается в том, что функция

${\displaystyle f(x)g(y)={\frac {1}{2\pi }}e^{-(x^{2}+y^{2})/2}\,}$

радиально симметричен. Итак, мы вращаем координатную плоскость вокруг начала координат, выбирая новые координаты ${\displaystyle x',y'}$ так что линия Икс+y = z описывается уравнением ${\displaystyle x'=c}$ куда ${\displaystyle c=c(z)}$ определяется геометрически. Из-за радиальной симметрии имеем ${\displaystyle f(x)g(y)=f(x')g(y')}$, и CDF для Z является

${\displaystyle \int _{x'\leq c,y'\in \mathbb {R} }f(x')g(y')\,dx'\,dy'.}$

Это легко интегрировать; мы находим, что CDF для Z является

${\displaystyle \int _{-\infty }^{c(z)}f(x')\,dx'=\Phi (c(z)).}$

Для определения стоимости ${\displaystyle c(z)}$Обратите внимание, что мы повернули плоскость так, чтобы линия Икс+y = z теперь работает вертикально с Икс-перехват равно c. Так c это просто расстояние от начала координат до линии Икс+y = z вдоль серединного перпендикуляра, который пересекает линию в ее ближайшей точке к началу координат, в данном случае ${\displaystyle (z/2,z/2)\,}$. Итак, расстояние ${\displaystyle c={\sqrt {(z/2)^{2}+(z/2)^{2}}}=z/{\sqrt {2}}\,}$, и CDF для Z является ${\displaystyle \Phi (z/{\sqrt {2}})}$, т.е. ${\displaystyle Z=X+Y\sim N(0,2).}$

Сейчас если а, б являются любыми действительными константами (не равными нулю!), то вероятность того, что ${\displaystyle aX+bY\leq z}$ находится с помощью того же интеграла, что и выше, но с ограничивающей линией ${\displaystyle ax+by=z}$. Работает тот же метод вращения, и в этом более общем случае мы обнаруживаем, что ближайшая точка на линии к началу координат находится на (подписанном) расстоянии

${\displaystyle {\frac {z}{\sqrt {a^{2}+b^{2}}}}}$

прочь, так что

${\displaystyle aX+bY\sim N(0,a^{2}+b^{2}).}$

Тот же аргумент в более высоких измерениях показывает, что если

${\displaystyle X_{i}\sim N(0,\sigma _{i}^{2}),\qquad i=1,\dots ,n,}$

тогда

${\displaystyle X_{1}+\cdots +X_{n}\sim N(0,\sigma _{1}^{2}+\cdots +\sigma _{n}^{2}).}$

По сути, мы закончили, потому что

${\displaystyle X\sim N(\mu ,\sigma ^{2})\Leftrightarrow {\frac {1}{\sigma }}(X-\mu )\sim N(0,1).}$

В общем, если

${\displaystyle X_{i}\sim N(\mu _{i},\sigma _{i}^{2}),\qquad i=1,\dots ,n,}$

тогда

${\displaystyle \sum _{i=1}^{n}a_{i}X_{i}\sim N\left(\sum _{i=1}^{n}a_{i}\mu _{i},\sum _{i=1}^{n}(a_{i}\sigma _{i})^{2}\right).}$

Коррелированные случайные величины

В случае, если переменные Икс и Y являются совместно нормально распределенными случайными величинами, то Икс + Y по-прежнему нормально распространяется (см. Многомерное нормальное распределение ), а среднее - это сумма средних. Однако дисперсия не складывается из-за корреляции. В самом деле,

${\displaystyle \sigma _{X+Y}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}+2\rho \sigma _{X}\sigma _{Y}}},}$

где ρ - корреляция. В частности, всякий раз, когда ρ <0, дисперсия меньше суммы дисперсий Икс и Y.

Расширения этого результата можно сделать для более чем двух случайных величин, используя ковариационная матрица.

Доказательство

В этом случае (с Икс и Y с нулевым средним), необходимо учитывать

${\displaystyle {\frac {1}{2\pi \sigma _{x}\sigma _{y}{\sqrt {1-\rho ^{2}}}}}\iint _{x\,y}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {x^{2}}{\sigma _{x}^{2}}}+{\frac {y^{2}}{\sigma _{y}^{2}}}-{\frac {2\rho xy}{\sigma _{x}\sigma _{y}}}\right)\right]\delta (z-(x+y))\,\mathrm {d} x\,\mathrm {d} y.}$

Как и выше, делается замена ${\displaystyle y\rightarrow z-x}$

Этот интеграл сложнее упростить аналитически, но его легко вычислить с помощью программы символьной математики. Распределение вероятностей ж_Z(z) задается в этом случае выражением

${\displaystyle f_{Z}(z)={\frac {1}{{\sqrt {2\pi }}\sigma _{+}}}\exp \left(-{\frac {z^{2}}{2\sigma _{+}^{2}}}\right)}$

куда

${\displaystyle \sigma _{+}={\sqrt {\sigma _{x}^{2}+\sigma _{y}^{2}+2\rho \sigma _{x}\sigma _{y}}}.}$

Если вместо этого Z = Икс − Y, то получаем

${\displaystyle f_{Z}(z)={\frac {1}{\sqrt {2\pi (\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y})}}}\exp \left(-{\frac {z^{2}}{2(\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y})}}\right)}$

который также можно переписать с помощью

${\displaystyle \sigma _{-}={\sqrt {\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho \sigma _{x}\sigma _{y}}}.}$

Стандартные отклонения каждого распределения очевидны при сравнении со стандартным нормальным распределением.

Рекомендации

1. Лимоны, Дон С. (2002), Введение в случайные процессы в физике, Издательство Университета Джона Хопкинса, стр. 34, ISBN  0-8018-6866-1
2. Лимоны (2002), стр. 35–36.
3. Дерпанис, Константинос Г. (20 октября 2005 г.). «Преобразование Фурье гауссиана» (PDF).

Смотрите также

• Распространение неопределенности
• Алгебра случайных величин
• Стабильное распространение
• Стандартная ошибка (статистика)
• Распределение соотношения
• Распространение продукции
• Распределение слэша
• Список сверток вероятностных распределений