Ковариационная матрица - Covariance matrix

Не путать с Матрица кросс-ковариации.

А двумерная гауссова функция плотности вероятности с центром в (0, 0), с ковариационной матрицей, заданной ${\displaystyle {\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}}$

Образцы точек из двумерное распределение Гаусса со стандартным отклонением 3 примерно в нижнем левом и верхнем правом направлении и 1 в ортогональном направлении. Поскольку Икс и у компоненты взаимозависимы, дисперсия ${\displaystyle x}$ и ${\displaystyle y}$ не описывают полностью раздачу. А ${\displaystyle 2\times 2}$ необходима ковариационная матрица; направления стрелок соответствуют собственные векторы этой ковариационной матрицы и их длины к квадратным корням из собственные значения.

В теория вероятности и статистика, а ковариационная матрица (также известен как матрица автоковариации, матрица дисперсии, матрица отклонений, или же матрица дисперсии-ковариации) представляет собой квадрат матрица давая ковариация между каждой парой элементов данного случайный вектор. Любая ковариационная матрица симметричный и положительный полуопределенный а его главная диагональ содержит отклонения (т.е. ковариация каждого элемента с самим собой).

Интуитивно ковариационная матрица обобщает понятие дисперсии на несколько измерений. Например, вариацию набора случайных точек в двумерном пространстве нельзя полностью охарактеризовать одним числом, равно как и вариации в ${\displaystyle x}$ и ${\displaystyle y}$ направления содержат всю необходимую информацию; а ${\displaystyle 2\times 2}$ матрица необходима для полной характеристики двумерной вариации.

Ковариационная матрица случайного вектора ${\displaystyle \mathbf {X} }$ обычно обозначается ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ или ${\displaystyle \Sigma }$.

Определение

В этой статье полужирным шрифтом без подписи ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ используются для обозначения случайных векторов, а нижний индекс выделен жирным шрифтом. ${\displaystyle X_{i}}$ и ${\displaystyle Y_{i}}$ используются для обозначения скалярных случайных величин.

Если записи в вектор столбца

${\displaystyle \mathbf {X} =(X_{1},X_{2},...,X_{n})^{\mathrm {T} }}$

находятся случайные переменные, каждый с конечным отклонение и ожидаемое значение, то ковариационная матрица ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ матрица, ${\displaystyle (i,j)}$ запись - это ковариация^{[1]:п. 177}

${\displaystyle \operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]}$

где оператор ${\displaystyle \operatorname {E} }$ обозначает ожидаемое значение (среднее значение) своего аргумента.

Другими словами,

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }={\begin{bmatrix}\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(X_{1}-\operatorname {E} [X_{1}])]&\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(X_{2}-\operatorname {E} [X_{2}])]&\cdots &\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(X_{n}-\operatorname {E} [X_{n}])]\\\\\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(X_{1}-\operatorname {E} [X_{1}])]&\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(X_{2}-\operatorname {E} [X_{2}])]&\cdots &\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(X_{n}-\operatorname {E} [X_{n}])]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\operatorname {E} [X_{n}])(X_{1}-\operatorname {E} [X_{1}])]&\mathrm {E} [(X_{n}-\operatorname {E} [X_{n}])(X_{2}-\operatorname {E} [X_{2}])]&\cdots &\mathrm {E} [(X_{n}-\operatorname {E} [X_{n}])(X_{n}-\operatorname {E} [X_{n}])]\end{bmatrix}}}$

Приведенное выше определение эквивалентно матричному равенству

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {cov} [\mathbf {X} ,\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\mathbf {\mu _{X}} )(\mathbf {X} -\mathbf {\mu _{X}} )^{\rm {T}}]=\operatorname {E} [\mathbf {X} \mathbf {X} ^{T}]-\mathbf {\mu _{X}} \mathbf {\mu _{X}} ^{T}}$

(Уравнение 1)

где ${\displaystyle \mathbf {\mu _{X}} =\operatorname {E} [\mathbf {X} ]}$.

Обобщение дисперсии

Эта форма (Уравнение 1) можно рассматривать как обобщение скалярнозначных отклонение в более высокие измерения. Помните, что для случайной величины со скалярным знаком ${\displaystyle X}$

${\displaystyle \sigma _{X}^{2}=\operatorname {var} (X)=\operatorname {E} [(X-\operatorname {E} [X])^{2}]=\operatorname {E} [(X-\operatorname {E} [X])\cdot (X-\operatorname {E} [X])].}$

В самом деле, элементы на диагонали автоковариационной матрицы ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ - дисперсии каждого элемента вектора ${\displaystyle \mathbf {X} }$.

Противоречивые номенклатуры и обозначения

Номенклатуры различаются. Некоторые статистики, вслед за вероятностником Уильям Феллер в его двухтомной книге Введение в теорию вероятностей и ее приложения,^[2] назовите матрицу ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ то отклонение случайного вектора ${\displaystyle \mathbf {X} }$, потому что это естественное обобщение одномерной дисперсии на более высокие измерения. Другие называют это ковариационная матрица, поскольку это матрица ковариаций между скалярными компонентами вектора ${\displaystyle \mathbf {X} }$.

${\displaystyle \operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right].}$

Обе формы вполне стандартные, и между ними нет никакой двусмысленности. Матрица ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ также часто называют ковариационная матрица, поскольку диагональные члены на самом деле являются дисперсиями.

Для сравнения, обозначения для матрица кросс-ковариации между два вектора

${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\rm {T}}\right].}$

Характеристики

Связь с автокорреляционной матрицей

Матрица автоковариации ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ относится к автокорреляционная матрица ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }}$ к

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\rm {T}}}$

где автокорреляционная матрица определяется как ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\rm {T}}]}$.

Связь с корреляционной матрицей

Дальнейшая информация: Корреляционная матрица

Сущностью, тесно связанной с ковариационной матрицей, является матрица Коэффициенты корреляции произведение-момент Пирсона между каждой из случайных величин в случайном векторе ${\displaystyle \mathbf {X} }$, который можно записать как

${\displaystyle \operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},}$

где ${\displaystyle \operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })}$ - матрица диагональных элементов ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ (т.е. диагональная матрица дисперсии ${\displaystyle X_{i}}$ за ${\displaystyle i=1,\dots ,n}$).

Эквивалентно корреляционную матрицу можно рассматривать как ковариационную матрицу стандартизированные случайные величины ${\displaystyle X_{i}/\sigma (X_{i})}$ за ${\displaystyle i=1,\dots ,n}$.

${\displaystyle \operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.}$

Каждый элемент на главной диагонали корреляционной матрицы - это корреляция случайной величины с самим собой, которая всегда равна 1. Каждый недиагональный элемент составляет от -1 до +1 включительно.

Обратная матрица ковариации

Обратная матрица, ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}}$, если он существует, является обратной ковариационной матрицей, также известной как матрица концентрации или точность матрица.^[3]

Основные свойства

За ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\rm {T}}\right]}$ и ${\displaystyle \mathbf {\mu _{X}} =\operatorname {E} [{\textbf {X}}]}$, где ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$ это ${\displaystyle n}$-мерная случайная величина, применяются следующие основные свойства:^[4]

1. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\rm {T}}} )-\mathbf {\mu _{X}} \mathbf {\mu _{X}} ^{\rm {T}}}$
2. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$ является положительно-полуопределенный, т.е. ${\displaystyle \mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$
3. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$ является симметричный, т.е. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{\rm {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }}$
4. Для любой постоянной (т.е. неслучайной) ${\displaystyle m\times n}$ матрица ${\displaystyle \mathbf {A} }$ и постоянный ${\displaystyle m\times 1}$ вектор ${\displaystyle \mathbf {a} }$, надо ${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\rm {T}}}$
5. Если ${\displaystyle \mathbf {Y} }$ - другой случайный вектор той же размерности, что и ${\displaystyle \mathbf {X} }$, тогда ${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )}$ где ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ это матрица кросс-ковариации из ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$.

Блочные матрицы

Совместное среднее ${\displaystyle \mathbf {\mu } }$ и совместная ковариационная матрица ${\displaystyle \mathbf {\Sigma } }$ из ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ можно записать в блочной форме

${\displaystyle \mathbf {\mu } ={\begin{bmatrix}\mathbf {\mu _{X}} \\\mathbf {\mu _{Y}} \end{bmatrix}},\qquad \mathbf {\Sigma } ={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}}$

где ${\displaystyle \operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )}$, ${\displaystyle \operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )}$ и ${\displaystyle \operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\rm {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$.

${\displaystyle \operatorname {K} _{\mathbf {XX} }}$ и ${\displaystyle \operatorname {K} _{\mathbf {YY} }}$ можно идентифицировать как матрицы дисперсии маржинальные распределения за ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ соответственно.

Если ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ находятся совместно нормально распределенные,

${\displaystyle \mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}(\mathbf {\mu } ,\operatorname {K} ),}$

затем условное распределение за ${\displaystyle \mathbf {Y} }$ данный ${\displaystyle \mathbf {X} }$ дан кем-то

${\displaystyle \mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}(\mathbf {\mu _{Y|X}} ,\operatorname {K} _{\mathbf {Y|X} }),}$^[5]

определяется условное среднее

${\displaystyle \mathbf {\mu _{Y|X}} =\mathbf {\mu _{Y}} +\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -\mathbf {\mu _{X}} \right)}$

и условная дисперсия

${\displaystyle \operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.}$

Матрица ${\displaystyle \operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}}$ известна как матрица регресс коэффициентов, а в линейной алгебре ${\displaystyle \operatorname {K} _{\mathbf {Y|X} }}$ это Дополнение Шура из ${\displaystyle \operatorname {K} _{\mathbf {XX} }}$ в ${\displaystyle \mathbf {\Sigma } }$.

Матрица коэффициентов регрессии часто может быть представлена ​​в транспонированной форме, ${\displaystyle \operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }}$, подходит для постмножения вектора-строки независимых переменных ${\displaystyle \mathbf {X} ^{\rm {T}}}$ вместо предварительного умножения вектора-столбца ${\displaystyle \mathbf {X} }$. В таком виде они соответствуют коэффициентам, полученным путем обращения матрицы нормальные уравнения из обыкновенный метод наименьших квадратов (OLS).

Матрица частичной ковариации

Ковариационная матрица со всеми ненулевыми элементами говорит нам, что все отдельные случайные величины взаимосвязаны. Это означает, что переменные не только напрямую связаны, но и косвенно связаны через другие переменные. Часто такие косвенные, синфазный корреляции банальны и неинтересны. Их можно подавить, вычислив частичную матрицу ковариаций, то есть часть матрицы ковариаций, которая показывает только интересную часть корреляций.

Если два вектора случайных величин ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ связаны через другой вектор ${\displaystyle \mathbf {I} }$, последние корреляции подавляются в матрице^[6]

${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).}$

Матрица частичной ковариации ${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }}$ эффективно представляет собой простую ковариационную матрицу ${\displaystyle \operatorname {K} _{\mathbf {XY} }}$ как будто неинтересные случайные величины ${\displaystyle \mathbf {I} }$ были постоянными.

Матрица ковариации как параметр распределения

Если вектор-столбец ${\displaystyle \mathbf {X} }$ из ${\displaystyle n}$ возможно коррелированные случайные величины совместно нормально распределенные, или в более общем смысле эллиптически распределенный, то его функция плотности вероятности ${\displaystyle \operatorname {f} (\mathbf {X} )}$ можно выразить через ковариационную матрицу ${\displaystyle \mathbf {\Sigma } }$ следующим образом^[6]

${\displaystyle \operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|\mathbf {\Sigma } |^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\rm {T}}\Sigma ^{-1}(X-\mu )} \right),}$

где ${\displaystyle \mathbf {\mu =\operatorname {E} [X]} }$ и ${\displaystyle |\mathbf {\Sigma } |}$ это детерминант из ${\displaystyle \mathbf {\Sigma } }$.

Матрица ковариации как линейный оператор

Основная статья: Оператор ковариации

Применительно к одному вектору ковариационная матрица отображает линейную комбинацию c случайных величин Икс на вектор ковариаций с этими переменными: ${\displaystyle \mathbf {c} ^{\rm {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\rm {T}}\mathbf {X} ,\mathbf {X} )}$. Рассматривается как билинейная форма, он дает ковариацию между двумя линейными комбинациями: ${\displaystyle \mathbf {d} ^{\rm {T}}\Sigma \mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\rm {T}}\mathbf {X} ,\mathbf {c} ^{\rm {T}}\mathbf {X} )}$. Тогда дисперсия линейной комбинации равна ${\displaystyle \mathbf {c} ^{\rm {T}}\Sigma \mathbf {c} }$, его ковариация с самим собой.

Точно так же (псевдо) обратная ковариационная матрица дает внутренний продукт ${\displaystyle \langle c-\mu |\Sigma ^{+}|c-\mu \rangle }$, что вызывает Расстояние Махаланобиса, мера "маловероятности" c.^{[нужна цитата ]}

Какие матрицы являются ковариационными матрицами?

Из тождества чуть выше, пусть ${\displaystyle \mathbf {b} }$ быть ${\displaystyle (p\times 1)}$ действительный вектор, то

${\displaystyle \operatorname {var} (\mathbf {b} ^{\rm {T}}\mathbf {X} )=\mathbf {b} ^{\rm {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,}$

который всегда должен быть неотрицательным, так как это отклонение вещественной случайной величины, поэтому ковариационная матрица всегда положительно-полуопределенная матрица.

Приведенный выше аргумент можно расширить следующим образом:${\displaystyle {\begin{aligned}&w^{\rm {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right]w=\operatorname {E} \left[w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}w\right]\\[5pt]={}&\operatorname {E} {\big [}{\big (}w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0\quad {\text{since }}w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\text{ is a scalar}}.\end{aligned}}}$

И наоборот, каждая симметричная положительно полуопределенная матрица является ковариационной матрицей. Чтобы увидеть это, предположим ${\displaystyle M}$ это ${\displaystyle p\times p}$ симметричная положительно-полуопределенная матрица. Из конечномерного случая спектральная теорема, следует, что ${\displaystyle M}$ имеет неотрицательную симметричную квадратный корень, который можно обозначить как M^1/2. Позволять ${\displaystyle \mathbf {X} }$ быть любым ${\displaystyle p\times 1}$ случайная величина со значением вектора-столбца, ковариационная матрица которой является ${\displaystyle p\times p}$ единичная матрица. потом

${\displaystyle \operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .}$

Комплексные случайные векторы

Основная статья: Комплексный случайный вектор

Ковариационная матрица

В отклонение из сложный скалярный случайная величина с ожидаемым значением ${\displaystyle \mu }$ обычно определяется с использованием комплексное сопряжение:

${\displaystyle \operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],}$

где комплексное сопряжение комплексного числа ${\displaystyle z}$ обозначается ${\displaystyle {\overline {z}}}$; таким образом, дисперсия сложной случайной величины является действительным числом.

Если ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }}$ вектор-столбец комплексных случайных величин, то сопряженный транспонировать формируется обе транспонирование и спряжение. В следующем выражении произведение вектора на сопряженное транспонирование приводит к квадратной матрице, называемой ковариационная матрица, как его ожидание:^{[7]:п. 293}

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {H} }\right]}$,

где ${\displaystyle {}^{\mathrm {H} }}$ обозначает сопряженное транспонирование, которое применимо к скалярному случаю, поскольку транспонирование скаляра по-прежнему является скаляром. Полученная таким образом матрица будет Эрмитский положительно-полуопределенный,^[8] с действительными числами на главной диагонали и комплексными числами вне диагонали.

Матрица псевдоковариации

Для сложных случайных векторов второй центральный момент другого вида, псевдоковариационная матрица (также называемая матрицей отношений) определяется следующим образом. В отличие от ковариационной матрицы, определенной выше, эрмитова транспозиция заменяется транспонированием в определении.

${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {T} }\right]}$

Характеристики

• Ковариационная матрица - это Эрмитова матрица, т.е. ${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathrm {H} }=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }}$.^{[1]:п. 179}
• Диагональные элементы ковариационной матрицы действительны.^{[1]:п. 179}

Предварительный расчет

Основная статья: Оценка ковариационных матриц

Если ${\displaystyle \mathbf {M} _{\mathbf {X} }}$ и ${\displaystyle \mathbf {M} _{\mathbf {Y} }}$ сосредоточены матрицы данных измерения ${\displaystyle p\times n}$ и ${\displaystyle q\times n}$ соответственно, т.е. с п колонки наблюдений за п и q строки переменных, из которых были вычтены средние по строкам, тогда, если средние по строкам были оценены на основе данных, выборка ковариационных матриц ${\displaystyle \mathbf {Q} _{\mathbf {XX} }}$ и ${\displaystyle \mathbf {Q} _{\mathbf {XY} }}$ можно определить как

${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}}$

или, если средние строки были известны априори,

${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}.}$

Эти эмпирические выборочные ковариационные матрицы являются наиболее простыми и наиболее часто используемыми оценщиками для ковариационных матриц, но существуют и другие оценщики, включая регуляризованные или усадочные оценщики, которые могут иметь лучшие свойства.

Приложения

Ковариационная матрица - полезный инструмент во многих различных областях. Из него матрица преобразования может быть получен, называемый отбеливающее преобразование, что позволяет полностью декоррелировать данные^{[нужна цитата ]} или, с другой точки зрения, найти оптимальную основу для представления данных в компактном виде^{[нужна цитата ]} (увидеть Фактор Рэлея для формального доказательства и дополнительных свойств ковариационных матриц). Анализ главных компонентов (PCA) и Преобразование Карунена – Лоэва (KL-преобразование).

Ковариационная матрица играет ключевую роль в финансовая экономика, особенно в теория портфеля и это теорема о разделении паевых инвестиционных фондов и в модель ценообразования основных средств. Матрица ковариаций доходности различных активов используется для определения, при определенных допущениях, относительных объемов различных активов, которые должны инвестировать (в нормативный анализ ) или прогнозируются (в положительный анализ ) выберите удержание в контексте диверсификация.

Ковариационное отображение

В ковариационное отображение ценности ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ или ${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$ Матрица строятся как 2-мерная карта. Когда векторы ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ дискретны случайные функции, карта показывает статистические связи между различными областями случайных функций. Статистически независимые области функций отображаются на карте как равнины с нулевым уровнем, а положительные или отрицательные корреляции отображаются, соответственно, как холмы или долины.

На практике векторы-столбцы ${\displaystyle \mathbf {X} ,\mathbf {Y} }$, и ${\displaystyle \mathbf {I} }$ приобретаются экспериментально как ряды ${\displaystyle n}$ образцы, например

${\displaystyle [\mathbf {X} _{1},\mathbf {X} _{2},...\mathbf {X} _{n}]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},}$

где ${\displaystyle X_{j}(t_{i})}$ это я-ое дискретное значение в выборке j случайной функции ${\displaystyle X(t)}$. Ожидаемые значения, необходимые в ковариационной формуле, оцениваются с использованием выборочное среднее, например

${\displaystyle \langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}}$

а ковариационная матрица оценивается выборочная ковариация матрица

${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\rm {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\rm {T}}\rangle ,}$

где угловые скобки обозначают усреднение выборки, как и раньше, за исключением того, что Поправка Бесселя следует сделать, чтобы избежать предвзятость. Используя эту оценку, частную матрицу ковариации можно рассчитать как

${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),}$

где обратная косая черта обозначает левое деление матрицы оператор, который обходит требование инвертировать матрицу и доступен в некоторых вычислительных пакетах, таких как Matlab.^[9]

Рисунок 1: Построение частичной ковариационной карты N₂ молекулы подвергаются кулоновскому взрыву, индуцированному лазером на свободных электронах.^[10] Панели а и б сопоставьте два члена ковариационной матрицы, которая показана на панели c. Панель d отображает синфазные корреляции через флуктуации интенсивности лазера. Панель е отображает частичную матрицу ковариации, скорректированную на флуктуации интенсивности. Панель ж показывает, что 10% избыточная коррекция улучшает карту и делает ионно-ионные корреляции четко видимыми. Благодаря сохранению импульса эти корреляции выглядят как линии, приблизительно перпендикулярные линии автокорреляции (и периодическим модуляциям, вызываемым звоном детектора).

На рис. 1 показано, как строится частичная ковариационная карта на примере эксперимента, проведенного в ВСПЫШКА лазер на свободных электронах в Гамбурге.^[10] Случайная функция ${\displaystyle X(t)}$ это время полета спектр ионов из Кулоновский взрыв молекул азота многократно ионизируются лазерным импульсом. Поскольку за каждый лазерный импульс ионизируются всего несколько сотен молекул, однократные спектры сильно колеблются. Однако сбор обычно ${\displaystyle m=10^{4}}$ такие спектры, ${\displaystyle \mathbf {X} _{j}(t)}$, и усредняя их по ${\displaystyle j}$ производит гладкий спектр ${\displaystyle \langle \mathbf {X} (t)\rangle }$, который показан красным внизу рис. 1. Средний спектр ${\displaystyle \langle \mathbf {X} \rangle }$ показывает несколько ионов азота в виде пиков, уширенных по их кинетической энергии, но для нахождения корреляций между стадиями ионизации и импульсами ионов необходимо вычислить ковариационную карту.

В примере на рис.1 спектры ${\displaystyle \mathbf {X} _{j}(t)}$ и ${\displaystyle \mathbf {Y} _{j}(t)}$ такие же, за исключением того, что диапазон времени пролета ${\displaystyle t}$ отличается. Панель а показывает ${\displaystyle \langle \mathbf {XY^{\rm {T}}} \rangle }$, панель б показывает ${\displaystyle \langle \mathbf {X} \rangle \langle \mathbf {Y^{\rm {T}}} \rangle }$ и панель c показывает их различие, которое ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$ (обратите внимание на изменение цветовой шкалы). К сожалению, эта карта перегружена неинтересными синфазными корреляциями, вызванными колебаниями интенсивности лазера от кадра к кадру. Для подавления таких корреляций интенсивность лазера ${\displaystyle I_{j}}$ записывается при каждом выстреле, помещается в ${\displaystyle \mathbf {I} }$ и ${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$ рассчитывается как панели d и е Показать. Однако подавление неинтересных корреляций несовершенно, потому что существуют другие источники синфазных флуктуаций, кроме интенсивности лазера, и в принципе все эти источники следует контролировать в векторном виде. ${\displaystyle \mathbf {I} }$. Однако на практике часто бывает достаточно сверхкомпенсировать частичную коррекцию ковариации в виде панели ж показывает, где теперь отчетливо видны интересные корреляции импульсов ионов в виде прямых линий, центрированных на стадиях ионизации атомарного азота.

Двумерная инфракрасная спектроскопия

Двумерная инфракрасная спектроскопия использует корреляционный анализ для получения 2D-спектров конденсированная фаза. Есть две версии этого анализа: синхронный и асинхронный. Математически первый выражается в терминах выборочной ковариационной матрицы, а метод эквивалентен ковариационному отображению.^[11]

Смотрите также

• Многовариантная статистика
• Матрица грамиана
• Разложение на собственные значения
• Квадратичная форма (статистика)
• Основные компоненты

Рекомендации

1. Парк, Кун Иль (2018). Основы вероятностных и случайных процессов с приложениями к коммуникациям. Springer. ISBN  978-3-319-68074-3.
2. Уильям Феллер (1971). Введение в теорию вероятностей и ее приложения. Вайли. ISBN  978-0-471-25709-7. Получено 10 августа 2012.
3. Вассерман, Ларри (2004). Вся статистика: краткий курс статистических выводов. ISBN  0-387-40272-1.
4. Табога, Марко (2010). «Лекции по теории вероятностей и математической статистике».
5. Итон, Моррис Л. (1983). Многомерная статистика: подход векторного пространства. Джон Уайли и сыновья. С. 116–117. ISBN  0-471-02776-6.
6. W J Krzanowski "Принципы многомерного анализа" (Oxford University Press, Нью-Йорк, 1988), гл. 14,4; К. В. Мардиа, Дж. Т. Кент и Дж. М. Бибби "Многомерный анализ (Academic Press, Лондон, 1997), глава 6.5.3; Т. В. Андерсон" Введение в многомерный статистический анализ "(Wiley, Нью-Йорк, 2003), 3-е изд., Главы 2.5.1 и 4.3.1.
7. Лапидот, Амос (2009). Фонд цифровых коммуникаций. Издательство Кембриджского университета. ISBN  978-0-521-19395-5.
8. Брукс, Майк. «Справочное руководство по матрице».
9. LJ Frasinski "Методы отображения ковариации" J. Phys. Летучая мышь. Мол. Опт. Phys. 49 152004 (2016), открытый доступ
10. О. Корнилов, М. Экштейн, М. Розенблатт, К. П. Шульц, К. Мотомура, А. Рузе, Дж. Клей, Л. Фукар, М. Сиано, А. Любке, Ф. Шаппер, П. Джонссон, Д. М. П. Холланд, Т. Шлатхольтер, Т. Марченко, С. Дюстерер, К. Уэда, MJJ Vrakking и LJ Frasinski "Кулоновский взрыв двухатомных молекул в интенсивных XUV-полях, отображаемых с помощью частичной ковариации" J. Phys. Летучая мышь. Мол. Опт. Phys. 46 164028 (2013), открытый доступ
11. И Нода "Обобщенный метод двумерной корреляции, применимый к инфракрасной, рамановской и другим типам спектроскопии" Appl. Spectrosc. 47 1329–36 (1993)

дальнейшее чтение

• "Ковариационная матрица", Энциклопедия математики, EMS Press, 2001 [1994]
• Вайсштейн, Эрик В. "Ковариационная матрица". MathWorld.
• ван Кампен, Н.Г. (1981). Случайные процессы в физике и химии. Нью-Йорк: Северная Голландия. ISBN  0-444-86200-5.