Распределение Уишарта - Wishart distribution

Wishart
ОбозначениеИкс ~ Wп(V, п)
Параметрып > п − 1 степени свободы (настоящий )
V > 0 масштабная матрица (п × п поз. def )
ПоддержкаИкс(п × п) положительно определенная матрица
PDF

Значить
Режим(пп − 1)V для пп + 1
Дисперсия
Энтропиясм. ниже
CF

В статистика, то Распределение Уишарта является обобщением нескольких измерений гамма-распределение. Назван в честь Джон Уишарт, который первым сформулировал распределение в 1928 году.[1][2]

Это семья распределения вероятностей определяется над симметричным, неотрицательно-определенный матрица -значен случайные переменные («Случайные матрицы»). Эти распределения имеют большое значение в оценка ковариационных матриц в многомерная статистика. В Байесовская статистика, распределение Уишарта - это сопряженный предшествующий из обратный ковариационная матрица из многомерный нормальный случайный вектор.[3]

Определение

Предположим г это п × п матрица, каждый столбец которой независимо взят из п-вариантное нормальное распределение с нулевым средним:

Тогда распределение Уишарта - это распределение вероятностей из п × п случайная матрица [4]

известный как матрица рассеяния. Один указывает, что S имеет это распределение вероятностей, написав

Положительное целое число п это количество степени свободы. Иногда это пишут W(V, п, п). Для пп матрица S обратима с вероятностью 1 если V обратимо.

Если п = V = 1 то это распределение является распределение хи-квадрат с участием п степени свободы.

Вхождение

Распределение Уишарта возникает как распределение выборочной ковариационной матрицы для выборки из многомерное нормальное распределение. Часто встречается в тесты отношения правдоподобия в многомерном статистическом анализе. Он также возникает в спектральной теории случайные матрицы[нужна цитата ] и в многомерном байесовском анализе.[5] Он также встречается в беспроводной связи, при анализе производительности Замирание Рэлея MIMO беспроводные каналы.[6]

Функция плотности вероятности

Распределение Уишарта можно характеризует своим функция плотности вероятности следующим образом:

Позволять Икс быть п × п симметричная матрица случайных величин, которая положительно определенный. Позволять V - (фиксированная) симметричная положительно определенная матрица размера п × п.

Тогда, если пп, Икс имеет распределение Уишарта с п степени свободы, если он имеет функция плотности вероятности

где это детерминант из и Γп это многомерная гамма-функция определяется как

Плотность выше не является совместной плотностью всех элементы случайной матрицы Икс (такой -размерный плотности не существует из-за ограничений симметрии ), это скорее совместная плотность элементы для ([1], стр.38). Кроме того, приведенная выше формула плотности применима только к положительно определенным матрицам для остальных матриц плотность равна нулю.

Совместная плотность собственных значений для собственных значений случайной матрицы является [7], [8]

где является константой.

Фактически, приведенное выше определение можно распространить на любые реальные п > п − 1. Если пп − 1, то Wishart больше не имеет плотности - вместо этого оно представляет собой сингулярное распределение, которое принимает значения в подпространстве более низкой размерности пространства п × п матрицы.[9]

Использование в байесовской статистике

В Байесовская статистика, в контексте многомерное нормальное распределение, распределение Уишарта является сопряженным до матрицы точности Ω = Σ−1, где Σ - ковариационная матрица.[10]:135

Выбор параметров

Наименее информативный, правильный априор Уишарта получается путем установки п = п.[нужна цитата ]

Предыдущее среднее значение Wп(V, п) является пV, предполагая, что разумный выбор для V было бы п−1Σ0−1, где Σ0 является предварительным предположением для ковариационной матрицы.


Свойства

Лог-ожидание

Следующая формула играет роль в вариационный байесовский выводы для Байесовские сети с участием распределения Уишарта: [10]:693

где - многомерная дигамма-функция (производная от логарифма многомерная гамма-функция ).

Логарифмическая дисперсия

Следующее вычисление дисперсии может помочь в байесовской статистике:

где - это тригамма-функция. Это возникает при вычислении информации Фишера случайной величины Уишарта.

Энтропия

В информационная энтропия распределения имеет следующую формулу:[10]:693

где B(V, п) это нормализующая константа распределения:

Это можно расширить следующим образом:

Кросс-энтропия

В перекрестная энтропия двух распределений Уишарта с параметрами и с параметрами является

Обратите внимание, что когда и мы восстанавливаем энтропию.

KL-дивергенция

В Дивергенция Кульбака – Лейблера из от является

Характеристическая функция

В характеристическая функция распределения Уишарта составляет

Другими словами,

где E [⋅] обозначает ожидание. (Вот Θ и я матрицы того же размера, что и V(я это единичная матрица ); и я является квадратным корнем из −1).[8]

Поскольку диапазон определителя содержит замкнутую линию через начало координат для размеров матрицы больше двух, приведенная выше формула верна только для малых значений переменной Фурье. (увидеть arXiv:1901.09347 )

Теорема

Если п × п случайная матрица Икс имеет распределение Уишарта с м матрица степеней свободы и дисперсии V - записывать - и C это q × п матрица ранг q, тогда [11]

Следствие 1.

Если z ненулевой п × 1 постоянный вектор, тогда:[11]

В таком случае, это распределение хи-квадрат и (Обратите внимание, что постоянная; это положительно, потому что V положительно определен).

Следствие 2.

Рассмотрим случай, когда zТ = (0, ..., 0, 1, 0, ..., 0) (это j-й элемент равен единице, а все остальные - нулю). Тогда следствие 1 показывает, что

дает предельное распределение каждого из элементов на диагонали матрицы.

Джордж Себер указывает, что распределение Уишарта не называется «многомерным распределением хи-квадрат», потому что маргинальное распределение недиагональные элементы не является хи-квадрат. Себер предпочитает оставить срок многомерный для случая, когда все одномерные маргиналы принадлежат к одному семейству.[12]

Оценщик многомерного нормального распределения

Распределение Уишарта - это выборочное распределение из оценщик максимального правдоподобия (MLE) ковариационная матрица из многомерное нормальное распределение.[13] А вывод MLE использует спектральная теорема.

Разложение Бартлетта

В Разложение Бартлетта матрицы Икс из п-вариантное распределение Уишарта с масштабной матрицей V и п степеней свободы - это факторизация:

где L это Фактор холецкого из V, и:

где и пij ~ N(0, 1) независимо.[14] Это обеспечивает полезный метод получения случайных выборок из распределения Уишарта.[15]

Предельное распределение матричных элементов

Позволять V быть 2 × 2 матрица дисперсии, характеризующаяся коэффициент корреляции −1 < ρ < 1 и L его нижний фактор Холецкого:

Умножая на разложение Бартлетта выше, мы обнаруживаем, что случайная выборка из 2 × 2 Распределение Уишарта

Диагональные элементы, наиболее очевидно в первом элементе, следуют за χ2 распространение с п степени свободы (в масштабе σ2) как и ожидалось. Недиагональный элемент менее знаком, но может быть идентифицирован как нормальная смесь средних дисперсий где плотность смешения χ2 распространение. Следовательно, соответствующая предельная плотность вероятности для недиагонального элемента равна дисперсионно-гамма-распределение

где Kν(z) это модифицированная функция Бесселя второго рода.[16] Подобные результаты могут быть получены для более высоких измерений, но взаимозависимость недиагональных корреляций становится все более сложной. Также можно записать момент-производящая функция даже в нецентральный случай (по сути п-я сила Крейга (1936)[17] уравнение 10), хотя плотность вероятности становится бесконечной суммой функций Бесселя.

Диапазон параметра формы

Это можно показать [18] что распределение Уишарта можно определить тогда и только тогда, когда параметр формы п принадлежит набору

Этот набор назван в честь представившего его Гиндикина.[19] в семидесятые годы в контексте гамма-распределений на однородных конусах. Однако для новых параметров в дискретном спектре ансамбля Гиндикина, а именно:

соответствующее распределение Уишарта не имеет плотности Лебега.

Связь с другими дистрибутивами

Смотрите также

использованная литература

  1. ^ а б Уишарт, Дж. (1928). «Обобщенное распределение момента продукта в выборках из нормальной многомерной совокупности». Биометрика. 20А (1–2): 32–52. Дои:10.1093 / biomet / 20A.1-2.32. JFM  54.0565.02. JSTOR  2331939.
  2. ^ Эконофизика: Введение, С. Синха
  3. ^ Куп, Гэри; Коробилис, Димитрис (2010). «Байесовские методы многомерных временных рядов для эмпирической макроэкономики». Основы и тенденции в эконометрике. 3 (4): 267–358. Дои:10.1561/0800000013.
  4. ^ Гупта, А. К .; Нагар, Д. К. (2000). Матричные распределения переменных. Чепмен и Холл / CRC. ISBN  1584880465.
  5. ^ Гельман, Андрей (2003). Байесовский анализ данных (2-е изд.). Бока-Ратон, Флорида: Chapman & Hall. п. 582. ISBN  158488388X. Получено 3 июн 2015.
  6. ^ Zanella, A .; Chiani, M .; Win, M.Z. (Апрель 2009 г.). «О маргинальном распределении собственных значений матриц Уишарта» (PDF). Транзакции IEEE по коммуникациям. 57 (4): 1050–1060. Дои:10.1109 / TCOMM.2009.04.070143.
  7. ^ Мюрхед, Робб Дж. (2005). Аспекты многомерной статистической теории (2-е изд.). Wiley Interscience. ISBN  0471769851.
  8. ^ а б Андерсон, Т. (2003). Введение в многомерный статистический анализ (3-е изд.). Хобокен, Н. Дж .: Wiley Interscience. п. 259. ISBN  0-471-36091-0.
  9. ^ Улиг, Х. (1994). "О сингулярном распределении Уишарта и сингулярном многомерном бета-распределении". Анналы статистики. 22: 395–405. Дои:10.1214 / aos / 1176325375.
  10. ^ а б c d Бишоп, К. М. (2006). Распознавание образов и машинное обучение. Springer.
  11. ^ а б Рао, К. Р. (1965). Линейный статистический вывод и его приложения. Вайли. п. 535.
  12. ^ Себер, Джордж А. Ф. (2004). Многовариантные наблюдения. Wiley. ISBN  978-0471691211.
  13. ^ Chatfield, C .; Коллинз, А. Дж. (1980). Введение в многомерный анализ. Лондон: Чепмен и Холл. стр.103–108. ISBN  0-412-16030-7.
  14. ^ Андерсон, Т. (2003). Введение в многомерный статистический анализ (3-е изд.). Хобокен, Н. Дж .: Wiley Interscience. п. 257. ISBN  0-471-36091-0.
  15. ^ Smith, W. B .; Хокинг, Р. Р. (1972). «Алгоритм AS 53: Генератор переменной Уишарта». Журнал Королевского статистического общества, серия C. 21 (3): 341–345. JSTOR  2346290.
  16. ^ Пирсон, Карл; Джеффри, Дж. Б.; Элдертон, Этель М. (Декабрь 1929 г.). «О распределении момент-коэффициента первого продукта в выборках, взятых из бесконечно большой нормальной популяции». Биометрика. Biometrika Trust. 21: 164–201. Дои:10.2307/2332556. JSTOR  2332556.
  17. ^ Крейг, Сесил С. (1936). «О частотной функции xy». Анна. Математика. Статист. 7: 1–15. Дои:10.1214 / aoms / 1177732541.
  18. ^ Педдада и Ричардс, Шьямал Дас; Ричардс, Дональд Сент-П. (1991). "Доказательство гипотезы М. Л. Итона о характеристической функции распределения Уишарта",. Анналы вероятности. 19 (2): 868–874. Дои:10.1214 / aop / 1176990455.
  19. ^ Гиндикин, С.Г. (1975). «Инвариантные обобщенные функции в однородных областях». Функц. Анальный. Appl. 9 (1): 50–52. Дои:10.1007 / BF01078179.
  20. ^ Двайер, Пол С. (1967). «Некоторые приложения матричных производных в многомерном анализе». J. Amer. Статист. Доц. 62 (318): 607–625. JSTOR  2283988.

внешние ссылки