Связка лозы - Vine copula

А лоза это графический инструмент для обозначения ограничений в многомерных распределения вероятностей. Обычная виноградная лоза - это особый случай, когда все ограничения двумерны или условно двумерны. Обычные виноградные лозы являются обобщением деревьев и сами являются специализациями Кантор дерево[1].

В сочетании с двумерным связки, обычные виноградные лозы оказались гибким инструментом в моделировании многомерных зависимостей. Копулы[2][3]многомерные распределения с однородными одномерными границами. Представление совместного распределения в виде одномерных полей плюс копул позволяет отделить проблемы оценки одномерных распределений от проблем оценки зависимости. Это удобно, поскольку во многих случаях одномерные распределения можно адекватно оценить на основе данных, в то время как информация о зависимости известна приблизительно, включая сводные показатели и суждения.[4][5]Хотя количество параметрических многомерных семейств связок с гибкой зависимостью ограничено, существует множество параметрических семейств двумерных связок. Обычные лозы своей растущей популярностью обязаны тому факту, что они опираются на двумерные связки и позволяют расширяться до произвольных размеров. Теория отбора проб и теория оценки для обычных лоз хорошо развиты.[6][7]и вывод модели покинул пост[8][9][7]. Обычные виноградные лозы оказались полезными для решения других задач, таких как (ограниченная) выборка корреляционных матриц,[10][11] строительство непараметрических непрерывных Байесовские сети.[12][13]

Например, в финансах было показано, что связки виноградной лозы эффективно моделируют хвостовой риск в приложениях для оптимизации портфеля.[14]

Историческое происхождение

Первый регулярный виноград, avant la lettre, был представлен Гарри Джо.[15]Мотив состоял в том, чтобы расширить параметрические двумерные семейства копул экстремальных значений до более высоких измерений. С этой целью он представил то, что позже назовут D-лоза. Джо [16]интересовался классом n-мерных распределений с заданными одномерными запасами, и п(п - 1) параметры зависимости, при этом п - 1 параметр соответствует двумерным полям, а остальные - условным двумерным полям. В случае многомерных нормальных распределений параметры будут п - 1 корреляции и (п − 1)(п − 2)/2 частичные корреляции, которые были отмечены как алгебраически независимые в (−1, 1).

Совершенно иная мотивация лежала в основе первого формального определения виноградной лозы у Кука.[17]Анализ неопределенности моделей большого риска, например, проведенный для Европейского Союза и Комиссии по ядерному регулированию США в отношении аварий на атомных электростанциях, включает количественную оценку и распространение неопределенности по сотням переменных.[18][19][20]Информация о зависимости для таких исследований была получена с помощью Марковские деревья,[21]которые представляют собой деревья, построенные с узлами как одномерные случайные величины и ребрами как двумерные связки. За п переменных, есть не более п - 1 ребро, для которого можно указать зависимость. Новые методы в то время включали получение распределений неопределенностей по параметрам моделирования путем выявления неопределенностей экспертов по другим переменным, которые предсказываются моделями. Эти распределения неопределенности возвращаются к параметрам модели с помощью процесса, известного как вероятностная инверсия.[8][18]Полученные распределения часто отображали структуру зависимости, которую нельзя было зафиксировать в виде дерева Маркова.

Графические модели называется лозы были введены в[1][8][17] Важной особенностью виноградных лоз является то, что они могут добавлять условные зависимости между переменными поверх дерева Маркова, что, как правило, слишком скупо, чтобы суммировать зависимость между переменными.

Обычные лозы (R-лозы)

C-Vine от 4 переменных
D-Vine от 4 переменных
R-Vine на 5 переменных

Лоза V на п переменные - это вложенный набор связанных деревьев, где ребра первого дерева являются узлами второго дерева, ребра второго дерева - узлами третьего дерева и т. д. обычная лоза или же R-лоза на п переменные - это виноградная лоза, у которой два ребра дерева j соединены ребром в дереве j + 1, только если эти ребра имеют общий узел, j = 1, …, п - 2. Узлы в первом дереве являются одномерными случайными величинами. Ребра - это ограничения или условные ограничения, поясняемые следующим образом.

Напомним, что ребро в дереве - это неупорядоченный набор из двух узлов. Каждое ребро виноградной лозы связано с набор ограничений, являющийся набором переменных (узлов в первом дереве), достижимых заданным отношением принадлежности. Для каждого ребра набор ограничений представляет собой объединение наборов ограничений двух элементов ребра, называемых его наборами ограничений компонентов (для ребра в первом дереве наборы ограничений компонентов пусты). Ограничение, связанное с каждым ребром, теперь представляет собой симметричную разность его наборов ограничений компонентов, обусловленную пересечением его наборов ограничений. Можно показать, что для обычной виноградной лозы симметричная разность наборов ограничений компонентов всегда является дуплетом и что каждая пара переменных встречается ровно один раз как ограниченные переменные. Другими словами, все ограничения являются двумерными или условно-двумерными.

Степень узла - это количество ребер, прикрепленных к нему. Самые простые регулярные лозы имеют самую простую градусную структуру; D-Vine присваивает каждому узлу степень 1 или 2, C-Vine назначает максимальную степень одному узлу в каждом дереве. Для больших лоз понятнее рисовать каждое дерево отдельно.

Количество обычных лоз на п переменные быстро растут в п: есть 2п−3 способы расширения обычной виноградной лозы с помощью одной дополнительной переменной, и есть п(п − 1)(п − 2)!2(п − 2)(п − 3)/2/ 2 маркированных обычных лозы на п переменные[22].[23]

Ограничения на обычную лозу могут быть связаны с частичные корреляции или с условная двумерная связка. В первом случае мы говорим о частичная корреляционная лоза, а в последнем случае связка лозы.

Частичная корреляция лоз

Бедфорд и Кук [1] показывают, что любое присвоение значений в открытом интервале (−1, 1) ребрам в любой частичной корреляционной лозе является согласованным, присвоения алгебраически независимы, и существует взаимно однозначное отношение между всеми такими присвоениями и множеством корреляционных матриц. Другими словами, частичные корреляционные лозы обеспечивают алгебраически независимую параметризацию набора корреляционных матриц, члены которых имеют интуитивную интерпретацию. Более того, определитель корреляционной матрицы - это произведение по краям (1 - ρ2ik;D(ik)) куда ρik;D(ik) - частичная корреляция, присвоенная ребру с условными переменными я,k и кондиционирующие переменные D(ik). Подобное разложение характеризует взаимная информация, обобщающий определитель корреляционной матрицы.[17] Эти функции использовались в ограниченной выборке корреляционных матриц,[10] построение непараметрических непрерывных байесовских сетей [12][13] и решение проблемы расширения частично заданных матриц до положительно определенных матриц[24].[25]

Связки лозы или парно-связочная конструкция

При подходящих условиях дифференцируемости любая многомерная плотность ж1…п на п переменные, с одномерными плотностями ж1,…,жп, может быть представлен в замкнутой форме как произведение одномерных плотностей и (условных) плотностей копул на любой R-лозе V

[26]

ж1 ... п = f1... жп Πe∈E (V) Cе1, е2| Dе (Fе1| Dе , Fе2| Dе )

где края е = (е1, е2) с комплектом кондиционера Dе находятся в крайнем наборе E (V) любой обычной лозы V. Условные плотности связки Cе1, е2| Dе в этом представлении зависят от кумулятивных функций условного распределения условных переменных, Fе1| Dе , Fе2| Dе, и, возможно, на значениях условных переменных. Когда условные связки не зависят от значений обусловливающих переменных, говорят о упрощающее предположение постоянных условных связок. Хотя большинство приложений используют это предположение, исследование свободы моделирования, полученной в результате выполнения этого предположения, началось.[27][28].[29] Когда двумерные гауссовы связки назначаются краям виноградной лозы, то результирующая многомерная плотность является гауссовой плотностью, параметризованной частичной корреляционной виноградной лозой, а не корреляционной матрицей.

Конструкция пара-связки виноградной лозы, основанная на последовательном смешивании условных распределений, была адаптирована к дискретным переменным и смешанному дискретному / непрерывному отклику.[30].[31] Также были предложены факторные связки, в которых к лозе были добавлены скрытые переменные (например, [32]).

Исследователи виноградных лоз разработали алгоритмы для оценки максимального правдоподобия и моделирования связок лоз, поиска усеченных лоз, суммирующих зависимости в данных, подсчета по лозам и т. Д. Моделирование зависимости с копулами[33] суммирует эти алгоритмы в псевдокоде.

Оценка параметров

Для параметрических связок виноградной лозы с двумерным семейством связок на каждом краю виноградной лозы доступны алгоритмы и программное обеспечение для оценки параметров связки с максимальной вероятностью при условии, что данные были преобразованы в однородные баллы после подбора одномерных полей. Также существуют доступные алгоритмы (например, [34]) для выбора хороших усеченных регулярных лоз, где края высокоуровневых деревьев принимаются за условную независимость. Эти алгоритмы присваивают переменные с сильной зависимостью или сильной условной зависимостью деревьям низкого порядка, чтобы деревья более высокого порядка имели слабую условную зависимость или условную независимость. Следовательно, экономные усеченные лозы получаются по большому количеству переменных. Доступно программное обеспечение с пользовательским интерфейсом на R (например, [35]).

Выборка и условность

Порядок отбора проб для п переменные - это последовательность условных плотностей, в которой первая плотность безусловна, а плотности для других переменных обусловлены предыдущими переменными в порядке. Порядок отбора проб подразумевается регулярной лозой представление плотности, если каждая условная плотность может быть записана как произведение плотностей связки в лозе и одномерных краях.[23]

Подразумеваемый порядок выборки генерируется вложенной последовательностью вложенных веток, где каждая вложенная ветка в последовательности содержит одну новую переменную, отсутствующую в предыдущей вложенной ветке. Для любой обычной лозы на п переменные есть 2п-1 подразумеваемые заказы на выборку. Подразумеваемые порядки выборки - это небольшое подмножество всех п! заказы, но они значительно облегчают выборку. Приведение регулярной виноградной лозы к значениям произвольного подмножества переменных - сложная операция. Однако условное обозначение исходной последовательности подразумеваемого порядка выборки тривиально, достаточно просто вставить исходные условные значения и продолжить выборку. В настоящее время не существует общей теории обусловленности.

дальнейшее чтение

  • Kurowicka, D .; Джо, Х., ред. (2010). Моделирование зависимости: Справочник по копуле виноградной лозы. Сингапур: World Scientific. С. 43–84. ISBN  978-981-4299-87-9.

внешняя ссылка

Рекомендации

  1. ^ а б c Бедфорд, Т.Дж .; Кук, Р. (2002). «Виноградные лозы - новая графическая модель зависимых случайных величин». Анналы статистики. 30 (4): 1031–1068. CiteSeerX  10.1.1.26.8965. Дои:10.1214 / aos / 1031689016.
  2. ^ Джо, Х. (1997). Многомерные модели и концепции зависимости. Лондон: Чепмен и Холл.
  3. ^ Нельсен, Р. Б. (2006). Введение в копулы, 2-е изд.. Нью-Йорк: Спрингер.
  4. ^ Kraan, B.C.P .; Кук, Р. (2000). «Обработка экспертных заключений при моделировании последствий аварий». Дозиметрия радиационной защиты. 90 (3): 311–315. Дои:10.1093 / oxfordjournals.rpd.a033153.
  5. ^ Ale, B.J.M .; Bellamy, L.J .; van der Boom, R .; Купер, Дж .; Cooke, R.M .; Goossens, L.H.J .; Hale, A.R .; Kurowicka, D .; Morales, O .; Roelen, A.L.C .; Спуг, Дж. (2009). «Дальнейшее развитие причинно-следственной модели безопасности воздушного транспорта (CATS): создание математического сердца». Журнал по проектированию надежности и безопасности систем. 94 (9): 1433–1441. Дои:10.1016 / j.ress.2009.02.024.
  6. ^ Kurowicka, D .; Кук, Р. (2007). «Алгоритмы выборки для генерации совместных равномерных распределений с использованием метода виноградной связки». Вычислительная статистика и анализ данных. 51 (6): 2889–2906. Дои:10.1016 / j.csda.2006.11.043.
  7. ^ а б Aas, K .; Чадо, К.; Frigessi, A .; Баккен, Х. (2009). «Парно-связочные конструкции множественной зависимости». Страхование: математика и экономика. 44 (2): 182–198. CiteSeerX  10.1.1.61.3984. Дои:10.1016 / j.insmatheco.2007.02.001.
  8. ^ а б c Kurowicka, D .; Кук, Р. (2006). Анализ неопределенности с помощью моделирования многомерной зависимости. Вайли.
  9. ^ Kurowicka, D .; Cooke, R.M .; Каллис, У. (2007). «Вывод лозы». Бразильский журнал вероятностей и статистики.
  10. ^ а б Левандовски, Д .; Kurowicka, D .; Джо, Х. (2009). «Создание матриц случайной корреляции на основе метода лоз и расширенного лука». Журнал многомерного анализа. 100 (9): 1989–2001. Дои:10.1016 / j.jmva.2009.04.008.
  11. ^ Куровицка Д. (2014). «Создание матриц случайной корреляции на основе метода лоз и расширенного лука». Совместная плотность корреляций в корреляционной матрице с паттернами разреженности хорд.. 129 (C): 160–170. Дои:10.1016 / j.jmva.2014.04.006.
  12. ^ а б Ханея, А. (2008). Алгоритмы для непараметрических байесовских сетей доверия (Кандидат наук.). Делфтский институт прикладной математики, Делфтский технологический университет.
  13. ^ а б Hanea, A.M .; Kurowicka, D .; Cooke, R.M .; Абабей, Д.А. (2010). «Анализ и визуализация порядковых данных с помощью непараметрических непрерывных BBN». Вычислительная статистика и анализ данных. 54 (3): 668–687. Дои:10.1016 / j.csda.2008.09.032.
  14. ^ Low, R.K.Y .; Alcock, J .; Faff, R .; Брейлсфорд, Т. (2013). «Канонические связки виноградной лозы в контексте современного управления портфелем: стоят ли они того?». Журнал банковского дела и финансов. 37 (8): 3085–3099. Дои:10.1016 / j.jbankfin.2013.02.036.
  15. ^ Джо, Х. (1994). «Многомерные распределения экстремальных значений с приложениями к экологическим данным». Канадский статистический журнал. 22 (1): 47–64. Дои:10.2307/3315822. JSTOR  3315822.
  16. ^ Джо, Х. (1996), "Семейства m-переменных распределений с заданными полями и параметрами двумерной зависимости m (m-1) / 2", в Rüschendorf, L .; Schweizer, B .; Тейлор, доктор медицины (ред.), Дистрибутивы с фиксированными маржиналами и связанные темы, 28, стр. 120–141
  17. ^ а б c Кук, Р. (1997). «Марковские и энтропийные свойства переменных, зависящих от деревьев и лиан». Proc. Секция байесовской статистической науки ASA.
  18. ^ а б Goossens, L.H.J .; Harper, F.T .; Kraan, B.C.P .; Метивье, Х. (2000). «Экспертное заключение для вероятностного анализа неопределенности последствий аварии». Дозиметрия радиационной защиты. 90 (3): 295–301. Дои:10.1093 / oxfordjournals.rpd.a033151.
  19. ^ Харпер, Ф .; Goossens, L.H.J .; Cooke, R.M .; Hora, S .; Янг, М .; Pasler-Ssauer, J .; Miller, L .; Kraan, B.C.P .; Луи, С .; McKay, M .; Helton, J .; Джонс, А. (1994), Совместное исследование неопределенности последствий USNRC CEC: краткое изложение целей, подхода, применения и результатов оценки неопределенности дисперсии и осаждения, III, NUREG / CR-6244, 15755 евро EN, SAND94-1453
  20. ^ Guégan, D .; Хассани, Б.К. (2013), «Многомерные оценки VaR для расчета капитала операционного риска: подход структуры виноградной лозы», Международный журнал оценки и управления рисками, 17 (2): 148–170, CiteSeerX  10.1.1.686.4277, Дои:10.1504 / IJRAM.2013.057104
  21. ^ Уиттакер, Дж. (1990). Графические модели в прикладной многомерной статистике. Чичестер: Вайли.
  22. ^ Morales Napoles, O .; Cooke, R.M .; Куровицка, Д. (2008), Количество лоз и обычных лоз на n узлах, Технический отчет, Делфтский институт прикладной математики, Делфтский технологический университет
  23. ^ а б Cooke, R.M .; Kurowicka, D .; Уилсон, К. (2015). «Выборка, условность, подсчет, объединение, поиск обычных лоз». Журнал многомерного анализа. 138: 4–18. Дои:10.1016 / j.jmva.2015.02.001.
  24. ^ Kurowicka, D .; Кук, Р. (2003). «Параметризация положительно определенных матриц в терминах частичной корреляции лоз». Линейная алгебра и ее приложения. 372: 225–251. Дои:10.1016 / с0024-3795 (03) 00507-х.
  25. ^ Kurowicka, D .; Кук, Р. (2006). «Проблема комплектации с частичной корреляцией лоз». Линейная алгебра и ее приложения. 418 (1): 188–200. Дои:10.1016 / j.laa.2006.01.031.
  26. ^ Beford, T.J .; Кук, Р. (2001). «Плотность вероятности для условно зависимых случайных величин, смоделированных виноградными лозами». Анналы математики и искусственного интеллекта. 32: 245–268. Дои:10.1023 / А: 1016725902970.
  27. ^ Hobaek Haff, I .; Aas, K .; Фригесси, А. (2010). «Об упрощенном построении пары-связки - просто полезно или слишком упрощенно?». Журнал многомерного анализа. 101 (5): 1296–1310. Дои:10.1016 / j.jmva.2009.12.001. HDL:10852/34736.
  28. ^ Acar, E.F .; Genest, C .; Нешлехова, Я. (2012). «За пределами упрощенных парно-связочных конструкций». Журнал многомерного анализа. 110: 74–90. Дои:10.1016 / j.jmva.2012.02.001.
  29. ^ Stoeber, J .; Джо, H .; Чадо, К. (2013). «Упрощенные конструкции парных связок, ограничения и расширения». Журнал многомерного анализа. 119: 101–118. Дои:10.1016 / j.jmva.2013.04.014.
  30. ^ Panagiotelis, A .; Чадо, К.; Джо, Х. (2012). «Регулярные распределения виноградных лоз для дискретных данных». Журнал Американской статистической ассоциации. 105 (499): 1063–1072. Дои:10.1080/01621459.2012.682850.
  31. ^ Stoeber, J .; Hong, H.G .; Чадо, К.; Гош, П. (2015). «Коморбидность хронических заболеваний у пожилых людей: закономерности, выявленные с помощью дизайна связки для смешанных ответов». Вычислительная статистика и анализ данных. 88: 28–39. Дои:10.1016 / j.csda.2015.02.001.
  32. ^ Крупский, П .; Джо, Х. (2013). «Модели факторных копул для многомерных данных». Журнал многомерного анализа. 120: 85–101. Дои:10.1016 / j.jmva.2013.05.001.
  33. ^ Джо, Х. (2014). Моделирование зависимости с копулами. Чепмен Холл. ISBN  978-1-4665-8322-1.
  34. ^ Brechmann, E.C .; Чадо, К.; Аас, К. (2012). «Усеченные обычные лозы в больших размерах с применением финансовых данных». Канадский статистический журнал. 40 (1): 68–85. CiteSeerX  10.1.1.185.2933. Дои:10.1002 / cjs.10141.
  35. ^ Schepsmeier, U .; Stoeber, J .; Brechmann, E.C .; Граелер, Б. (2014). «Связки виноградных лоз: статистический вывод связок виноградных лоз, пакет R версии 1.3».