Двойная полная корреляция - Dual total correlation - Wikipedia

В теория информации, двойная полная корреляция (Хан 1978), скорость передачи информации (Дубнов 2006), избыточная энтропия (Olbrich 2008), или обязательная информация (Abdallah and Plumbley 2010) - одно из нескольких известных неотрицательных обобщений взаимная информация. Пока полная корреляция ограничена суммой энтропий п элементов двойственная полная корреляция ограничена совместной энтропией п элементы. Несмотря на хорошее поведение, двойной полной корреляции уделяется гораздо меньше внимания, чем полной корреляции. Мера, известная как «TSE-сложность», определяет континуум между полной корреляцией и двойной полной корреляцией (Ay 2001).

Определение

Диаграмма Венна теоретико-информационных мер для трех переменных x, y и z. Двойная полная корреляция представлена ​​объединением трех взаимных данных и показана на диаграмме желтой, пурпурной, голубой и серой областями.

Для набора п случайные переменные ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$двойная полная корреляция ${\displaystyle D(X_{1},\ldots ,X_{n})}$ дан кем-то

${\displaystyle D(X_{1},\ldots ,X_{n})=H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\right),}$

куда ${\displaystyle H(X_{1},\ldots ,X_{n})}$ это совместная энтропия набора переменных ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ и ${\displaystyle H(X_{i}\mid \cdots )}$ это условная энтропия переменной ${\displaystyle X_{i}}$, учитывая остальное.

Нормализованный

Двойная общая корреляция, нормализованная между [0,1], представляет собой просто двойную общую корреляцию, деленную на ее максимальное значение. ${\displaystyle H(X_{1},\ldots ,X_{n})}$,

${\displaystyle ND(X_{1},\ldots ,X_{n})={\frac {D(X_{1},\ldots ,X_{n})}{H(X_{1},\ldots ,X_{n})}}.}$

Границы

Двойная полная корреляция неотрицательна и ограничена сверху совместной энтропией ${\displaystyle H(X_{1},\ldots ,X_{n})}$.

${\displaystyle 0\leq D(X_{1},\ldots ,X_{n})\leq H(X_{1},\ldots ,X_{n}).}$

Во-вторых, двойная полная корреляция тесно связана с полной корреляцией, ${\displaystyle C(X_{1},\ldots ,X_{n})}$. Особенно,

${\displaystyle {\frac {C(X_{1},\ldots ,X_{n})}{n-1}}\leq D(X_{1},\ldots ,X_{n})\leq (n-1)\;C(X_{1},\ldots ,X_{n}).}$

Отношение к другим величинам

В теоретическая мера термины, по определению двойной полной корреляции:

${\displaystyle D(X_{1},\ldots ,X_{n})=\mu \left(\bigcup _{i}{\tilde {X}}_{i}\setminus \left(\bigcup _{j}{\tilde {X}}_{j}\setminus \bigcup _{k\neq j}{\tilde {X}}_{k})\right)\right)}$

что равно объединению попарных взаимных сведений:

${\displaystyle D(X_{1},\ldots ,X_{n})=\mu \left(\bigcup _{i}\bigcup _{j\neq i}\left({\tilde {X}}_{i}\cap {\tilde {X}}_{j}\right)\right)}$

История

Хан (1978) первоначально определил двойную полную корреляцию как

${\displaystyle {\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]-(n-1)\;H(X_{1},\ldots ,X_{n})\;.\end{aligned}}}$

Однако Абдалла и Пламбли (2010) продемонстрировали его эквивалентность более простой для понимания форме совместной энтропии за вычетом суммы условных энтропий посредством следующего:

${\displaystyle {\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]-(n-1)\;H(X_{1},\ldots ,X_{n})\\={}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]+(1-n)\;H(X_{1},\ldots ,X_{n})\\={}&H(X_{1},\ldots ,X_{n})+\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})-H(X_{1},\ldots ,X_{n})\right]\\={}&H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\right)\;.\end{aligned}}}$

Смотрите также

• Взаимная информация
• Общая корреляция

Рекомендации

• Хан Т. С. (1978). Неотрицательные энтропийные меры многомерных симметричных корреляций, Информация и контроль 36, 133–156.
• Фудзишигэ Сатору (1978). Полиматроидная структура зависимости набора случайных величин, Информация и контроль 39, 55–72. Дои:10.1016 / S0019-9958 (78) 91063-X.
• Дубнов С. (2006). Призрачные ожидания, Компьютерный музыкальный журнал, 30(2):63–83.
• Ольбрих, Э., Бертчингер, Н., Эй, Н. и Йост, Дж. (2008). Как сложность должна масштабироваться с размером системы ?, The European Physical Journal B - Конденсированные вещества и сложные системы. Дои:10.1140 / epjb / e2008-00134-9.
• Абдалла С. А. и Пламбли М. Д. (2010). Мера статистической сложности, основанная на прогнозной информации, Электронные отпечатки ArXiv. arXiv:1012.1890v1.
• Нихат Ай, Э. Ольбрих, Н. Берчингер (2001). Объединяющая основа для мер сложности конечных систем. Европейская конференция по сложным системам. pdf.