Передача энтропии - Transfer entropy - Wikipedia

Передача энтропии это непараметрическая статистика измерение величины направленной (несимметричной по времени) передачи Информация между двумя случайные процессы.^[1][2][3] Перенос энтропии из процесса Икс к другому процессу Y уменьшается количество неопределенности в будущих значениях Y зная прошлые значения Икс учитывая прошлые ценности Y. В частности, если ${\displaystyle X_{t}}$ и ${\displaystyle Y_{t}}$ за ${\displaystyle t\in \mathbb {N} }$ обозначают два случайных процесса, а количество информации измеряется с помощью Энтропия Шеннона, энтропия переноса может быть записана как:

${\displaystyle T_{X\rightarrow Y}=H\left(Y_{t}\mid Y_{t-1:t-L}\right)-H\left(Y_{t}\mid Y_{t-1:t-L},X_{t-1:t-L}\right),}$

куда ЧАС(Икс) - энтропия Шеннона Икс. Приведенное выше определение энтропии переноса было расширено другими типами энтропия такие меры, как Энтропия Реньи.^[3][4]

Энтропия передачи условная взаимная информация,^[5][6] с историей изменяемой переменной ${\displaystyle Y_{t-1:t-L}}$ в состоянии:

${\displaystyle T_{X\rightarrow Y}=I(Y_{t};X_{t-1:t-L}\mid Y_{t-1:t-L}).}$

Энтропия переноса уменьшается до Причинность Грейнджера за векторные авторегрессивные процессы.^[7] Следовательно, это выгодно, когда модельное предположение о причинности Грейнджера не выполняется, например, анализ нелинейные сигналы.^[8][9] Однако для точной оценки обычно требуется больше образцов.^[10]Вероятности в формуле энтропии можно оценить, используя различные подходы (бининг, ближайшие соседи) или, чтобы уменьшить сложность, используя неоднородное вложение.^[11]Хотя изначально он был определен для двумерный анализ, энтропия переноса расширена до многомерный формы, либо обусловленные другими потенциальными исходными переменными^[12] или с учетом передачи из коллекции источников,^[13] хотя для этих форм снова требуется больше образцов.

Энтропия переноса была использована для оценки функциональная связь из нейроны^[13][14][15] и влияние общества в социальные сети.^[8]Энтропия переноса - это конечная версия Направленная информация который был определен в 1990 г. Джеймс Мэсси ^[16] в качестве ${\displaystyle I(X^{n}\to Y^{n})=\sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})}$, куда ${\displaystyle X^{n}}$ обозначает вектор ${\displaystyle X_{1},X_{2},...,X_{n}}$ и ${\displaystyle Y^{n}}$ обозначает ${\displaystyle Y_{1},Y_{2},...,Y_{n}}$. В направленная информация играет важную роль в характеристике фундаментальных пределов (пропускная способность канала ) каналов связи с обратной связью или без ^{[17] [18]} и играть в азартные игры с причинно-следственной информацией,^[19]

Смотрите также

• Условная взаимная информация
• Причинно-следственная связь
• Причинность (физика)
• Структурное моделирование уравнение
• Причинно-следственная модель Рубина
• Взаимная информация

Рекомендации

1. Шрайбер, Томас (1 июля 2000 г.). «Передача измерительной информации». Письма с физическими проверками. 85 (2): 461–464. arXiv:nlin / 0001042. Bibcode:2000ПхРвЛ..85..461С. Дои:10.1103 / PhysRevLett.85.461. PMID  10991308.
2. Сет, Анил (2007). "Причинная связь Грейнджера". Scholarpedia. 2. п. 1667. Bibcode:2007SchpJ ... 2.1667S. Дои:10.4249 / scholarpedia.1667.
3. Главачкова-Шиндлер, Катерина; Palus, M; Веймелька, М; Бхаттачарья, Дж. (1 марта 2007 г.). «Обнаружение причинно-следственной связи на основе теоретико-информационных подходов в анализе временных рядов». Отчеты по физике. 441 (1): 1–46. Bibcode:2007ФР ... 441 .... 1Ч. CiteSeerX  10.1.1.183.1617. Дои:10.1016 / j.physrep.2006.12.004.
4. Джизба, Петр; Кляйнерт, Хаген; Шефаат, Мохаммад (15 мая 2012 г.). «Передача информации Реньи между финансовыми временными рядами». Physica A: Статистическая механика и ее приложения. 391 (10): 2971–2989. arXiv:1106.5913. Bibcode:2012PhyA..391.2971J. Дои:10.1016 / j.physa.2011.12.064. ISSN  0378-4371.
5. Винер, А. Д. (1978). «Определение условной взаимной информации для произвольных ансамблей». Информация и контроль. 38 (1): 51–59. Дои:10.1016 / с0019-9958 (78) 90026-8.
6. Добрушин, Р. Л. (1959). «Общая формулировка основной теоремы Шеннона в теории информации». Успехи матем. Наук. 14: 3–104.
7. Барнетт, Лайонел (1 декабря 2009 г.). «Причинность Грейнджера и переносная энтропия эквивалентны для гауссовских переменных». Письма с физическими проверками. 103 (23): 238701. arXiv:0910.4514. Bibcode:2009PhRvL.103w8701B. Дои:10.1103 / PhysRevLett.103.238701. PMID  20366183.
8. Вер Стиг, Грег; Галстян, Арам (2012). «Передача информации в социальных сетях». Материалы 21-й международной конференции по всемирной паутине (WWW '12). ACM. С. 509–518. arXiv:1110.2724. Bibcode:2011arXiv1110.2724V.
9. Lungarella, M .; Исигуро, К .; Kuniyoshi, Y .; Оцу, Н. (1 марта 2007 г.). «Методы количественной оценки причинной структуры двумерных временных рядов». Международный журнал бифуркаций и хаоса. 17 (3): 903–921. Bibcode:2007IJBC ... 17..903л. CiteSeerX  10.1.1.67.3585. Дои:10.1142 / S0218127407017628.
10. Переда, Э; Кирога, RQ; Бхаттачарья, Дж. (Сентябрь – октябрь 2005 г.). «Нелинейный многомерный анализ нейрофизиологических сигналов». Прогресс в нейробиологии. 77 (1–2): 1–37. arXiv:nlin / 0510077. Bibcode:2005нлин ..... 10077П. Дои:10.1016 / j.pneurobio.2005.10.003. PMID  16289760.
11. Монтальто, А; Faes, L; Маринаццо, Д. (октябрь 2014 г.). "MuTE: набор инструментов MATLAB для сравнения существующих и новых оценок многомерной энтропии переноса". PLOS ONE. 9 (10): e109462. Bibcode:2014PLoSO ... 9j9462M. Дои:10.1371 / journal.pone.0109462. ЧВК  4196918. PMID  25314003.
12. Лизье, Жозеф; Прокопенко Михаил; Зомая, Альберт (2008). «Локальная передача информации как пространственно-временной фильтр для сложных систем». Физический обзор E. 77 (2): 026110. arXiv:0809.3275. Bibcode:2008PhRvE..77b6110L. Дои:10.1103 / PhysRevE.77.026110. PMID  18352093.
13. Лизье, Жозеф; Хайнцле, Якоб; Хорстманн, Аннетт; Хейнс, Джон-Дилан; Прокопенко, Михаил (2011). «Многофакторные теоретико-информационные меры выявляют направленную информационную структуру и актуальные изменения в связности фМРТ». Журнал вычислительной неврологии. 30 (1): 85–107. Дои:10.1007 / s10827-010-0271-2. PMID  20799057.
14. Висенте, Рауль; Вибрал, Майкл; Линднер, Майкл; Пипа, Гордон (февраль 2011 г.). «Передача энтропии - безмодельная мера эффективного взаимодействия для нейробиологии». Журнал вычислительной неврологии. 30 (1): 45–67. Дои:10.1007 / s10827-010-0262-3. ЧВК  3040354. PMID  20706781.
15. Шимоно, Масанори; Беггс, Джон (октябрь 2014 г.). «Функциональные кластеры, узлы и сообщества в кортикальном микроконнектоме». Кора головного мозга. 25 (10): 3743–57. Дои:10.1093 / cercor / bhu252. ЧВК  4585513. PMID  25336598.
16. Мэсси, Джеймс (1990). «Причинно-следственная связь, обратная связь и направленная информация» (ISITA). CiteSeerX  10.1.1.36.5688.
17. Пермутер, Хаим Генри; Вайсман, Цачи; Голдсмит, Андреа Дж. (Февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». IEEE Transactions по теории информации. 55 (2): 644–662. arXiv:cs / 0608070. Дои:10.1109 / TIT.2008.2009849.
18. Крамер, Г. (январь 2003 г.). «Результаты емкости для дискретной сети без памяти». IEEE Transactions по теории информации. 49 (1): 4–21. Дои:10.1109 / TIT.2002.806135.
19. Permuter, Haim H .; Ким, Ён-Хан; Вайсман, Цачи (июнь 2011 г.). «Интерпретации направленной информации в теории портфеля, сжатии данных и проверке гипотез». IEEE Transactions по теории информации. 57 (6): 3248–3259. arXiv:0912.4872. Дои:10.1109 / TIT.2011.2136270.

внешняя ссылка

• «Панель инструментов передачи энтропии». Код Google., набор инструментов, разработанный в C ++ и MATLAB, для вычисления энтропии переноса между цепочками импульсов.
• "Набор инструментов динамики информации Java (JIDT)". GitHub. 2019-01-16., набор инструментов, разработанный в Ява и можно использовать в MATLAB, GNU Octave и Python, для вычисления энтропии переноса и связанных теоретико-информационных мер как в дискретных, так и в непрерывных данных.
• «Набор инструментов для многомерной энтропии переноса (MuTE)». GitHub. 2019-01-09., набор инструментов, разработанный в MATLAB, для вычисления энтропии переноса с разными оценками.