Теория информации и теория меры - Information theory and measure theory

В этой статье рассказывается, как теория информации (раздел математики, изучающий передачу, обработку и хранение Информация ) относится к теория меры (раздел математики, связанный с интеграция и вероятность ).

Меры в теории информации

Многие концепции теории информации имеют отдельные определения и формулы для непрерывный и дискретный случаи. Например, энтропия ${displaystyle mathrm {H} (X)}$ обычно определяется для дискретных случайных величин, тогда как для непрерывных случайных величин родственное понятие дифференциальная энтропия, написано ${displaystyle h(X)}$, используется (см. Обложка и Томас, 2006, глава 8). Обе эти концепции являются математическими. ожидания, но ожидание определяется с помощью интеграл для непрерывного случая и сумма для дискретного случая.

Эти отдельные определения могут быть более тесно связаны с точки зрения теория меры. Для дискретных случайных величин функции вероятности и массы можно рассматривать как функции плотности по отношению к счетной мере. Думая об интеграле и сумме как об интегрировании в пространстве мер, можно использовать единый подход.

Рассмотрим формулу дифференциальной энтропии непрерывного случайная переменная ${displaystyle X}$ с диапазоном ${displaystyle mathbb {R} }$ и функция плотности вероятности ${displaystyle f(x)}$:

${displaystyle h(X)=-int _{mathbb {R} }f(x)log f(x),dx.}$

Обычно это можно интерпретировать следующим образом. Интеграл Римана – Стилтьеса.:

${displaystyle h(X)=-int _{mathbb {R} }f(x)log f(x),dmu (x),}$

куда ${displaystyle mu }$ это Мера Лебега.

Если вместо этого ${displaystyle X}$ дискретный, с диапазоном ${displaystyle Omega }$ конечное множество, ${displaystyle f}$ - функция массы вероятности на ${displaystyle Omega }$, и ${displaystyle u }$ это счетная мера на ${displaystyle Omega }$, мы можем написать:

${displaystyle mathrm {H} (X)=-sum _{xin Omega }f(x)log f(x)=-int _{Omega }f(x)log f(x),du (x).}$

Интегральное выражение и общая концепция в непрерывном случае идентичны; единственная разница - это используемая мера. В обоих случаях функция плотности вероятности ${displaystyle f}$ это Производная Радона – Никодима из вероятностная мера относительно меры, по которой берется интеграл.

Если ${displaystyle P}$ - вероятностная мера, индуцированная ${displaystyle X}$, то интеграл можно брать и непосредственно по ${displaystyle P}$:

${displaystyle h(X)=-int _{X}log {frac {mathrm {d} P}{mathrm {d} mu }},dP,}$

Если вместо основной меры μ взять другую вероятностную меру ${displaystyle Q}$, мы пришли к Дивергенция Кульбака – Лейблера: позволять ${displaystyle P}$ и ${displaystyle Q}$ - вероятностные меры в одном и том же пространстве. Тогда если ${displaystyle P}$ является абсолютно непрерывный относительно ${displaystyle Q}$, написано ${displaystyle Pll Q,}$ то Производная Радона – Никодима ${displaystyle {frac {mathrm {d} P}{mathrm {d} Q}}}$ существует и расхождение Кульбака – Лейблера может быть выражено в его полной общности:

${displaystyle D_{operatorname {KL} }(P|Q)=int _{operatorname {supp} P}{frac {mathrm {d} P}{mathrm {d} Q}}log {frac {mathrm {d} P}{mathrm {d} Q}},dQ=int _{operatorname {supp} P}log {frac {mathrm {d} P}{mathrm {d} Q}},dP,}$

где интеграл пробегает поддерживать из ${displaystyle P.}$ Обратите внимание, что мы опустили отрицательный знак: расхождение Кульбака – Лейблера всегда неотрицательно из-за Неравенство Гиббса.

Энтропия как «мера»

Диаграмма Венна для различных информационных мер, связанных с коррелированными переменными Икс и Y. Площадь, содержащаяся в обоих кругах, является совместной энтропией ЧАС(Икс,Y). Круг слева (красный и голубой) - это индивидуальная энтропия. ЧАС(Икс), красным - условная энтропия ЧАС(Икс|Y). Круг справа (синий и голубой) - это ЧАС(Y), с синим существом ЧАС(Y|Икс). Голубой - это взаимная информация я(Икс;Y).

Диаграмма Венна теоретико-информационных мер для трех переменных Икс, у, и z. Каждый круг представляет собой человека энтропия: ЧАС(Икс) - нижний левый кружок, ЧАС(у) в правом нижнем углу и ЧАС(z) - верхний круг. Пересечения любых двух кругов представляют собой взаимная информация для двух связанных переменных (например, я(Икс;z) желто-серый). Объединение любых двух кругов - это совместная энтропия для двух связанных переменных (например, ЧАС(Икс,у) все, кроме зеленого). Совместная энтропия ЧАС(Икс,у,z) всех трех переменных является объединением всех трех окружностей. Он разделен на 7 частей, красный, синий и зеленый - это условные энтропии ЧАС(Икс|у,z), ЧАС(у|Икс,z), ЧАС(z|Икс,у) соответственно, желтый, пурпурный и голубой - условная взаимная информация я(Икс;z|у), я(у;z|Икс) и я(Икс;у|z) соответственно, а серый - многомерная взаимная информация я(Икс;у;z). Многовариантная взаимная информация - единственное, что может быть отрицательным.

Есть аналогия между Шеннон основной "меры " из Информация содержание случайных величин и мера над наборами. А именно совместная энтропия, условная энтропия, и взаимная информация можно рассматривать как меру установить союз, установить разницу, и установить пересечение соответственно (Реза, с. 106–108).

Если связать существование абстрактных наборы ${displaystyle { ilde {X}}}$ и ${displaystyle { ilde {Y}}}$ произвольно дискретный случайные переменные Икс и Y, каким-то образом представляя Информация несет Икс и Yсоответственно такие, что:

• ${displaystyle mu ({ ilde {X}}cap { ilde {Y}})=0}$ в любое время Икс и Y безусловно независимый, и
• ${displaystyle { ilde {X}}={ ilde {Y}}}$ в любое время Икс и Y таковы, что одно полностью определяется другим (т. е. биекцией);

куда ${displaystyle mu }$ это подписанная мера над этими наборами, и мы устанавливаем:

${displaystyle {egin{aligned}mathrm {H} (X)&=mu ({ ilde {X}}),mathrm {H} (Y)&=mu ({ ilde {Y}}),mathrm {H} (X,Y)&=mu ({ ilde {X}}cup { ilde {Y}}),mathrm {H} (Xmid Y)&=mu ({ ilde {X}}setminus { ilde {Y}}),operatorname {I} (X;Y)&=mu ({ ilde {X}}cap { ilde {Y}});end{aligned}}}$

мы находим, что Шеннон «мера» информационного содержания удовлетворяет всем постулатам и основным свойствам формального подписанная мера над наборами, как обычно информационная диаграмма. Это позволяет записать сумму двух измерений:

${displaystyle mu (A)+mu (B)=mu (Acup B)+mu (Acap B)}$

и аналог Теорема Байеса (${displaystyle mu (A)+mu (Bsetminus A)=mu (B)+mu (Asetminus B)}$) позволяет записать разность двух тактов:

${displaystyle mu (A)-mu (B)=mu (Asetminus B)-mu (Bsetminus A)}$

Это может быть удобно мнемоническое устройство в некоторых ситуациях, например

${displaystyle {egin{aligned}mathrm {H} (X,Y)&=mathrm {H} (X)+mathrm {H} (Ymid X)&mu ({ ilde {X}}cup { ilde {Y}})&=mu ({ ilde {X}})+mu ({ ilde {Y}}setminus { ilde {X}})operatorname {I} (X;Y)&=mathrm {H} (X)-mathrm {H} (Xmid Y)&mu ({ ilde {X}}cap { ilde {Y}})&=mu ({ ilde {X}})-mu ({ ilde {X}}setminus { ilde {Y}})end{aligned}}}$

Обратите внимание, что меры (математические ожидания логарифма) истинных вероятностей называются «энтропией» и обычно обозначаются буквой ЧАС, в то время как другие показатели часто называют «информацией» или «корреляцией» и обычно обозначаются буквой я. Для простоты обозначений буква я иногда используется для всех мер.

Многомерная взаимная информация

Основная статья: Многомерная взаимная информация

Определенные расширения определений базовых мер информации Шеннона необходимы, чтобы иметь дело с σ-алгебра генерируется наборами, которые будут связаны с тремя или более произвольными случайными величинами. (См. Реза, стр. 106–108 для неформального, но довольно полного обсуждения.) А именно. ${displaystyle mathrm {H} (X,Y,Z,cdots )}$ должно быть определено очевидным образом как энтропия совместного распределения, а многомерное взаимная информация ${displaystyle operatorname {I} (X;Y;Z;cdots )}$ определены подходящим образом, чтобы мы могли установить:

${displaystyle {egin{aligned}mathrm {H} (X,Y,Z,cdots )&=mu ({ ilde {X}}cup { ilde {Y}}cup { ilde {Z}}cup cdots ),operatorname {I} (X;Y;Z;cdots )&=mu ({ ilde {X}}cap { ilde {Y}}cap { ilde {Z}}cap cdots );end{aligned}}}$

чтобы определить (знаковую) меру по всей σ-алгебре. Не существует единого общепринятого определения многовариантной взаимной информации, но то, которое здесь соответствует мере пересечения множеств, принадлежит Фано (1966: стр. 57-59). Определение рекурсивное. В качестве базового случая взаимная информация одной случайной величины определяется как ее энтропия: ${displaystyle operatorname {I} (X)=mathrm {H} (X)}$. Тогда для ${displaystyle ngeq 2}$ мы установили

${displaystyle operatorname {I} (X_{1};cdots ;X_{n})=operatorname {I} (X_{1};cdots ;X_{n-1})-operatorname {I} (X_{1};cdots ;X_{n-1}mid X_{n}),}$

где условная взаимная информация определяется как

${displaystyle operatorname {I} (X_{1};cdots ;X_{n-1}mid X_{n})=mathbb {E} _{X_{n}}{ig (}operatorname {I} (X_{1};cdots ;X_{n-1})mid X_{n}{ig )}.}$

Первый шаг в рекурсии дает определение Шеннона ${displaystyle operatorname {I} (X_{1};X_{2})=mathrm {H} (X_{1})-mathrm {H} (X_{1}mid X_{2}).}$ Многомерная взаимная информация (такая же, как информация о взаимодействии но для изменения знака) трех или более случайных величин могут быть как отрицательными, так и положительными: Пусть Икс и Y быть двумя независимыми справедливыми подбрасываниями монеты, и пусть Z быть их Эксклюзивный или. потом ${displaystyle operatorname {I} (X;Y;Z)=-1}$ кусочек.

Для трех и более случайных величин возможны многие другие варианты: например, ${displaystyle operatorname {I} (X,Y;Z)}$ взаимная информация совместного распределения Икс и Y относительно Z, и может интерпретироваться как ${displaystyle mu (({ ilde {X}}cup { ilde {Y}})cap { ilde {Z}}).}$ Таким образом можно построить множество более сложных выражений, которые все еще имеют значение, например ${displaystyle operatorname {I} (X,Y;Zmid W),}$ или же ${displaystyle mathrm {H} (X,Zmid W,Y).}$

Рекомендации

• Томас М. Кавер и Джой А. Томас. Элементы теории информации, второе издание, 2006 г. Нью-Джерси: Wiley and Sons. ISBN  978-0-471-24195-9.
• Фазлолла М. Реза. Введение в теорию информации. Нью-Йорк: Макгроу-Хилл 1961. Нью-Йорк: Довер 1994. ISBN  0-486-68210-2
• Фано, Р. М. (1966), Передача информации: статистическая теория коммуникации, MIT Press, ISBN  978-0-262-56169-3, OCLC  804123877
• R. W. Yeung, "Об энтропии, информационных неравенствах и группах". PS

Смотрите также

• Теория информации
• Теория меры
• Теория множеств