Нижняя граница доказательств - Evidence lower bound - Wikipedia

В статистике нижняя граница доказательств (ELBO, также вариационная нижняя граница или же отрицательная вариационная свободная энергия) - количество, оптимизированное в Вариационные байесовские методы. Эти методы обрабатывают случаи, когда распределение ${\displaystyle Q}$ по ненаблюдаемым переменным ${\displaystyle \mathbf {Z} }$ оптимизирован как приближение к истинному задний ${\displaystyle P(\mathbf {Z} |\mathbf {X} )}$, учитывая данные наблюдений ${\displaystyle \mathbf {X} }$. Затем нижняя граница доказательств определяется как:^[1]

${\displaystyle L(X)=H(Q;P(X,Z))-H(Q)=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\log P(\mathbf {Z} ,\mathbf {X} )-\sum _{\mathbf {Z} }Q(\mathbf {Z} )\log Q(\mathbf {Z} )}$

куда ${\displaystyle H(Q;P(X,Z))}$ является кросс-энтропия. Максимизация нижней границы доказательств минимизирует ${\displaystyle D_{\mathrm {KL} }(Q\parallel P)}$, то Дивергенция Кульбака – Лейблера, мера несходства ${\displaystyle Q}$ от истинного заднего. Основная причина, по которой эта величина является предпочтительной для оптимизации, заключается в том, что ее можно вычислить без доступа к апостериорной оценке, если имеется хороший выбор ${\displaystyle Q}$.

Для оптимизации других показателей несхожести ${\displaystyle Q}$ видеть Дивергенция (статистика).^[2]

Обоснование как нижняя граница доказательств

Нижняя граница свидетельства имени обоснована путем анализа декомпозиции KL-дивергенции между истинным апостериорным и ${\displaystyle Q}$:^[3]

${\displaystyle {\begin{aligned}D_{\mathrm {KL} }(Q\parallel P(Z|X))&=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log {\frac {Q(\mathbf {Z} )P(\mathbf {X} )}{P(\mathbf {Z} ,\mathbf {X} )}}\right]\\D_{\mathrm {KL} }(Q\parallel P)&=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log {\frac {Q(\mathbf {Z} )}{P(\mathbf {Z} ,\mathbf {X} )}}+\log P(\mathbf {X} )\right]\\D_{\mathrm {KL} }(Q\parallel P)&=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\log Q(\mathbf {Z} )-\sum _{\mathbf {Z} }Q(\mathbf {Z} )\log P(\mathbf {Z} ,\mathbf {X} )+\log P(\mathbf {X} )\\\log P(\mathbf {X} )-D_{\mathrm {KL} }(Q\parallel P)&=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\log P(\mathbf {Z} ,\mathbf {X} )-\sum _{\mathbf {Z} }Q(\mathbf {Z} )\log Q(\mathbf {Z} )=L(X)\end{aligned}}}$

В качестве ${\displaystyle D_{\mathrm {KL} }(Q\parallel P)\geq 0}$ это уравнение показывает, что нижняя граница свидетельства действительно является нижней границей логарифмического свидетельства ${\displaystyle \log P(\mathbf {X} )}$ для рассматриваемой модели. В качестве ${\displaystyle \log P(\mathbf {X} )}$ не зависит от ${\displaystyle Q}$ это уравнение дополнительно показывает, что максимизация доказательной нижней границы справа минимизирует ${\displaystyle D_{\mathrm {KL} }(Q\parallel P)}$, как заявлено выше.

Рекомендации

1. Ян, Ситун. «Понимание вариационной нижней границы» (PDF). Институт перспективных компьютерных исследований. Университет Мэриленда. Получено 20 марта 2018.
2. Минка, Томас (2005), Меры дивергенции и передача сообщений. (PDF)
3. Епископ, Кристофер М. (2006), «10.1 Вариационный вывод» (PDF), Распознавание образов и машинное обучение