Обобщенная фильтрация - Generalized filtering

Обобщенная фильтрация это общий Байесовская фильтрация схема для нелинейных моделей в пространстве состояний.^[1] Он основан на вариационный принцип наименьшего действия, сформулированные в обобщенных координатах.^[2] Обратите внимание, что понятие «обобщенные координаты», используемое здесь, отличается от концепции обобщенные координаты движения, как используется в анализе (многотельных) динамических систем. Обобщенная фильтрация предоставляет апостериорные плотности по скрытым состояниям (и параметрам), генерируя наблюдаемые данные с использованием обобщенного градиентного спуска по вариационной свободной энергии под Допущение Лапласа. В отличие от классических (например, Кальман-Бьюси или же частица ) фильтрация, обобщенная фильтрация избегает марковских предположений о случайных флуктуациях. Кроме того, он работает в режиме онлайн, ассимилируя данные для аппроксимации апостериорной плотности по неизвестным величинам, без необходимости обратного прохода. Особые случаи включают вариационная фильтрация,^[3] максимизация динамического ожидания^[4] и обобщенное прогнозирующее кодирование.

Определение

Определение: Обобщенная фильтрация опирается на кортеж ${\displaystyle (\Omega ,U,X,S,p,q)}$:

• Образец пространства ${\displaystyle \Omega }$ откуда случайные колебания ${\displaystyle \omega \in \Omega }$ нарисованы
• Состояния управления ${\displaystyle U\in \mathbb {R} }$ - которые действуют как внешние причины, вводные или принудительные условия
• Скрытые состояния ${\displaystyle X:X\times U\times \Omega \to \mathbb {R} }$ - которые вызывают состояния датчика и зависят от состояний управления
• Состояния датчика ${\displaystyle S:X\times U\times \Omega \to \mathbb {R} }$ - вероятностное отображение скрытых и контрольных состояний
• Генеративная плотность ${\displaystyle p({\tilde {s}},{\tilde {x}},{\tilde {u}}\mid m)}$ - над сенсорными, скрытыми и контролирующими состояниями в рамках генеративной модели ${\displaystyle m}$
• Вариационная плотность ${\displaystyle q({\tilde {x}},{\tilde {u}}\mid {\tilde {\mu }})}$ - по скрытым и контрольным состояниям со средним ${\displaystyle {\tilde {\mu }}\in \mathbb {R} }$

Здесь ~ обозначает переменную в обобщенных координатах движения: ${\displaystyle {\tilde {u}}=[u,u',u'',\ldots ]^{T}}$

Обобщенная фильтрация

Цель состоит в том, чтобы аппроксимировать апостериорную плотность по скрытым и контрольным состояниям с учетом состояний датчиков и генеративной модели - и оценить (интеграл по путям) модельное свидетельство ${\displaystyle p({\tilde {s}}(t)\vert m)}$ сравнивать разные модели. Обычно это связано с неразрешимой маргинализацией по сравнению со скрытыми состояниями, поэтому модельное свидетельство (или предельное правдоподобие) заменяется вариационным ограничением свободной энергии.^[5] Учитывая следующие определения:

${\displaystyle {\tilde {\mu }}(t)={\underset {\tilde {\mu }}{\operatorname {arg\,min} }}\{F({\tilde {s}}(t),{\tilde {\mu }})\}}$

${\displaystyle G({\tilde {s}},{\tilde {x}},{\tilde {u}})=-\ln p({\tilde {s}},{\tilde {x}},{\tilde {u}}\vert m)}$

Обозначим Энтропия Шеннона плотности ${\displaystyle q}$ к ${\displaystyle H[q]=E_{q}[-\log(q)]}$. Тогда мы можем записать вариационную свободную энергию двумя способами:

${\displaystyle F({\tilde {s}},{\tilde {\mu }})=E_{q}[G({\tilde {s}},{\tilde {x}},{\tilde {u}})]-H[q({\tilde {x}},{\tilde {u}}\vert {\tilde {\mu }})]=-\ln p({\tilde {s}}\vert m)+D_{KL}[q({\tilde {x}},{\tilde {u}}\vert {\tilde {\mu }})\vert \vert p({\tilde {x}},{\tilde {u}}\vert {\tilde {s}},m)]}$

Второе равенство показывает, что минимизация вариационной свободной энергии (i) минимизирует Расхождение Кульбака-Лейблера между вариационной и истинной апостериорной плотностью и (ii) делает вариационную свободную энергию (граничное приближение) отрицательным логарифмическим свидетельством (потому что расхождение никогда не может быть меньше нуля).^[6] В предположении Лапласа ${\displaystyle q({\tilde {x}},{\tilde {u}}\mid {\tilde {\mu }})={\mathcal {N}}({\tilde {\mu }},C)}$ вариационная плотность - гауссова, а точность, минимизирующая свободную энергию, - ${\displaystyle C^{-1}=\Pi =\partial _{{\tilde {\mu }}{\tilde {\mu }}}G({\tilde {\mu }})}$. Это означает, что свободную энергию можно выразить через среднее вариационное ^[7] (без констант):

${\displaystyle F=G({\tilde {\mu }})+\textstyle {1 \over 2}\ln \vert \partial _{{\tilde {\mu }}{\tilde {\mu }}}G({\tilde {\mu }})\vert }$

Вариационные средства, которые минимизируют (интеграл по путям) свободной энергии, теперь могут быть восстановлены путем решения обобщенного фильтра:

${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}-\partial _{\tilde {\mu }}F({\tilde {s}},{\tilde {\mu }})}$

куда ${\displaystyle D}$ - оператор производной блочной матрицы для матриц идентификации таких, что ${\displaystyle D{\tilde {u}}=[u',u'',\ldots ]^{T}}$

Вариационная основа

Обобщенная фильтрация основана на следующей лемме: Самосогласованное решение ${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}-\partial _{\tilde {\mu }}F(s,{\tilde {\mu }})}$ удовлетворяет вариационному принцип стационарного действия, где действие - интеграл по путям вариационной свободной энергии

${\displaystyle S=\int dt\,F({\tilde {s}}(t),{\tilde {\mu }}(t))}$

Доказательство: самосогласованность требует, чтобы движение среднего было средним значением движения и ( основная лемма вариационного исчисления )

${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}\Leftrightarrow \partial _{\tilde {\mu }}F({\tilde {s}},{\tilde {\mu }})=0\Leftrightarrow \delta _{\tilde {\mu }}S=0}$

Проще говоря, небольшие возмущения пути среднего не изменяют вариационную свободную энергию, и оно оказывает наименьшее влияние из всех возможных (локальных) путей.

Замечания: Эвристически обобщенная фильтрация выполняет градиентный спуск по вариационной свободной энергии в движущейся системе отсчета: ${\displaystyle {\dot {\tilde {\mu }}}-D{\tilde {\mu }}=-\partial _{\tilde {\mu }}F(s,{\tilde {\mu }})}$, где сам каркас минимизирует вариационную свободную энергию. Связанный пример из статистической физики см. В Kerr and Graham. ^[8] которые используют динамику ансамбля в обобщенных координатах, чтобы предоставить обобщенную версию уравнения Ланжевена и связанных с ним уравнений Фоккера-Планка для фазового пространства.

На практике обобщенная фильтрация использует локальная линеаризация ^[9] через интервалы ${\displaystyle \Delta t}$ для восстановления дискретных обновлений

${\displaystyle {\begin{aligned}\Delta {\tilde {\mu }}&=(\exp(\Delta t\cdot J)-I)J^{-1}{\dot {\tilde {\mu }}}\\J&=\partial _{\tilde {\mu }}{\dot {\tilde {\mu }}}=D-\partial _{{\tilde {\mu }}{\tilde {\mu }}}F({\tilde {s}},{\tilde {\mu }})\end{aligned}}}$

Это обновляет средние значения скрытых переменных на каждом интервале (обычно интервале между наблюдениями).

Генеративные (в пространстве состояний) модели в обобщенных координатах

Обычно генеративная плотность или модель задается в терминах нелинейной модели вход-состояние-выход с непрерывными нелинейными функциями:

${\displaystyle {\begin{aligned}s&=g(x,u)+\omega _{s}\\{\dot {x}}&=f(x,u)+\omega _{x}\end{aligned}}}$

Соответствующая обобщенная модель (в предположении локальной линейности) получает из цепного правила

${\displaystyle {\begin{aligned}{\tilde {s}}&={\tilde {g}}({\tilde {x}},{\tilde {u}})+{\tilde {\omega }}_{s}\\\\s&=g(x,u)+\omega _{s}\\s'&=\partial _{x}g\cdot x'+\partial _{u}g\cdot u'+\omega '_{s}\\s''&=\partial _{x}g\cdot x''+\partial _{u}g\cdot u''+\omega ''_{s}\\&\vdots \\\end{aligned}}\qquad {\begin{aligned}{\dot {\tilde {x}}}&={\tilde {f}}({\tilde {x}},{\tilde {u}})+{\tilde {\omega }}_{x}\\\\{\dot {x}}&=f(x,u)+\omega _{x}\\{\dot {x}}'&=\partial _{x}f\cdot x'+\partial _{u}f\cdot u'+\omega '_{x}\\{\dot {x}}''&=\partial _{x}f\cdot x''+\partial _{u}f\cdot u''+\omega ''_{x}\\&\vdots \end{aligned}}}$

Гауссовские предположения о случайных флуктуациях ${\displaystyle \omega }$ затем прописать вероятность и эмпирическую априорность движения скрытых состояний

${\displaystyle {\begin{aligned}p\left({\tilde {s}},{\tilde {x}},{\tilde {u}}\vert m\right)&=p\left({\tilde {s}}\vert {\tilde {x}},{\tilde {u}},m\right)p\left({D{\tilde {x}}\vert x,{\tilde {u}},m}\right)p(x\vert m)p({\tilde {u}}\vert m)\\p\left({\tilde {s}}\vert {\tilde {x}},{\tilde {u}},m\right)&={\mathcal {N}}({\tilde {g}}({\tilde {x}},{\tilde {u}}),{\tilde {\Sigma }}({\tilde {x}},{\tilde {u}})_{s})\\p\left({D{\tilde {x}}\vert x,{\tilde {u}},m}\right)&={\mathcal {N}}({\tilde {f}}({\tilde {x}},{\tilde {u}}),{\tilde {\Sigma }}({\tilde {x}},{\tilde {u}})_{x})\\\end{aligned}}}$

Ковариации ${\displaystyle {\tilde {\Sigma }}=V\otimes \Sigma }$ факторизовать в ковариацию между переменными и корреляциями ${\displaystyle V}$ среди обобщенных колебаний, который кодирует их автокорреляция:

${\displaystyle V={\begin{bmatrix}1&0&{\ddot {\rho }}(0)&\cdots \\0&-{\ddot {\rho }}(0)&0\ &\ \\{\ddot {\rho }}(0)\ &0\ &{\ddot {\ddot {\rho }}}(0)\ &\ \\\vdots \ &\ &\ &\ddots \ \\\end{bmatrix}}}$

Здесь, ${\displaystyle {\ddot {\rho }}(0)}$ - вторая производная автокорреляционной функции, равная нулю. Это повсеместная мера грубости в теории случайные процессы.^[10] Важно отметить, что точность (обратная дисперсия) производных высокого порядка довольно быстро падает до нуля, что означает, что необходимо моделировать только обобщенное движение относительно низкого порядка (обычно от двух до восьми) для любой заданной или параметризованной автокорреляционной функции.

Особые случаи

Фильтрация дискретных временных рядов

Когда временные ряды наблюдаются как дискретная последовательность ${\displaystyle N}$ наблюдения, неявная выборка рассматривается как часть процесса генерации, где (используя Теорема Тейлора )

${\displaystyle [s_{1},\dots ,s_{N}]^{T}=(E\otimes I)\cdot {\tilde {s}}(t):\qquad E_{ij}={\frac {(i-t)^{(j-1)}}{(j-1)!}}}$

В принципе, всю последовательность можно использовать для оценки скрытых переменных в каждый момент времени. Однако точность выборок в прошлом и будущем быстро падает, и ею можно пренебречь. Это позволяет схеме ассимилировать данные в режиме онлайн, используя локальные наблюдения в каждый момент времени (обычно от двух до восьми).

Обобщенная фильтрация и параметры модели

Для любых медленно меняющихся модельных параметров уравнений движения ${\displaystyle f(x,u,\theta )}$ или точность ${\displaystyle {\tilde {\Pi }}(x,u,\theta )}$ обобщенная фильтрация принимает следующий вид (где ${\displaystyle \mu }$ соответствует среднему вариационному параметру)

${\displaystyle {\begin{aligned}{\dot {\mu }}&=\mu '\\{\dot {\mu '}}&=-\partial _{\mu }F({\tilde {s}},\mu )-\kappa \mu '\end{aligned}}}$

Здесь решение ${\displaystyle {\dot {\tilde {\mu }}}=0}$ минимизирует вариационную свободную энергию, когда движение среднего мало. В этом можно убедиться, отметив ${\displaystyle {\dot {\mu }}={\dot {\mu }}'=0\Rightarrow \partial _{\mu }F=0\Rightarrow \delta _{\mu }S=0}$. Несложно показать, что это решение соответствует классическому Обновление Ньютона.^[11]

Связь с байесовской фильтрацией и прогнозным кодированием

Обобщенная фильтрация и фильтрация Калмана

Классическая фильтрация при марковских или винеровских предположениях эквивалентна предположению, что точность движения случайных флуктуаций равна нулю. В этом предельном случае нужно рассматривать только состояния и их первую производную ${\displaystyle {\tilde {\mu }}=(\mu ,{\mu }')}$. Это означает, что обобщенная фильтрация принимает форму фильтра Калмана-Бьюси с условиями прогнозирования и коррекции:

${\displaystyle {\begin{aligned}{\dot {\mu }}&=\mu '-\partial _{\mu }F(s,{\tilde {\mu }})\\{\dot {\mu '}}&=-\partial _{\mu '}F(s,{\tilde {\mu }})\end{aligned}}}$

Подстановка этой фильтрации первого порядка в схему дискретного обновления выше дает эквивалент (расширенной) фильтрации Калмана.^[12]

Общая фильтрация и фильтрация частиц

Фильтрация твердых частиц представляет собой схему на основе выборки, которая ослабляет предположения о форме вариационной или приближенной апостериорной плотности. Соответствующая обобщенная схема фильтрации называется вариационная фильтрация.^[3] При вариационной фильтрации ансамбль частиц рассеивается по ландшафту свободной энергии в системе отсчета, которая движется с ожидаемым (обобщенным) движением ансамбля. Это обеспечивает относительно простую схему, которая избегает гауссовских (унимодальных) предположений. В отличие от фильтрации частиц, он не требует плотности предложения - или удаления или создания частиц.

Обобщенная фильтрация и вариационный байесовский

Вариационный байесовский опирается на среднеполевое разбиение вариационной плотности:

${\displaystyle q({\tilde {x}},{\tilde {u}},\theta \dots \vert {\tilde {\mu }},\mu )=q({\tilde {x}},{\tilde {u}}\vert {\tilde {\mu }})q(\theta \vert \mu )\dots }$

Это разбиение вызывает вариационное обновление или шаг для каждой предельной плотности, что обычно решается аналитически с использованием сопряженных априорных значений. При обобщенной фильтрации это приводит к максимизация динамического ожидания.^[4] который включает D-шаг, который оптимизирует достаточную статистику неизвестных состояний, E-шаг для параметров и M-шаг для точности.

Обобщенная фильтрация и прогнозное кодирование

Обобщенная фильтрация обычно используется для инвертирования иерархических моделей следующего вида

${\displaystyle {\begin{aligned}{\tilde {s}}&={\tilde {g}}^{1}({\tilde {x}}^{1},{\tilde {u}}^{(1)})+{\tilde {\omega }}_{s}^{(1)}\\{\dot {\tilde {x}}}^{(1)}&={\tilde {f}}^{(1)}({\tilde {x}}^{(1)},{\tilde {u}}^{(1)})+{\tilde {\omega }}_{x}^{(1)}\\\vdots \\{\tilde {u}}^{(i-1)}&={\tilde {g}}^{(i)}({\tilde {x}}^{(i)},{\tilde {u}}^{(i)})+{\tilde {\omega }}_{u}^{(i)}\\{\dot {\tilde {x}}}^{(i)}&={\tilde {f}}^{(i)}({\tilde {x}}^{(i)},{\tilde {u}}^{(i)})+{\tilde {\omega }}_{x}^{(i)}\\\vdots \end{aligned}}}$

Последующий обобщенный градиентный спуск по свободной энергии может быть затем компактно выражен в терминах ошибок предсказания, где (без учета членов высокого порядка):

${\displaystyle {\begin{aligned}{\dot {\tilde {\mu }}}_{u}^{(i)}&=D{\tilde {\mu }}^{(u,i)}-\partial _{u}{\tilde {\varepsilon }}^{(i)}\cdot \Pi ^{(i)}{\tilde {\varepsilon }}^{(i)}-\Pi ^{(i+1)}{\tilde {\varepsilon }}_{u}^{(i+1)}\\{\dot {\tilde {\mu }}}_{x}^{(i)}&=D{\tilde {\mu }}^{(x,i)}-\partial _{x}{\tilde {\varepsilon }}^{(i)}\cdot \Pi ^{(i)}{\tilde {\varepsilon }}^{(i)}\\\\{\tilde {\varepsilon }}_{u}^{(i)}&={\tilde {\mu }}_{u}^{(i-1)}-{\tilde {g}}^{(i)}\\{\tilde {\varepsilon }}_{x}^{(i)}&=D{\tilde {\mu }}_{x}^{(i)}-{\tilde {f}}^{(i)}\end{aligned}}}$

Здесь, ${\displaystyle \Pi ^{(i)}}$ - точность случайных флуктуаций на я-й уровень. Это известно как обобщенное предсказательное кодирование [11], с кодирование с линейным прогнозированием как частный случай.

Приложения

Обобщенная фильтрация в первую очередь применялась к биологическим временным рядам, в частности к функциональной магнитно-резонансной томографии и электрофизиологическим данным. Обычно это происходит в контексте динамическое причинно-следственное моделирование сделать выводы о базовой архитектуре (нейронных) систем, генерирующих данные.^[13] Он также используется для имитации логического вывода в терминах обобщенного (иерархического) прогнозирующего кодирования в мозге.^[14]

Смотрите также

• Динамическая байесовская сеть
• Фильтр Калмана
• Кодирование с линейным прогнозированием
• Оптимальный контроль
• Фильтр твердых частиц
• Рекурсивная байесовская оценка
• Идентификация системы
• Вариационные байесовские методы

Рекомендации

1. К. Фристон, К. Стефан, Б. Ли и Ж. Дунизо "Обобщенная фильтрация," Математические проблемы в инженерии, т. т., 2010, с. 621670, 2010 г.
2. Б. Баладжи и К. Фристон "Байесовская оценка состояния с использованием обобщенных координат, "Proc. SPIE, p. 80501Y, 2011
3. К. Дж. Фристон "Вариационная фильтрация, "Нейроимидж", т. 41, № 3, с. 747-66, 2008.
4. К. Дж. Фристон, Н. Трухильо-Баррето и Дж. Даунизо "DEM: вариационная трактовка динамических систем, "Нейроимидж", т. 41, № 3, с. 849-85, 2008 г.
5. Р. П. Фейнман, Статистическая механика. Чтение MA: Бенджамин, 1972
6. М. Дж. Бил "Вариационные алгоритмы приближенного байесовского вывода, "Докторская диссертация, Университетский колледж Лондона, 2003 г."
7. К. Фристон, Дж. Мэттаут, Н. Трухильо-Баррето, Дж. Эшбёрнер и В. Пенни "Вариационная свободная энергия и приближение Лапласа, "Нейроимидж", т. 34, № 1, с. 220-34, 2007 г.
8. В. К. Керр и А. Дж. Грэм "Обобщенная версия уравнений Ланжевена и связанных с ними уравнений Фоккера-Планка для фазового пространства, "Eur. Phys. J. B., том 15, стр. 305-11, 2000.
9. Т. Одзаки "Мост между нелинейными моделями временных рядов и нелинейными стохастическими динамическими системами: подход локальной линеаризации, "Statistica Sin., Т. 2, стр. 113-135, 1992.
10. Д. Р. Кокс, Г. Д. Миллер, Теория случайных процессов. Лондон: Метуэн, 1965.
11. К. Фристон, К. Стефан, Б. Ли и Дж. Даунизо, «Обобщенная фильтрация», «Математические проблемы инженерии», т. т., 2010, с. 621670, 2010 г.
12. К. Дж. Фристон, Н. Трухильо-Баррето и Дж. Даунизо, "ЦМР: вариационная обработка динамических систем", Neuroimage, vol. 41, нет. 3. С. 849-85, 2008.
13. Дж. Доунизо, о Давид, и К. Е. Стефан "Динамическое каузальное моделирование: критический обзор биофизических и статистических основ В архиве 2012-12-07 в Wayback Machine, «Нейроимидж», т. 58, № 2, стр. 312-22, 2011 г.
14. К. Фристон "Иерархические модели в мозгу, "PLoS Comput. Biol., Том 4, № 11, стр. E1000211, 2008.

внешняя ссылка

• программного обеспечения демонстрации и приложения доступны как академическое бесплатное программное обеспечение (как код Matlab) в наборе инструментов DEM SPM
• документы сборник технической и прикладной документации