Линейная функция веры - Linear belief function

Линейные функции убеждений являются продолжением Теория Демпстера – Шафера из функции убеждений к случаю, когда интересующие переменные непрерывный. Примеры таких переменных включают цены финансовых активов, доходность портфеля и другие предшествующие и последующие переменные. Теория была первоначально предложена Артур П. Демпстер^[1] в контексте фильтров Калмана, а затем была разработана, уточнена и применена к представлению знаний в искусственном интеллекте и принятию решений в области финансов и бухгалтерского учета Липином Лю.^[2]

Концепция

Функция линейного убеждения намеревается представить нашу веру в местонахождение истинной ценности следующим образом: мы уверены, что истина находится на так называемой достоверности. гиперплоскость но мы не знаем его точное местонахождение; вдоль некоторых измерений гиперплоскости уверенности, мы полагаем, что истинное значение может быть где угодно от –∞ до + ∞, а вероятность нахождения в конкретном месте описывается нормальное распределение; по другим измерениям, наши знания пустой, т.е. истинное значение находится где-то от –∞ до + ∞, но соответствующая вероятность неизвестна. А функция веры в общем определяется функция массы над классом фокусные элементы, которые могут иметь непустые пересечения. Линейная функция убеждений - это особый тип функция веры в том смысле, что это фокусные элементы являются исключительными, параллельными субгиперплоскостями над гиперплоскостью достоверности, а ее функция масс является нормальное распределение через субгиперплоскости.

Основываясь на приведенном выше геометрическом описании, Shafer^[3] и Лю^[4] предлагают два математических представления LBF: внутренний продукт в широком смысле и линейный функционал в пространстве переменных, а также их двойники над гиперплоскостью в пространстве выборок. Monney ^[5] предлагает еще одну структуру, называемую гауссовскими подсказками. Хотя эти представления математически точны, они, как правило, не подходят для представления знаний в экспертных системах.

Представление знаний

Линейная функция убеждений может представлять как логические, так и вероятностные знания для трех типов переменных: детерминированных, таких как наблюдаемые или контролируемые, случайных с нормальным распределением и пустых, на которые не опирается никакое знание. Логическое знание представлено линейными уравнениями или геометрически гиперплоскостью достоверности. Вероятностное знание представлено нормальным распределением по всем параллельным фокусным элементам.

В общем, предположим, что X является вектором нескольких нормальных переменных со средним значением μ и ковариацией Σ. Тогда многомерное нормальное распределение может быть эквивалентно представлено в виде матрицы моментов:

${\displaystyle M(X)=\left({\begin{array}{*{20}c}\mu \\\Sigma \end{array}}\right).}$

Если распределение невырожденное, т. Е. Σ имеет полный ранг и существует обратное, матрица моментов может быть полностью заметена:

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}\mu \Sigma ^{-1}\\-\Sigma ^{-1}\end{array}}\right)}$

За исключением нормировочной постоянной, приведенное выше уравнение полностью определяет нормальную функцию плотности для Икс. Следовательно, ${\displaystyle M({\vec {X}})}$ представляет собой распределение вероятностей Икс в потенциальной форме.

Эти две простые матрицы позволяют нам представить три частных случая линейных функций доверия. Во-первых, для обычного нормального распределения вероятностей его представляет M (X). Во-вторых, предположим, что кто-то проводит прямое наблюдение на X и получает значение μ. В этом случае, поскольку нет неопределенности, и дисперсия, и ковариация обращаются в нуль, т. Е. Σ = 0. Таким образом, прямое наблюдение может быть представлено как:

${\displaystyle M(X)=\left({\begin{array}{*{20}c}\mu \\0\end{array}}\right)}$

В-третьих, предположим, что кто-то полностью игнорирует X. Это очень сложный случай в байесовской статистике, поскольку функции плотности не существует. Используя полностью развернутую матрицу моментов, мы представляем пустые линейные функции доверия в виде нулевой матрицы в следующей развернутой форме:

${\displaystyle M({\vec {X}})=\left[{\begin{array}{*{20}c}0\\0\end{array}}\right]}$

Один из способов понять это представление - представить полное незнание как предельный случай, когда дисперсия X приближается к ∞, где можно показать, что Σ⁻¹ = 0 и, следовательно, ${\displaystyle M({\vec {X}})}$ исчезает. Однако приведенное выше уравнение не то же самое, что неправильное априорное или нормальное распределение с бесконечной дисперсией. Фактически, это не соответствует какому-либо однозначному распределению вероятностей. По этой причине лучше понять бессмысленные линейные функции убеждений как нейтральный элемент для комбинирования (см. Ниже).

Чтобы представить оставшиеся три частных случая, нам понадобится концепция частичного выметания. В отличие от полной очистки, частичная очистка - это преобразование подмножества переменных. Предположим, что X и Y - два вектора нормальных переменных с совместной матрицей моментов:

${\displaystyle M(X,Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}\mu _{1}\\\Sigma _{11}\\\Sigma _{21}\end{array}}&{\begin{array}{*{20}c}\mu _{2}\\\Sigma _{12}\\\Sigma _{22}\end{array}}\end{array}}\right]}$

Тогда M (X, Y) можно частично выметать. Например, мы можем определить частичное выметание по X следующим образом:

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}\mu _{1}(\Sigma _{11})^{-1}\\-(\Sigma _{11})^{-1}\\\Sigma _{21}(\Sigma _{11})^{-1}\end{array}}&{\begin{array}{*{20}c}\mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}\\(\Sigma _{11})^{-1}\Sigma _{12}\\\Sigma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}\end{array}}\end{array}}\right]}$

Если Икс является одномерным, частичное выметание заменяет дисперсию Икс на свою отрицательную обратную и умножает обратную на другие элементы. Если Икс является многомерным, операция включает инверсию ковариационной матрицы Икс и другие умножения. Матрица развертки, полученная путем частичной развертки по подмножеству переменных, может быть эквивалентно получена последовательностью частичной очистки по каждой отдельной переменной в подмножестве, и порядок последовательности не имеет значения. Точно так же полностью развернутая матрица является результатом частичной развертки всех переменных.

Мы можем сделать два наблюдения. Во-первых, после частичного подметанияИкс, средний вектор и ковариационная матрица Икс соответственно ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}}$ и ${\displaystyle -(\Sigma _{11})^{-1}}$, которые такие же, как и при полной выметке матрицы предельных моментовИкс. Таким образом, элементы, соответствующие X в приведенном выше уравнении с частичной подметкой, представляют собой предельное распределение X в потенциальной форме. Во-вторых, по статистике, ${\displaystyle \mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}}$условное среднее Y данный Икс = 0; ${\displaystyle \Sigma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}}$ - матрица условной ковариации Y данный Икс = 0; и ${\displaystyle (\Sigma _{11})^{-1}\Sigma _{12}}$ - наклон регрессионной модели Y наИкс. Следовательно, элементы, соответствующие индексам Y и пересечению Икс и Y в ${\displaystyle M({\vec {X}},Y)}$представляет собой условное распределение Y данныйИкс = 0.

Эта семантика делает операцию частичного подметания полезным методом для управления многомерными нормальными распределениями. Они также составляют основу представлений матрицы моментов для трех оставшихся важных случаев линейных функций доверия, включая собственные функции доверия, линейные уравнения и модели линейной регрессии.

Правильные линейные функции убеждений

Для переменных Икс и Y, предположим, что существует доказательство, подтверждающее нормальное распределение переменных Y не имея никакого мнения о переменныхИкс. Также предположим, что Икс и Y не полностью линейно связаны, т. е. их корреляция меньше 1. В этом случае используется сочетание обычного нормального распределения для Y и пустой функции доверия дляИкс. Таким образом, мы представляем его с помощью частично развернутой матрицы следующим образом:

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\0\end{array}}&{\begin{array}{*{20}c}\mu _{2}\\0\\\Sigma _{22}\\\end{array}}\end{array}}\right]}$

Вот как мы могли понять представление. Поскольку мы не знаемИкс, используем его стреловидную форму и полагаем ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}=0}$ и ${\displaystyle -(\Sigma _{11})^{-1}=0}$. Поскольку соотношение между Икс и Y меньше 1, коэффициент регрессии Икс на Y приближается к 0, когда дисперсия Икс приближается к ∞. Следовательно, ${\displaystyle (\Sigma _{11})^{-1}\Sigma _{12}=0}$. Аналогично можно доказать, что ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}=0}$ и ${\displaystyle \Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}=0}$.

Линейные уравнения

Предположим, что X и Y - два вектора-строки, и Y = XA + b, где A и b - матрицы коэффициентов. Мы представляем уравнение с использованием частично развернутой матрицы следующим образом:

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\A^{T}\end{array}}&{\begin{array}{*{20}c}b\\A\\0\end{array}}\end{array}}\right]}$

Мы можем понять представление, основанное на том факте, что линейное уравнение содержит две части знания: (1) полное игнорирование всех переменных; и (2) вырожденное условное распределение зависимых переменных с учетом независимых переменных. Поскольку X является независимым вектором в уравнении, мы ничего не знаем об этом. Таким образом, ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}=0}$ и ${\displaystyle -(\Sigma _{11})^{-1}=0}$. Данный Икс = 0, Y полностью определяется как b. Таким образом, условное среднее Y равно b, а условная дисперсия равна 0. Кроме того, матрица коэффициентов регрессии равна A.

Обратите внимание, что знания, которые должны быть представлены в линейных уравнениях, очень близки к знаниям в правильных линейных функциях доверия, за исключением того, что первое предполагает идеальную корреляцию между X и Y, а второе - нет. Это интересное наблюдение; он характеризует разницу между частичным незнанием и линейными уравнениями по одному параметру - корреляции.

Модели линейной регрессии

Модель линейной регрессии - более общий и интересный случай, чем предыдущие. Предположим, что X и Y - два вектора и Y = XA + b + E, где A и b - соответствующие матрицы коэффициентов, а E - независимый белый шум, удовлетворяющий E ~ N (0, Σ). Мы представляем модель в виде следующей частично развернутой матрицы:

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\A^{T}\end{array}}&{\begin{array}{*{20}c}b\\A\\\Sigma \end{array}}\end{array}}\right]}$

Эта модель линейной регрессии может рассматриваться как комбинация двух частей знаний (см. Ниже), одна из которых задается линейным уравнением, включающим три переменные X, Y и E, а другая представляет собой простое нормальное распределение E, т. Е. E ~ N (0, Σ). В качестве альтернативы его можно рассматривать как линейное уравнение, за исключением того, что при X = 0 Y не полностью определяется как b. Вместо этого условное среднее Y равно b, а условная дисперсия - Σ. Обратите внимание, что в этой альтернативной интерпретации модель линейной регрессии образует базовый строительный блок для представления знаний и кодируется как одна матрица моментов. Кроме того, шумовой член E не появляется в представлении. Следовательно, это делает представление более эффективным.

Представляя шесть особых случаев, мы видим явное преимущество матричного представления моментов, т. Е. Оно позволяет унифицировать представление, казалось бы, различных типов знаний, включая линейные уравнения, совместные и условные распределения и незнание. Унификация важна не только для представления знаний в искусственном интеллекте, но также для статистического анализа и инженерных вычислений. Например, представление рассматривает типичные логические и вероятностные компоненты в статистике - наблюдения, распределения, несобственные априорные значения (для байесовской статистики) и модели линейных уравнений - не как отдельные концепции, а как проявления единой концепции. Это позволяет увидеть внутренние связи между этими концепциями или проявлениями и взаимодействовать с ними для вычислительных целей.

Операции со знаниями

Есть две основные операции для вывода в экспертные системы использование линейных функций убеждений: комбинация и маргинализация. Комбинация соответствует интеграции знаний, тогда как маргинализация соответствует укрупнению знаний. Создание вывода включает в себя объединение соответствующих знаний в полную совокупность знаний с последующим проецированием всего объема знаний в частичную область, в которой необходимо ответить на вопрос вывода.

Маргинализация

Маргинализация проецирует линейную функцию убеждений в одну с меньшим количеством переменных. Выражаясь в виде матрицы моментов, это просто ограничение матрицы моментов без прокладки на подматрицу, соответствующую остальным переменным. Например, для совместного распределения M (X, Y) его маргинальное значение по отношению к Y равно:

${\displaystyle M^{\downarrow Y}(X,Y)=\left[{\begin{array}{*{20}c}\mu _{2}\\\Sigma _{22}\end{array}}\right]}$

При удалении переменной важно, чтобы переменная не была включена в соответствующую матрицу моментов, то есть у нее не было знака стрелки над переменной. Например, проецируя матрицу ${\displaystyle M({\vec {X}},Y)}$ к Y производит:

${\displaystyle M^{\downarrow Y}({\vec {X}},Y)=\left[{\begin{array}{*{20}c}\mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}\\\Sigma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}\end{array}}\right]}$

что не является той же линейной функцией доверия, что и Y. Однако легко увидеть, что удаление любой или всех переменных в Y из частично развернутой матрицы по-прежнему дает правильный результат - матрицу, представляющую ту же функцию для остальных переменных.

Чтобы удалить переменную, которая уже была развернута, мы должны обратить развертку, используя частичную или полную обратную развертку. Предполагать ${\displaystyle M({\vec {X}})}$ - матрица моментов с полной заметкой,

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}{\bar {\mu }}\\{\bar {\Sigma }}\\\end{array}}\right)}$

Затем полная обратная развертка ${\displaystyle M({\vec {X}})}$ восстановит матрицу моментов M (X) следующим образом:

${\displaystyle M(X)=\left({\begin{array}{*{20}c}{-{\bar {\mu }}{\bar {\Sigma }}^{-1}}\\{-{\bar {\Sigma }}^{-1}}\\\end{array}}\right)}$

Если матрица моментов имеет частично развернутую форму, скажем,

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}{{\bar {\mu }}_{1}}\\{{\bar {\Sigma }}_{11}}\\{{\bar {\Sigma }}_{21}}\\\end{array}}&{\begin{array}{*{20}c}{{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{12}}\\{{\bar {\Sigma }}_{22}}\\\end{array}}\\\end{array}}\right]}$

его частично обратное выметание на X определяется следующим образом:

${\displaystyle M(X,Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}{-{\bar {\mu }}_{1}({\bar {\Sigma }}_{11})^{-1}}\\{-({\bar {\Sigma }}_{11})^{-1}}\\{-{\bar {\Sigma }}_{21}({\bar {\Sigma }}_{11})^{-1}}\\\end{array}}&{\begin{array}{*{20}c}{{\bar {\mu }}_{2}-{\bar {\mu }}_{1}({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\{-({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\{{\bar {\Sigma }}_{22}-{\bar {\Sigma }}_{21}({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\\end{array}}\\\end{array}}\right]}$

Обратная развертка аналогична прямой, за исключением разницы в знаке для некоторых умножений. Однако прямая и обратная развертки - это противоположные операции. Легко показать, что применение полностью обратной развертки к ${\displaystyle M({\vec {X}})}$ восстановит матрицу начальных моментов M (X). Также можно доказать, что применяя частичную обратную прогонку по X к матрице ${\displaystyle M({\vec {X}},Y)}$ восстановит матрицу моментов M (X, Y). Собственно говоря, Лю^[6] доказывает, что матрица моментов будет восстановлена ​​с помощью обратной развертки после прямой проверки того же набора переменных. Его также можно восстановить путем прямой уборки после обратной уборки. Интуитивно понятно, что частичное движение вперед разделяет соединение на маргинальное и условное, тогда как частичное обратное движение умножает их на соединение.

Комбинация

В соответствии с Правило Демпстера, комбинация функций веры может быть выражена как пересечение основных элементов и умножение функций плотности вероятности. Липин Лю применяет правило к линейным функциям доверия, в частности, и получает формулу комбинации в терминах функций плотности. Позже он доказывает утверждение Артур П. Демпстер и повторно выражает формулу как сумму двух полностью развернутых матриц. Математически предположим ${\displaystyle M_{1}({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{1}}\\{{\bar {\Sigma }}_{1}}\\\end{array}}\right)}$ и ${\displaystyle M_{2}({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{2}}\\\end{array}}\right)}$ являются двумя ФБФ для одного и того же вектора переменных X. Тогда их комбинация представляет собой полностью развернутую матрицу:

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{1}+{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{1}+{\bar {\Sigma }}_{2}}\\\end{array}}\right)}$

Это уравнение часто используется для умножения двух нормальных распределений. Здесь мы используем его, чтобы определить комбинацию двух линейных функций доверия, которые включают нормальные распределения как частный случай. Также обратите внимание, что пустая линейная функция доверия (0 развернутая матрица) является нейтральным элементом для комбинации. При применении уравнения необходимо учитывать два частных случая. Во-первых, если две матрицы, которые должны быть объединены, имеют разные размеры, то одна или обе матрицы должны быть расширены пустым образом, то есть предполагая незнание переменных, которых нет в каждой матрице. Например, если M₁(X, Y) и M₂(X, Z) необходимо объединить, сначала расширим их на ${\displaystyle M_{1}(X,Y,{\vec {Z}})}$ и ${\displaystyle M_{2}(X,{\vec {Y}},Z)}$ соответственно такие, что ${\displaystyle M_{1}(X,Y,{\vec {Z}})}$ не знает о Z и ${\displaystyle M_{2}(X,{\vec {Y}},Z)}$ не знает о Y. Пустое расширение изначально было предложено Конгом. ^[7] для дискретных функций убеждений. Во-вторых, если переменная имеет нулевую дисперсию, она не разрешит операцию подметания. В этом случае мы можем притвориться, что дисперсия является чрезвычайно малым числом, скажем ε, и выполнить желаемое сканирование и комбинацию. Затем мы можем применить обратную развертку к объединенной матрице той же переменной и позволить ε приближаться к нулю. Поскольку нулевая дисперсия означает полную уверенность в переменной, эта ε-процедура приведет к нулю ε членов в конечном результате.

В общем, чтобы объединить две линейные функции доверия, их матрицы моментов должны быть полностью очищены. Однако можно напрямую комбинировать полностью развернутую матрицу с частично развернутой, если все переменные первой матрицы были включены в более позднюю. Мы можем использовать модель линейной регрессии - Y = XA + b + E -, чтобы проиллюстрировать свойство. Как мы уже упоминали, регрессионную модель можно рассматривать как комбинацию двух частей знаний: одна задается линейным уравнением, включающим три переменные X, Y и E, а другая представляет собой простое нормальное распределение E, т. Е. E ~ N (0, Σ). Позволять ${\displaystyle M_{1}({\vec {X}},{\vec {\rm {E}}},Y)=\left[{\begin{array}{*{20}c}0&0&b\\0&0&A\\0&0&I\\{A^{T}}&I&0\\\end{array}}\right]}$ и ${\displaystyle M_{2}({\vec {\rm {E}}})=\left[{\begin{array}{*{20}c}0\\{-\Sigma ^{-1}}\\\end{array}}\right]}$ - их матрицы моментов соответственно. Затем две матрицы можно комбинировать напрямую, без подметания. ${\displaystyle M_{1}({\vec {X}},{\vec {\rm {E}}},Y)}$ на Y сначала. Результатом комбинирования является матрица с частичным свипированием:

${\displaystyle M({\vec {X}},{\vec {\rm {E}}},Y)=\left[{\begin{array}{*{20}c}0&0&b\\0&0&A\\0&{-\Sigma ^{-1}}&I\\{A^{T}}&I&0\\\end{array}}\right]}$

Если мы применим обратную развертку к E, а затем удалим E из матрицы, мы получим такое же представление регрессионной модели.

Приложения

Мы можем использовать задачу аудита, чтобы проиллюстрировать три типа переменных следующим образом. Предположим, мы хотим проверить конечное сальдо дебиторской задолженности (E). Как мы видели ранее, E равен начальному балансу (B) плюс продажи (S) за период за вычетом денежных поступлений (C) от продаж плюс остаток (р), что представляет собой незначительный возврат продаж и скидки по оплате. Таким образом, мы можем представить логическое отношение в виде линейного уравнения:

${\displaystyle E=B+S-C+R}$

Кроме того, если аудитор считает E и B составляют в среднем 100 тысяч долларов со стандартным отклонением 5 и ковариацией 15, мы можем представить это убеждение как многомерное нормальное распределение.Если исторические данные показывают, что остаточная величина R в среднем равна нулю со стандартным отклонением 0,5 тысячи долларов, мы можем суммировать исторические данные с помощью нормального распределения. р ~ N (0, 0,5²). Если есть прямое наблюдение за денежными поступлениями, мы можем представить доказательства в виде уравнения, скажем, C = 50 (тысяч долларов). Если аудитор ничего не знает о начальном сальдо дебиторской задолженности, мы можем представить его или ее незнание пустым LBF. Наконец, если исторические данные говорят об этом, учитывая денежные поступленияC, продажи S в среднем 8C + 4 и имеет стандартное отклонение 4 тысячи долларов, мы можем представить знания в виде модели линейной регрессии S ~ N (4 + 8C, 16).

Рекомендации

1. А. П. Демпстер, "Нормальные функции веры и Фильтр Калмана," в Анализ данных из статистических основ, А. К. М. Э. Салех, Ред .: Nova Science Publishers, 2001, стр. 65–84.
2. Лю, Липин, Кэтрин Шеной и Пракаш П. Шеной, «Представление знаний и интеграция для оценки портфеля с использованием линейных функций доверия», IEEE Transactions on Systems, Man, and Cybernetics, Series A, vol. 36 (4), 2006, стр. 774–785.
3. Г. Шафер, "Заметка о функциях гауссовских убеждений Демпстера", Школа бизнеса, Университет Канзаса, Лоуренс, Канзас, Технический отчет 1992.
4. Л. Лю, "Теория гауссовских функций веры", Международный журнал приблизительных рассуждений, т. 14. С. 95–126, 1996.
5. П. А. Монни, Математическая теория аргументов в пользу статистических доказательств. Нью-Йорк, штат Нью-Йорк: Springer, 2003.
6. Л. Лю "Локальное вычисление гауссовских функций доверия," Международный журнал приблизительных рассуждений, т. 22. С. 217–248, 1999.
7. А. Конг, «Многомерные функции доверия и графические модели», в Департаменте статистики. Кембридж, Массачусетс: Гарвардский университет, 1986