Наивный байесовский классификатор - Naive Bayes classifier - Wikipedia

В статистика, Наивные байесовские классификаторы семья простых "вероятностные классификаторы "на основе применения Теорема Байеса с сильным (наивным) независимость предположения между функциями. Они одни из самых простых Байесовская сеть модели^[1] но в сочетании с Оценка плотности ядра, они могут достичь более высокого уровня точности.^[2][3]

Наивные байесовские классификаторы обладают высокой масштабируемостью, требуя ряда параметров, линейных по количеству переменных (характеристик / предикторов) в задаче обучения. Максимальная вероятность обучение может проводиться путем оценки выражение в закрытой форме,^[4]:718 который берет линейное время, а не дорогими итерационное приближение как используется для многих других типов классификаторов.

в статистика и Информатика В литературе наивные байесовские модели известны под разными именами, в том числе простой байесовский и независимость Байеса.^[5] Все эти имена ссылаются на использование теоремы Байеса в решающем правиле классификатора, но наивный Байес не (обязательно) Байесовский метод.^[4][5]

Вступление

Наивный байесовский метод - это простой метод построения классификаторов: моделей, которые присваивают метки классов экземплярам проблемы, представленные как векторы особенность values, где метки классов взяты из некоторого конечного набора. Нет ни одного алгоритм для обучения таких классификаторов, но это семейство алгоритмов, основанное на общем принципе: все наивные байесовские классификаторы предполагают, что значение определенного признака независимый значения любой другой функции с учетом переменной класса. Например, фрукт может считаться яблоком, если он красный, круглый и имеет диаметр около 10 см. Наивный байесовский классификатор считает, что каждая из этих характеристик независимо влияет на вероятность того, что этот фрукт является яблоком, независимо от любых возможных корреляции между характеристиками цвета, округлости и диаметра.

Для некоторых типов вероятностных моделей наивные байесовские классификаторы можно очень эффективно обучать в контролируемое обучение параметр. Во многих практических приложениях для оценки параметров наивных байесовских моделей используется метод максимальная вероятность; другими словами, можно работать с наивной байесовской моделью, не принимая Байесовская вероятность или используя любые байесовские методы.

Несмотря на свой наивный дизайн и явно упрощенные допущения, наивные байесовские классификаторы довольно хорошо работают во многих сложных ситуациях реального мира. В 2004 году анализ проблемы байесовской классификации показал, что существуют веские теоретические причины для кажущегося неправдоподобным эффективность наивных байесовских классификаторов.^[6] Тем не менее, всестороннее сравнение с другими алгоритмами классификации в 2006 г. показало, что классификация Байеса превосходит другие подходы, такие как усиленные деревья или же случайные леса.^[7]

Преимущество наивного байесовского метода состоит в том, что для оценки параметров, необходимых для классификации, требуется лишь небольшое количество обучающих данных.^{[нужна цитата ]}

Вероятностная модель

В абстрактном смысле наивный байесовский условная возможность модель: данный экземпляр проблемы, подлежащий классификации, представлен вектором ${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{n})}$ представляя некоторые п функции (независимые переменные), он присваивает этому экземпляру вероятности

${\displaystyle p(C_{k}\mid x_{1},\ldots ,x_{n})\,}$

для каждого из K возможные результаты или классы ${\displaystyle C_{k}}$.^[8]

Проблема с приведенной выше формулировкой заключается в том, что если количество функций п большой или если функция может принимать большое количество значений, то основывая такую ​​модель на таблицы вероятностей невозможно. Поэтому мы переформулируем модель, чтобы сделать ее более управляемой. С помощью Теорема Байеса, условная вероятность может быть разложена как

${\displaystyle p(C_{k}\mid \mathbf {x} )={\frac {p(C_{k})\ p(\mathbf {x} \mid C_{k})}{p(\mathbf {x} )}}\,}$

На простом английском языке, используя Байесовская вероятность По терминологии, приведенное выше уравнение можно записать как

${\displaystyle {\text{posterior}}={\frac {{\text{prior}}\times {\text{likelihood}}}{\text{evidence}}}\,}$

На практике представляет интерес только числитель этой дроби, потому что знаменатель не зависит от ${\displaystyle C}$ и значения характеристик ${\displaystyle x_{i}}$ даны, так что знаменатель фактически постоянен. числитель эквивалентен совместная вероятность модель

${\displaystyle p(C_{k},x_{1},\ldots ,x_{n})\,}$

который можно переписать следующим образом, используя Правило цепи для повторных применений определения условная возможность:

${\displaystyle {\begin{aligned}p(C_{k},x_{1},\ldots ,x_{n})&=p(x_{1},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\ p(x_{3},\ldots ,x_{n},C_{k})\\&=\cdots \\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\cdots p(x_{n-1}\mid x_{n},C_{k})\ p(x_{n}\mid C_{k})\ p(C_{k})\\\end{aligned}}}$

Теперь «наивный» условная независимость предположения: предположим, что все функции в ${\displaystyle \mathbf {x} }$ находятся взаимно независимый, при условии категории ${\displaystyle C_{k}}$. В этом предположении

${\displaystyle p(x_{i}\mid x_{i+1},\ldots ,x_{n},C_{k})=p(x_{i}\mid C_{k})\,}$.

Таким образом, совместная модель может быть выражена как

${\displaystyle {\begin{aligned}p(C_{k}\mid x_{1},\ldots ,x_{n})&\varpropto p(C_{k},x_{1},\ldots ,x_{n})\\&\varpropto p(C_{k})\ p(x_{1}\mid C_{k})\ p(x_{2}\mid C_{k})\ p(x_{3}\mid C_{k})\ \cdots \\&\varpropto p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})\,,\end{aligned}}}$

куда ${\displaystyle \varpropto }$ обозначает соразмерность.

Это означает, что при сделанных выше предположениях независимости условное распределение по переменной класса ${\displaystyle C}$ является:

${\displaystyle p(C_{k}\mid x_{1},\ldots ,x_{n})={\frac {1}{Z}}p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})}$

где доказательства ${\displaystyle Z=p(\mathbf {x} )=\sum _{k}p(C_{k})\ p(\mathbf {x} \mid C_{k})}$ коэффициент масштабирования зависит только от ${\displaystyle x_{1},\ldots ,x_{n}}$, то есть константа, если известны значения переменных признаков.

Построение классификатора по вероятностной модели

До сих пор в ходе обсуждения была выведена модель независимых признаков, то есть наивная байесовская модель. вероятностная модель. Наивный байесовский классификатор сочетает в себе эту модель с правило принятия решения. Одно из общих правил - выбирать наиболее вероятную гипотезу; это известно как максимум апостериорный или же КАРТА правило принятия решения. Соответствующий классификатор a Байесовский классификатор, это функция, которая назначает метку класса ${\displaystyle {\hat {y}}=C_{k}}$ для некоторых k следующее:

${\displaystyle {\hat {y}}={\underset {k\in \{1,\ldots ,K\}}{\operatorname {argmax} }}\ p(C_{k})\displaystyle \prod _{i=1}^{n}p(x_{i}\mid C_{k}).}$

Оценка параметров и модели событий

Приоритет класса можно рассчитать, приняв равновероятные классы (т.е., ${\displaystyle p(C_{k})=1/K}$), или путем вычисления оценки вероятности класса из обучающей выборки (т.е., <предшествующий для данного класса> = <количество образцов в классе> / <общее количество образцов>). Чтобы оценить параметры распределения функции, необходимо принять распределение или сгенерировать непараметрический модели для функций из обучающего набора.^[9]

Предположения о распределении признаков называются «событийной моделью» наивного байесовского классификатора. Для дискретных функций, подобных тем, которые встречаются при классификации документов (включая фильтрацию спама), полиномиальный и Бернулли дистрибутивы популярны. Эти предположения приводят к двум различным моделям, которые часто путают.^[10][11].

Гауссовский наивный байесовский

При работе с непрерывными данными типичное допущение состоит в том, что непрерывные значения, связанные с каждым классом, распределяются в соответствии с нормальный (или гауссово) распределение. Например, предположим, что обучающие данные содержат непрерывный атрибут, ${\displaystyle x}$. Сначала мы сегментируем данные по классам, а затем вычисляем среднее и отклонение из ${\displaystyle x}$ в каждом классе. Позволять ${\displaystyle \mu _{k}}$ быть средним значением в ${\displaystyle x}$ связанный с классом C_k, и разреши ${\displaystyle \sigma _{k}^{2}}$ быть Откорректированная по Бесселю дисперсия ценностей в ${\displaystyle x}$ связанный с классом C_k. Предположим, мы собрали некоторую наблюдательную ценность ${\displaystyle v}$. Тогда вероятность распределение из ${\displaystyle v}$ учитывая класс ${\displaystyle C_{k}}$, ${\displaystyle p(x=v\mid C_{k})}$, можно вычислить, подключив ${\displaystyle v}$ в уравнение для нормальное распределение параметризованный ${\displaystyle \mu _{k}}$ и ${\displaystyle \sigma _{k}^{2}}$. То есть,

${\displaystyle p(x=v\mid C_{k})={\frac {1}{\sqrt {2\pi \sigma _{k}^{2}}}}\,e^{-{\frac {(v-\mu _{k})^{2}}{2\sigma _{k}^{2}}}}}$

Другой распространенный метод обработки непрерывных значений - использование биннинга для дискретизировать значения характеристик, чтобы получить новый набор функций, распределенных по Бернулли; в некоторой литературе фактически предполагается, что это необходимо для применения наивного Байеса, но это не так, и дискретизация может выбросить дискриминационную информацию.^[5]

Иногда распределение условно-классовых предельных плотностей далеко от нормального. В этих случаях, оценка плотности ядра может использоваться для более реалистичной оценки предельной плотности каждого класса. Этот метод, предложенный Джоном и Лэнгли,^[12] может значительно повысить точность классификатора. ^[13][14]

Полиномиальный наивный байесовский

В полиномиальной модели событий выборки (векторы признаков) представляют частоты, с которыми определенные события были сгенерированы полиномиальный ${\displaystyle (p_{1},\dots ,p_{n})}$ куда ${\displaystyle p_{i}}$ вероятность того, что событие я происходит (или K такие многочлены в мультиклассовом случае). Вектор признаков ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n})}$ тогда гистограмма, с ${\displaystyle x_{i}}$ подсчет количества раз событие я наблюдался в конкретном случае. Это модель событий, обычно используемая для классификации документов, где события представляют вхождение слова в одном документе (см. мешок слов предположение). Вероятность наблюдения гистограммы Икс дан кем-то

${\displaystyle p(\mathbf {x} \mid C_{k})={\frac {(\sum _{i}x_{i})!}{\prod _{i}x_{i}!}}\prod _{i}{p_{ki}}^{x_{i}}}$

Полиномиальный наивный байесовский классификатор становится линейный классификатор при выражении в пространстве журнала:^[15]

${\displaystyle {\begin{aligned}\log p(C_{k}\mid \mathbf {x} )&\varpropto \log \left(p(C_{k})\prod _{i=1}^{n}{p_{ki}}^{x_{i}}\right)\\&=\log p(C_{k})+\sum _{i=1}^{n}x_{i}\cdot \log p_{ki}\\&=b+\mathbf {w} _{k}^{\top }\mathbf {x} \end{aligned}}}$

куда ${\displaystyle b=\log p(C_{k})}$ и ${\displaystyle w_{ki}=\log p_{ki}}$.

Если данный класс и значение признака никогда не встречаются вместе в обучающих данных, тогда оценка вероятности на основе частоты будет равна нулю, потому что оценка вероятности прямо пропорциональна количеству появлений значения признака. Это проблематично, потому что это уничтожит всю информацию о других вероятностях при их умножении. Поэтому часто бывает желательно включить поправку на малую выборку, называемую псевдосчет, во всех оценках вероятности, так что никакая вероятность никогда не устанавливается равной нулю. Этот способ регуляризация наивный байесовский называется Сглаживание Лапласа когда псевдосчет равен единице, и Сглаживание Lidstone в общем случае.

Ренни и другие. обсудить проблемы с мультиномиальным предположением в контексте классификации документов и возможные способы решения этих проблем, включая использование tf – idf веса вместо необработанных частот терминов и нормализации длины документа, чтобы создать наивный байесовский классификатор, который может конкурировать с опорные векторные машины.^[15]

Бернулли, наивный Байес

В многомерном Бернулли модель событий, функции независимы Булевы (бинарные переменные), описывающие входы. Как и полиномиальная модель, эта модель популярна для задач классификации документов,^[10] где используются признаки появления двоичных терминов, а не частоты терминов. Если ${\displaystyle x_{i}}$ является логическим значением, выражающим наличие или отсутствие я'ый термин из словаря, то вероятность документа с учетом класса ${\displaystyle C_{k}}$ дан кем-то^[10]

${\displaystyle p(\mathbf {x} \mid C_{k})=\prod _{i=1}^{n}p_{ki}^{x_{i}}(1-p_{ki})^{(1-x_{i})}}$

куда ${\displaystyle p_{ki}}$ это вероятность класса ${\displaystyle C_{k}}$ создание термина ${\displaystyle x_{i}}$. Эта модель событий особенно популярна для классификации коротких текстов. Его преимущество заключается в явном моделировании отсутствия терминов. Обратите внимание, что наивный байесовский классификатор с моделью событий Бернулли - это не то же самое, что полиномиальный классификатор NB с усеченными до единицы значениями частоты.

Полу-контролируемая оценка параметров

Имея способ обучить наивный байесовский классификатор на основе размеченных данных, можно построить полууправляемый алгоритм обучения, который может учиться на комбинации помеченных и немаркированных данных, запуская алгоритм обучения с учителем в цикле:^[16]

Учитывая коллекцию ${\displaystyle D=L\uplus U}$ маркированных образцов L и немаркированные образцы U, начните с обучения наивного байесовского классификатора L.

До схождения делать:

Прогнозировать вероятности классов ${\displaystyle P(C\mid x)}$ для всех примеров Икс в ${\displaystyle D}$.

Переобучить модель на основе вероятности (не ярлыки), предсказанные на предыдущем шаге.

Сходимость определяется на основе улучшения вероятности модели. ${\displaystyle P(D\mid \theta )}$, куда ${\displaystyle \theta }$ обозначает параметры наивной байесовской модели.

Этот алгоритм обучения является примером более общего алгоритм ожидания – максимизации (EM): шаг прогноза внутри цикла - это E-шага ЭМ, в то время как переобучение наивного Байеса - это M-шаг. Формально алгоритм обоснован предположением, что данные генерируются модель смеси, а компоненты этой модели смеси являются в точности классами задачи классификации.^[16]

Обсуждение

Несмотря на то, что далеко идущие предположения о независимости часто бывают неточными, наивный байесовский классификатор имеет несколько свойств, которые делают его удивительно полезным на практике. В частности, разделение условных распределений признаков классов означает, что каждое распределение может быть независимо оценено как одномерное распределение. Это помогает облегчить проблемы, связанные с проклятие размерности, например, потребность в наборах данных, которые экспоненциально масштабируются с количеством функций. Хотя наивный байесовский метод часто не может дать хорошую оценку вероятностей правильного класса,^[17] это может не быть требованием для многих приложений. Например, наивный байесовский классификатор сделает правильную классификацию правил принятия решений MAP, если правильный класс более вероятен, чем любой другой класс. Это верно независимо от того, является ли оценка вероятности незначительной или даже очень неточной. Таким образом, общий классификатор может быть достаточно устойчивым, чтобы игнорировать серьезные недостатки лежащей в его основе наивной вероятностной модели.^[18] Другие причины наблюдаемого успеха наивного байесовского классификатора обсуждаются в цитируемой ниже литературе.

Связь с логистической регрессией

В случае дискретных входов (индикаторные или частотные характеристики для дискретных событий) наивные байесовские классификаторы образуют генеративно-дискриминационный пара с (полиномиальный ) логистическая регрессия классификаторы: каждый наивный байесовский классификатор можно рассматривать как способ подбора вероятностной модели, которая оптимизирует совместное правдоподобие ${\displaystyle p(C,\mathbf {x} )}$, в то время как логистическая регрессия соответствует той же вероятностной модели для оптимизации условного ${\displaystyle p(C\mid \mathbf {x} )}$.^[19]

Связь между ними можно увидеть, заметив, что функция принятия решения для наивного Байеса (в двоичном случае) может быть переписана как «класс прогнозирования ${\displaystyle C_{1}}$ если шансы из ${\displaystyle p(C_{1}\mid \mathbf {x} )}$ превышают те из ${\displaystyle p(C_{2}\mid \mathbf {x} )}$". Выражение этого в пространстве журнала дает:

${\displaystyle \log {\frac {p(C_{1}\mid \mathbf {x} )}{p(C_{2}\mid \mathbf {x} )}}=\log p(C_{1}\mid \mathbf {x} )-\log p(C_{2}\mid \mathbf {x} )>0}$

Левая часть этого уравнения - логарифм-шансы, или логит, количество, предсказанное линейной моделью, лежащей в основе логистической регрессии. Поскольку наивный байесовский метод также является линейной моделью для двух «дискретных» моделей событий, ее можно перепараметризовать как линейную функцию. ${\displaystyle b+\mathbf {w} ^{\top }x>0}$. Получение вероятностей - это вопрос применения логистическая функция к ${\displaystyle b+\mathbf {w} ^{\top }x}$, или в случае мультикласса функция softmax.

Дискриминативные классификаторы имеют меньшую асимптотическую ошибку, чем генеративные; однако исследования Нг и Иордания показал, что в некоторых практических случаях наивный метод Байеса может превзойти логистическую регрессию, поскольку он быстрее достигает своей асимптотической ошибки.^[19]

Примеры

Классификация лиц

Задача: определить, является ли данный человек мужчиной или женщиной, на основе измеренных характеристик, включая рост, вес и размер ступни.

Обучение персонала

Пример обучающего набора ниже.

Человек	высота (футы)	вес в фунтах)	размер стопы (дюймы)
мужской	6	180	12
мужской	5.92 (5'11")	190	11
мужской	5.58 (5'7")	170	12
мужской	5.92 (5'11")	165	10
женский	5	100	6
женский	5.5 (5'6")	150	8
женский	5.42 (5'5")	130	7
женский	5.75 (5'9")	150	9

Классификатор, созданный из обучающей выборки с использованием предположения о распределении Гаусса, будет иметь вид (при заданных дисперсиях беспристрастный выборочные отклонения ):

Человек	среднее (рост)	дисперсия (рост)	среднее (вес)	дисперсия (вес)	среднее (размер стопы)	отклонение (размер стопы)
мужской	5.855	3.5033 × 10^−2	176.25	1.2292 × 10^2	11.25	9.1667 × 10^−1
женский	5.4175	9.7225 × 10^−2	132.5	5.5833 × 10^2	7.5	1.6667

Допустим, у нас есть равновероятные классы, поэтому P (мужской) = P (женский) = 0,5. Это априорное распределение вероятностей может быть основано на наших знаниях о частотах в большей популяции или на частоте в обучающей выборке.

Тестирование

Ниже приведен образец, который можно разделить на мужчин и женщин.

Человек	высота (футы)	вес в фунтах)	размер стопы (дюймы)
образец	6	130	8

Мы хотим определить, какая задняя часть больше, мужская или женская. Для классификации мужского пола задняя часть дается следующим образом:

${\displaystyle {\text{posterior (male)}}={\frac {P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})}{evidence}}}$

Для классификации как женщин задняя часть дается следующим образом:

${\displaystyle {\text{posterior (female)}}={\frac {P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})}{evidence}}}$

Свидетельство (также называемое нормализующей константой) может быть вычислено:

${\displaystyle {\begin{aligned}{\text{evidence}}=P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})\\+P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})\end{aligned}}}$

Однако, учитывая выборку, доказательства являются постоянными и, таким образом, одинаково масштабируются для обоих задних зубов. Таким образом, это не влияет на классификацию и может быть проигнорировано. Теперь определим распределение вероятностей для пола выборки.

${\displaystyle P({\text{male}})=0.5}$

${\displaystyle p({\text{height}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(6-\mu )^{2}}{2\sigma ^{2}}}\right)\approx 1.5789}$,

куда ${\displaystyle \mu =5.855}$ и ${\displaystyle \sigma ^{2}=3.5033\cdot 10^{-2}}$ - параметры нормального распределения, предварительно определенные из обучающей выборки. Обратите внимание, что значение больше 1 здесь нормально - это скорее плотность вероятности, чем вероятность, потому что высота - непрерывная переменная.

${\displaystyle p({\text{weight}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(130-\mu )^{2}}{2\sigma ^{2}}}\right)=5.9881\cdot 10^{-6}}$

${\displaystyle p({\text{foot size}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(8-\mu )^{2}}{2\sigma ^{2}}}\right)=1.3112\cdot 10^{-3}}$

${\displaystyle {\text{posterior numerator (male)}}={\text{their product}}=6.1984\cdot 10^{-9}}$

${\displaystyle P({\text{female}})=0.5}$

${\displaystyle p({\text{height}}\mid {\text{female}})=2.2346\cdot 10^{-1}}$

${\displaystyle p({\text{weight}}\mid {\text{female}})=1.6789\cdot 10^{-2}}$

${\displaystyle p({\text{foot size}}\mid {\text{female}})=2.8669\cdot 10^{-1}}$

${\displaystyle {\text{posterior numerator (female)}}={\text{their product}}=5.3778\cdot 10^{-4}}$

Поскольку в случае женщин апостериорный числитель больше, мы предполагаем, что выборка будет женской.

Классификация документов

Вот отработанный пример наивной байесовской классификации классификация документов Рассмотрим проблему классификации документов по их содержанию, например, в спам и без спама электронная почта. Представьте себе, что документы взяты из ряда классов документов, которые можно смоделировать как наборы слов, где (независимая) вероятность того, что i-е слово данного документа встречается в документе из класса C можно записать как

${\displaystyle p(w_{i}\mid C)\,}$

(В этом случае мы еще больше упрощаем ситуацию, предполагая, что слова распределены в документе случайным образом, то есть слова не зависят от длины документа, положения в документе по отношению к другим словам или другого контекста документа. )

Тогда вероятность того, что данный документ D содержит все слова ${\displaystyle w_{i}}$, учитывая класс C, является

${\displaystyle p(D\mid C)=\prod _{i}p(w_{i}\mid C)\,}$

Вопрос, на который мы хотим ответить: «какова вероятность того, что данный документ D принадлежит к данному классу C? "Другими словами, что ${\displaystyle p(C\mid D)\,}$?

Сейчас же по определению

${\displaystyle p(D\mid C)={p(D\cap C) \over p(C)}}$

и

${\displaystyle p(C\mid D)={p(D\cap C) \over p(D)}}$

Теорема Байеса превращает их в утверждение о вероятности в терминах вероятность.

${\displaystyle p(C\mid D)={\frac {p(C)\,p(D\mid C)}{p(D)}}}$

Предположим на данный момент, что существует только два взаимоисключающих класса, S и ¬S (например, спам, а не спам), так что каждый элемент (электронное письмо) находится либо в одном, либо в другом;

${\displaystyle p(D\mid S)=\prod _{i}p(w_{i}\mid S)\,}$

и

${\displaystyle p(D\mid \neg S)=\prod _{i}p(w_{i}\mid \neg S)\,}$

Используя байесовский результат выше, мы можем написать:

${\displaystyle p(S\mid D)={p(S) \over p(D)}\,\prod _{i}p(w_{i}\mid S)}$

${\displaystyle p(\neg S\mid D)={p(\neg S) \over p(D)}\,\prod _{i}p(w_{i}\mid \neg S)}$

Разделение одного на другое дает:

${\displaystyle {p(S\mid D) \over p(\neg S\mid D)}={p(S)\,\prod _{i}p(w_{i}\mid S) \over p(\neg S)\,\prod _{i}p(w_{i}\mid \neg S)}}$

Что может быть переработано как:

${\displaystyle {p(S\mid D) \over p(\neg S\mid D)}={p(S) \over p(\neg S)}\,\prod _{i}{p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}}$

Таким образом, отношение вероятностей p (S | D) / p (¬S | D) можно выразить через ряд отношения правдоподобия Фактическая вероятность p (S | D) можно легко вычислить из log (p (S | D) / p (¬S | D)) на основании наблюдения, что p (S | D) + p (¬S | D) = 1.

Принимая логарифм из всех этих соотношений имеем:

${\displaystyle \ln {p(S\mid D) \over p(\neg S\mid D)}=\ln {p(S) \over p(\neg S)}+\sum _{i}\ln {p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}}$

(Эта техника "логарифмические отношения правдоподобия "- распространенный метод в статистике. В случае двух взаимоисключающих альтернатив (например, в этом примере) преобразование логарифмического отношения правдоподобия в вероятность принимает форму сигмовидная кривая: видеть логит для подробностей.)

Наконец, документ можно классифицировать следующим образом. Это спам, если ${\displaystyle p(S\mid D)>p(\neg S\mid D)}$ (т. е., ${\displaystyle \ln {p(S\mid D) \over p(\neg S\mid D)}>0}$), иначе это не спам.

Смотрите также

• AODE
• Байесовский классификатор
• Байесовская фильтрация спама
• Байесовская сеть
• Случайный наивный байесовский
• Линейный классификатор
• Логистическая регрессия
• Перцептрон
• Лучшая эвристика

Рекомендации

1. Маккаллум, Эндрю. «Графические модели, лекция 2: представление байесовской сети» (PDF). Получено 22 октября 2019.
2. Пирьонеси С. Мадех; Эль-Дираби Тамер Э. (01.06.2020). «Роль аналитики данных в управлении инфраструктурными активами: преодоление проблем, связанных с размером и качеством данных». Журнал транспортного машиностроения, часть B: Тротуары. 146 (2): 04020022. Дои:10.1061 / JPEODX.0000175.
3. Хасти, Тревор. (2001). Элементы статистического обучения: интеллектуальный анализ данных, вывод и прогнозирование: с 200 полноцветными иллюстрациями. Тибширани, Роберт., Фридман, Дж. Х. (Джером Х.). Нью-Йорк: Спрингер. ISBN  0-387-95284-5. OCLC  46809224.
4. Рассел, Стюарт; Норвиг, Питер (2003) [1995]. Искусственный интеллект: современный подход (2-е изд.). Прентис Холл. ISBN  978-0137903955.
5. Hand, D. J .; Ю. К. (2001). «Идиотский байесовский - не все ли так глуп?». Международный статистический обзор. 69 (3): 385–399. Дои:10.2307/1403452. ISSN  0306-7734. JSTOR  1403452.
6. Чжан, Гарри. Оптимальность наивного Байеса (PDF). Конференция FLAIRS2004.
7. Caruana, R .; Никулеску-Мизил, А. (2006). Эмпирическое сравнение алгоритмов обучения с учителем. Proc. 23-я Международная конференция по машинному обучению. CiteSeerX  10.1.1.122.5901.
8. Narasimha Murty, M .; Сушила Деви, В. (2011). Распознавание образов: алгоритмический подход. ISBN  978-0857294944.
9. Джон, Джордж Х .; Лэнгли, Пэт (1995). Оценка непрерывных распределений в байесовских классификаторах. Proc. Одиннадцатая конф. о неопределенности в искусственном интеллекте. Морган Кауфманн. С. 338–345. arXiv:1302.4964.
10. Маккаллум, Эндрю; Нигам, Камаль (1998). Сравнение моделей событий для классификации наивного байесовского текста (PDF). AAAI-98 семинар по обучению категоризации текста. 752.
11. Метсис, Вангелис; Андроутсопулос, Ион; Палиоурас, Георгиос (2006). Фильтрация спама с помощью наивного байесовского метода - какой наивный байесовский метод?. Третья конференция по электронной почте и борьбе со спамом (CEAS). 17.
12. «Джон Г. Х. и Лэнгли П. (2013). Оценка непрерывных распределений в байесовских классификаторах. Препринт arXiv arXiv: 1302.4964».
13. Пирьонеси С. Мадех; Эль-Дираби Тамер Э. (01.06.2020). «Роль аналитики данных в управлении инфраструктурными активами: преодоление проблем, связанных с размером и качеством данных». Журнал транспортного машиностроения, часть B: Тротуары. 146 (2): 04020022. Дои:10.1061 / JPEODX.0000175.
14. Хасти, Тревор. (2001). Элементы статистического обучения: интеллектуальный анализ данных, вывод и прогнозирование: с 200 полноцветными иллюстрациями. Тибширани, Роберт., Фридман, Дж. Х. (Джером Х.). Нью-Йорк: Спрингер. ISBN  0-387-95284-5. OCLC  46809224.
15. Ренни, Дж .; Shih, L .; Teevan, J .; Каргер, Д. (2003). Устранение неверных предположений наивных байесовских классификаторов (PDF). ICML.
16. Нигам, Камаль; Маккаллум, Эндрю; Трун, Себастьян; Митчелл, Том (2000). «Учимся классифицировать текст из помеченных и немаркированных документов с помощью EM» (PDF). Машинное обучение. 39 (2/3): 103–134. Дои:10.1023 / А: 1007692713085. S2CID  686980.
17. Никулеску-Мизил, Александру; Каруана, Рич (2005). Предсказание хороших вероятностей с помощью контролируемого обучения (PDF). ICML. Дои:10.1145/1102351.1102430. Архивировано из оригинал (PDF) на 2014-03-11. Получено 2016-04-24.
18. Риш, Ирина (2001). Эмпирическое исследование наивного байесовского классификатора (PDF). Семинар IJCAI по эмпирическим методам ИИ.
19. Нг, Эндрю Ю.; Джордан, Майкл И. (2002). О дискриминационных и генеративных классификаторах: сравнение логистической регрессии и наивного Байеса. НИПС. 14.

дальнейшее чтение

• Домингос, Педро; Паццани, Майкл (1997). «Об оптимальности простого байесовского классификатора при нулевой потере». Машинное обучение. 29 (2/3): 103–137. Дои:10.1023 / А: 1007413511361.
• Webb, G.I .; Boughton, J .; Ван, З. (2005). "Не такой уж наивный Байес: агрегирование оценок с одной зависимостью". Машинное обучение. 58 (1): 5–24. Дои:10.1007 / s10994-005-4258-6.
• Мозина, М .; Demsar, J .; Kattan, M .; Зупан, Б. (2004). Номограммы для визуализации наивного байесовского классификатора (PDF). Proc. ПКДД-2004. С. 337–348.
• Марон, М. Э. (1961). «Автоматическое индексирование: экспериментальное исследование». Журнал ACM. 8 (3): 404–417. Дои:10.1145/321075.321084. HDL:2027 / uva.x030748531. S2CID  6692916.
• Минский, М. (1961). Шаги к искусственному интеллекту. Proc. IRE. 49. С. 8–30.

внешняя ссылка

• Глава книги: Наивная байесовская классификация текстов, Введение в поиск информации
• Наивный байесовский метод классификации текста с несбалансированными классами
• Результаты тестов наивных байесовских реализаций
• Иерархические наивные байесовские классификаторы для неопределенных данных (расширение наивного байесовского классификатора).

Программного обеспечения

• Наивные байесовские классификаторы доступны во многих универсальных пакетах машинного обучения и НЛП, включая Apache Mahout, Молоток, НЛТК, апельсин, scikit-learn и Weka.
• Цифровые библиотеки IMSL Коллекции математических и статистических алгоритмов доступны на C / C ++, Fortran, Java и C # /. NET. Процедуры интеллектуального анализа данных в библиотеках IMSL включают наивный байесовский классификатор.
• Интерактивный Майкрософт Эксель электронная таблица Наивная реализация Байеса с помощью VBA (требуются включенные макросы) с видимым исходным кодом.
• jBNC - Панель инструментов классификатора байесовских сетей
• Набор инструментов статистического распознавания образов для Matlab.
• Ifile - первый свободно доступный (наивный) байесовский фильтр почты / спама
• NClassifier - NClassifier - это библиотека .NET, которая поддерживает классификацию текста и суммирование текста. Это порт Classifier4J.
• Классификатор4J - Classifier4J - это библиотека Java, предназначенная для классификации текста. Он поставляется с реализацией байесовского классификатора.
• JNBC Наивный байесовский классификатор, работающий в памяти или использующий быстрые хранилища значений ключей (MapDB, LevelDB или RocksDB).
• Blayze - Blayze - это минимальная библиотека JVM для наивной байесовской классификации, написанная на Kotlin.