Дискриминационная модель - Discriminative model

Дискриминационные модели, также называемый условные модели, представляют собой класс логистических моделей, используемых для классификация или регресс. Они различают границы принятия решений с помощью наблюдаемых данных, таких как пройден / не пройден, выиграл / проиграл, жив / мертв или здоров / болен.

Типичные дискриминативные модели включают: логистическая регрессия (LR), условные случайные поля (CRF) (заданные над неориентированным графом), деревья решений, и много других. Типичные подходы к генеративной модели включают: наивные байесовские классификаторы, Модели гауссовой смеси, вариационные автокодеры и другие.

Определение

В отличие от генеративного моделирования, которое исследует совместная вероятность ${displaystyle P(x,y)}$дискриминантное моделирование исследует ${displaystyle P(y|x)}$ или прямое отображение данной ненаблюдаемой переменной (цели) ${displaystyle x}$ метка класса ${displaystyle y}$ зависели от наблюдаемых переменных (обучающих выборок). Например, в распознавание объекта, ${displaystyle x}$ скорее всего будет вектором необработанных пикселей (или функций, извлеченных из необработанных пикселей изображения). В рамках вероятностной модели это делается путем моделирования условное распределение вероятностей ${displaystyle P(y|x)}$, который можно использовать для прогнозирования ${displaystyle y}$ из ${displaystyle x}$. Обратите внимание, что все еще существует различие между условной моделью и дискриминативной моделью, хотя чаще они просто классифицируются как дискриминативная модель.

Чистая дискриминативная модель против условной модели

А условная модель моделирует условное распределение вероятностей, в то время как традиционная дискриминантная модель направлена ​​на оптимизацию отображения входных данных на наиболее похожие обученные выборки.^[1]

Типичные подходы к дискриминативному моделированию^[2]

Следующий подход основан на предположении, что ему задан обучающий набор данных. ${displaystyle D={(x_{i};y_{i})|ileq Nin mathbb {Z} }}$, куда ${displaystyle y_{i}}$соответствующий выход для входа ${displaystyle x_{i}}$.

Линейный классификатор

Мы намерены использовать функцию ${displaystyle f(x)}$для моделирования поведения того, что мы наблюдали из набора обучающих данных, с помощью линейный классификатор метод. Использование вектора совместных признаков ${displaystyle phi (x,y)}$, решающая функция определяется как:

${displaystyle f(x,w)=arg max _{y}w^{T}phi (x,y)}$

Согласно интерпретации Мемишевича,^[2] ${displaystyle w^{T}phi (x,y)}$, который также ${displaystyle c(x,y;w)}$, вычисляет оценку, которая измеряет вычислимость входных данных ${displaystyle x}$ с потенциальным выходом ${displaystyle y}$. Тогда ${displaystyle arg max }$ определяет класс с наивысшим баллом.

Логистическая регрессия (LR)

Поскольку 0-1 функция потерь является широко используемым в теории принятия решений, условное распределение вероятностей ${displaystyle P(y|x;w)}$, куда ${displaystyle w}$ - вектор параметров для оптимизации обучающих данных, может быть пересмотрен следующим образом для модели логистической регрессии:

${displaystyle P(y|x;w)={frac {1}{Z(x;w)}}exp(w^{T}phi (x,y))}$, с

${displaystyle Z(x;w)= extstyle sum _{y}displaystyle exp(w^{T}phi (x,y))}$

Уравнение выше представляет логистическая регрессия. Обратите внимание, что основное различие между моделями заключается в их способе введения апостериорной вероятности. Апостериорная вероятность выводится из параметрической модели. Затем мы можем максимизировать параметр, используя следующее уравнение:

${displaystyle L(w)= extstyle sum _{i}displaystyle log p(y^{i}|x^{i};w)}$

Его также можно было заменить на потеря журнала уравнение ниже:

${displaystyle l^{log }(x^{i},y^{i},c(x^{i};w))=-log p(y^{i}|x^{i};w)=log Z(x^{i};w)-w^{T}phi (x^{i},y^{i})}$

Поскольку потеря журнала является дифференцируемым, для оптимизации модели можно использовать градиентный метод. Глобальный оптимум гарантирован, поскольку целевая функция выпуклая. Градиент логарифмической вероятности представлен следующим образом:

${displaystyle {frac {partial L(w)}{partial w}}= extstyle sum _{i}displaystyle phi (x^{i},y^{i})-E_{p(y|x^{i};w)}phi (x^{i},y)}$

куда ${displaystyle E_{p(y|x^{i};w)}}$это ожидание ${displaystyle p(y|x^{i};w)}$.

Вышеупомянутый метод обеспечит эффективные вычисления для относительно небольшого количества классификаций.

Контраст с генеративной моделью

Контраст в подходах

Допустим, нам дан ${displaystyle m}$ метки классов (классификация) и ${displaystyle n}$ переменные функции, ${displaystyle Y:{y_{1},y_{2},ldots ,y_{m}},X:{x_{1},x_{2},ldots ,x_{n}}}$, как обучающие образцы.

Генеративная модель использует совместную вероятность ${displaystyle P(x,y)}$, куда ${displaystyle x}$ это вход и ${displaystyle y}$ это метка, и прогнозирует наиболее известную метку ${displaystyle {widetilde {y}}in Y}$ для неизвестной переменной ${displaystyle {widetilde {x}}}$ с помощью Теорема Байеса.^[3]

Дискриминационные модели, в отличие от генеративные модели, не позволяйте генерировать образцы из совместное распределение наблюдаемых и целевых переменных. Однако для таких задач, как классификация и регресс для которых не требуется совместное распределение, дискриминантные модели могут дать более высокую производительность (отчасти потому, что в них требуется вычислить меньше переменных).^[4][5][3] С другой стороны, генеративные модели обычно более гибкие, чем дискриминационные модели, в выражении зависимостей в сложных учебных задачах. Кроме того, большинство дискриминационных моделей по своей природе под наблюдением и не может легко поддерживать обучение без учителя. Детали, специфичные для конкретного приложения, в конечном итоге определяют целесообразность выбора дискриминирующей или генеративной модели.

Дискриминативные модели и генеративные модели также различаются тем, что вводят апостериорная возможность.^[6] Чтобы сохранить наименьшие ожидаемые потери, необходимо минимизировать ошибочную классификацию результатов. В дискриминативной модели апостериорные вероятности, ${displaystyle P(y|x)}$, выводится из параметрической модели, где параметры берутся из обучающих данных. Точки оценки параметров получаются путем вычисления максимизации вероятности или распределения по параметрам. С другой стороны, учитывая, что генеративные модели фокусируются на совместной вероятности, класс апостериорной возможности ${displaystyle P(k)}$ рассматривается в Теорема Байеса, который

${displaystyle P(y|x)={frac {p(x|y)p(y)}{ extstyle sum _{i}p(x|i)p(i)displaystyle }}={frac {p(x|y)p(y)}{p(x)}}}$.^[6]

Достоинства и недостатки в применении

В повторяющихся экспериментах логистическая регрессия и наивный байесовский метод применяются здесь для различных моделей в задаче бинарной классификации, дискриминантное обучение приводит к более низким асимптотическим ошибкам, а генеративное - к более высоким асимптотическим ошибкам быстрее.^[3] Однако в совместной работе Улусоя и Епископа Сравнение генеративных и дискриминационных методов обнаружения и классификации объектов, они заявляют, что вышеприведенное утверждение верно только тогда, когда модель является подходящей для данных (т.е.распределение данных правильно моделируется генеративной моделью).

Преимущества

Существенными преимуществами использования дискриминантного моделирования являются:

• Более высокая точность, что в основном приводит к лучшему результату обучения.
• Позволяет упростить ввод и обеспечивает прямой подход к ${displaystyle P(y|x)}$
• Экономит расчетный ресурс
• Создает более низкие асимптотические ошибки

По сравнению с преимуществами использования генеративного моделирования:

• Принимает во внимание все данные, что может привести к замедлению обработки в качестве недостатка
• Требуется меньше обучающих выборок
• Гибкая структура, которая может легко взаимодействовать с другими потребностями приложения.

Недостатки

• Метод обучения обычно требует нескольких методов численной оптимизации.^[1]
• Точно так же по определению дискриминативная модель потребует комбинации нескольких подзадач для решения сложной реальной проблемы.^[2]

Оптимизация в приложениях

Поскольку в двух способах моделирования присутствуют как преимущества, так и недостатки, сочетание обоих подходов будет хорошим моделированием на практике. Например, в статье Марраса Совместная дискриминирующая генеративная модель для построения и классификации деформируемых моделей,^[7] он и его соавторы применяют комбинацию двух моделей для классификации лиц моделей и получают более высокую точность, чем традиционный подход.

Точно так же Кельм^[8] также предложил комбинацию двух моделей для классификации пикселей в своей статье Сочетание генеративных и дискриминантных методов классификации пикселей с многоканальным обучением.

В процессе извлечения отличительных признаков до кластеризации, Анализ главных компонентов (PCA), хотя и широко используется, не обязательно является дискриминационным подходом. Напротив, LDA - дискриминационный.^[9] Линейный дискриминантный анализ (LDA), обеспечивает эффективный способ устранения недостатка, который мы перечислили выше. Как мы знаем, дискриминантная модель требует комбинации нескольких подзадач перед классификацией, и LDA обеспечивает соответствующее решение этой проблемы за счет уменьшения размерности.

В Beyerleinбумага, ДИСКРИМИНАЦИОННАЯ КОМБИНАЦИЯ МОДЕЛЕЙ,^[10] Комбинация дискриминационных моделей обеспечивает новый подход к автоматическому распознаванию речи. Это не только помогает оптимизировать интеграцию различных типов моделей в одно лог-линейное апостериорное распределение вероятностей. Комбинация также направлена ​​на минимизацию эмпирической ошибки в словах обучающих выборок.

В статье «Единая и дискриминационная модель уточнения запросов»,^[11] Гуо и его партнеры используют унифицированную дискриминантную модель при уточнении запросов с использованием линейного классификатора и успешно получают гораздо более высокий уровень точности. Планируемый ими эксперимент также рассматривает генеративную модель в сравнении с унифицированной моделью. Как и ожидалось в реальном приложении, генеративная модель работает хуже всех по сравнению с другими моделями, включая модели без их улучшения.

Типы

Примеры дискриминационных моделей включают:

• Логистическая регрессия, тип обобщенная линейная регрессия используется для прогнозирования двоичный или же категоричный выходы (также известные как классификаторы максимальной энтропии )
• Повышение (мета-алгоритм)
• Условные случайные поля
• Линейная регрессия
• Случайные леса

Смотрите также

• Математический портал

• Генеративная модель

Рекомендации

1. Бальестерос, Мигель. «Дискриминационные модели» (PDF). Получено 28 октября, 2018.^{[постоянная мертвая ссылка ]}
2. Мемишевич, Роланд (21 декабря 2006 г.). «Введение в структурированное дискриминационное обучение». Получено 29 октября, 2018.
3. Ng, Andrew Y .; Джордан, Майкл И. (2001). О дискриминирующих и генеративных классификаторах: сравнение логистической регрессии и наивного байесовского метода.
4. Singla, Parag; Домингос, Педро (2005). «Дискриминационное обучение марковских логических сетей». Труды 20-й Национальной конференции по искусственному интеллекту - Том 2. AAAI'05. Питтсбург, Пенсильвания: AAAI Press: 868–873. ISBN  978-1577352365.
5. Дж. Лафферти, А. Маккаллум и Ф. Перейра. Условные случайные поля: вероятностные модели для сегментации и маркировки данных последовательности. В ICML, 2001.
6. Улусой, Илкай (май 2016 г.). «Сравнение генеративных и дискриминационных методов обнаружения и классификации объектов» (PDF). Получено 30 октября, 2018.
7. Маррас, Иоаннис (2017). «Совместная дискриминирующая генеративная модель для построения и классификации деформируемых моделей» (PDF). Получено 5 ноября 2018.
8. Кельм, Б. Майкл. «Сочетание генеративных и дискриминационных методов для классификации пикселей с многоканальным обучением» (PDF). Получено 5 ноября 2018.
9. Ван, Чжанъян (2015). «Совместная платформа оптимизации разреженного кодирования и дискриминирующей кластеризации» (PDF). Получено 5 ноября 2018.
10. Бейерлейн, Питер (1998). «ДИСКРИМИНАЦИОННАЯ КОМБИНАЦИЯ МОДЕЛЕЙ»: 481–484. CiteSeerX  10.1.1.454.9567.
11. Го, Цзяфэн. «Единая и дискриминационная модель для уточнения запросов».