Генеративная модель - Generative model

Эта статья о генеративных моделях в контексте статистической классификации. Для генеративных моделей Марковские процессы принятия решений, видеть Марковский процесс принятия решений § Симуляционные модели.

В статистическая классификация, два основных подхода называются генеративный подход и отличительный подход. Эти вычисляют классификаторы разными подходами, различающимися степенью статистическое моделирование. Терминология непоследовательна,^[а] но можно выделить три основных типа: Джебара (2004):

• Учитывая наблюдаемая переменная Икс и целевая переменная Y, а генеративная модель это статистическая модель из совместное распределение вероятностей на Икс × Y, ${\displaystyle P(X,Y)}$;^[1]
• А дискриминативная модель это модель условная возможность цели Y, учитывая наблюдение Икс, символически, ${\displaystyle P(Y|X=x)}$; и
• Классификаторы, вычисленные без использования вероятностной модели, также в общих чертах называются «дискриминационными».

Различие между этими двумя последними классами не проводится последовательно;^[2] Джебара (2004) называет эти три класса генеративное обучение, условное обучение, и различительное обучение, но Нг и Джордан (2002) только различают два класса, называя их генеративные классификаторы (совместное распространение) и дискриминантные классификаторы (условное распределение или отсутствие распределения), без различия между последними двумя классами.^[3] Аналогичным образом классификатор, основанный на генеративной модели, является генеративный классификатор, а классификатор на основе дискриминативной модели - это дискриминантный классификатор, хотя этот термин также относится к классификаторам, не основанным на модели.

Стандартные примеры каждого, все из которых линейные классификаторы, находятся:

• генеративные классификаторы:
  • наивный байесовский классификатор и
  • линейный дискриминантный анализ
• дискриминативная модель:
  • логистическая регрессия

Применительно к классификации хочется уйти от наблюдения Икс к этикетке у (или распределение вероятностей на этикетках). Это можно вычислить напрямую, без использования распределения вероятностей (классификатор без распространения); можно оценить вероятность метки с учетом наблюдения, ${\displaystyle P(Y|X=x)}$ (дискриминативная модель), и основывать классификацию на этом; или можно оценить совместное распределение ${\displaystyle P(X,Y)}$ (генеративная модель), исходя из этого вычисляем условную вероятность ${\displaystyle P(Y|X=x)}$, а затем основывать классификацию на этом. Они становятся все более косвенными, но все более вероятными, что позволяет применять больше знаний в предметной области и теории вероятностей. На практике используются разные подходы, в зависимости от конкретной проблемы, и гибриды могут сочетать сильные стороны нескольких подходов.

Определение

Альтернативное подразделение определяет их симметрично как:

• а генеративная модель модель условной вероятности наблюдаемого Икс, учитывая цель у, символически, ${\displaystyle P(X|Y=y)}$^[4]
• а дискриминативная модель модель условной вероятности цели Y, учитывая наблюдение Икс, символически, ${\displaystyle P(Y|X=x)}$^[5]

Независимо от точного определения, терминология является конституционной, поскольку генеративная модель может использоваться для «генерации» случайных экземпляров (результаты ), либо наблюдения, либо цели ${\displaystyle (x,y)}$, или наблюдения Икс заданное значение у,^[4] в то время как дискриминативная модель или дискриминативный классификатор (без модели) могут использоваться для «различения» значения целевой переменной. Y, учитывая наблюдение Икс.^[5] Разница между "различать "(различать) и"классифицировать "является тонким, и они не всегда различаются. (Термин" дискриминационный классификатор "становится плеоназм когда «различение» эквивалентно «классификации».)

Термин «генеративная модель» также используется для описания моделей, которые генерируют экземпляры выходных переменных таким образом, который не имеет четкой связи с распределениями вероятностей по потенциальным выборкам входных переменных. Генеративные состязательные сети являются примерами этого класса генеративных моделей и оцениваются в первую очередь по сходству конкретных выходных данных с потенциальными входами. Такие модели не являются классификаторами.

Отношения между моделями

Применительно к классификации наблюдаемая Икс часто бывает непрерывная переменная, цель Y обычно дискретная переменная состоящий из конечного набора меток, а условная вероятность ${\displaystyle P(Y|X)}$ может также интерпретироваться как (недетерминированный) целевая функция ${\displaystyle f\colon X\to Y}$, учитывая Икс в качестве входов и Y как выходы.

Учитывая конечный набор ярлыков, два определения «генеративной модели» тесно связаны. Модель условного распределения ${\displaystyle P(X|Y=y)}$ представляет собой модель распределения каждой метки, а модель совместного распределения эквивалентна модели распределения значений метки ${\displaystyle P(Y)}$вместе с распределением наблюдений с пометкой, ${\displaystyle P(X|Y)}$; символически, ${\displaystyle P(X,Y)=P(X|Y)P(Y).}$ Таким образом, хотя модель совместного распределения вероятностей более информативна, чем модель распределения меток (но без их относительных частот), это относительно небольшой шаг, поэтому они не всегда различаются.

Учитывая модель совместного распределения, ${\displaystyle P(X,Y)}$, распределение отдельных переменных может быть вычислено как маржинальные распределения ${\displaystyle P(X)=\sum _{y}P(X,Y=y)}$ и ${\displaystyle P(Y)=\int _{x}P(Y,X=x)}$ (учитывая Икс как непрерывный, следовательно, интегрируя по нему, и Y как дискретное, следовательно, суммируя по нему), и любое условное распределение может быть вычислено из определения условная возможность: ${\displaystyle P(X|Y)=P(X,Y)/P(Y)}$ и ${\displaystyle P(Y|X)=P(X,Y)/P(X)}$.

Учитывая модель одной условной вероятности и оцениваемую распределения вероятностей для переменных Икс и Y, обозначенный ${\displaystyle P(X)}$ и ${\displaystyle P(Y)}$, можно оценить обратную условную вероятность, используя Правило Байеса:

${\displaystyle P(X|Y)P(Y)=P(Y|X)P(X).}$

Например, учитывая генеративную модель для ${\displaystyle P(X|Y)}$можно оценить:

${\displaystyle P(Y|X)=P(X|Y)P(Y)/P(X),}$

и учитывая дискриминантную модель для ${\displaystyle P(Y|X)}$можно оценить:

${\displaystyle P(X|Y)=P(Y|X)P(X)/P(Y).}$

Обратите внимание, что правило Байеса (вычисление одной условной вероятности в терминах другой) и определение условной вероятности (вычисление условной вероятности в терминах совместного распределения) также часто объединяются.

Контраст с дискриминационными классификаторами

Генеративный алгоритм моделирует создание данных для классификации сигнала. Он задает вопрос: исходя из предположений о моем поколении, какая категория с наибольшей вероятностью будет генерировать этот сигнал? Дискриминантный алгоритм не заботится о том, как были сгенерированы данные, он просто классифицирует данный сигнал. Итак, дискриминационные алгоритмы пытаются научиться ${\displaystyle p(y|x)}$ непосредственно из данных, а затем попробуйте классифицировать данные. С другой стороны, генеративные алгоритмы пытаются научиться ${\displaystyle p(x,y)}$ который можно преобразовать в ${\displaystyle p(y|x)}$ позже для классификации данных. Одним из преимуществ генеративных алгоритмов является то, что вы можете использовать ${\displaystyle p(x,y)}$ для генерации новых данных, аналогичных существующим. С другой стороны, дискриминантные алгоритмы обычно обеспечивают лучшую производительность в задачах классификации.^[6]

Несмотря на то, что дискриминативные модели не нуждаются в моделировании распределения наблюдаемых переменных, они, как правило, не могут выражать сложные отношения между наблюдаемыми и целевыми переменными. Они не обязательно работают лучше, чем генеративные модели в классификация и регресс задачи. Эти два класса рассматриваются как дополняющие друг друга или как разные точки зрения на одну и ту же процедуру.^[7]

Глубокие генеративные модели

С развитием глубокого обучения появилось новое семейство методов, называемых глубокими генеративными моделями (DGM),^[8][9] формируется за счет комбинации генеративных моделей и глубоких нейронных сетей. Уловка DGM заключается в том, что нейронные сети, которые мы используем в качестве генеративных моделей, имеют ряд параметров, значительно меньших, чем объем данных, на которых мы их обучаем, поэтому модели вынуждены обнаруживать и эффективно усваивать сущность данных, чтобы генерировать Это.

Популярные DGM включают вариационный автоэнкодер (VAE), генеративные состязательные сети (GAN) и авторегрессивные модели. Существует тенденция построения больших глубинных генеративных моделей.^[8] Например, GPT-3, и его предшественник GPT-2,^[10] для авторегрессивных нейронных языковых моделей BigGAN^[11] и VQ-VAE^[12] для генерации изображений, Optimus^[13] как самая большая языковая модель VAE, музыкальный автомат как самая большая модель VAE для создания музыки^[14]

У DGM есть множество краткосрочных применений. Но в долгосрочной перспективе они обладают потенциалом для автоматического изучения естественных особенностей набора данных, будь то категории, измерения или что-то еще.^[9]

Типы

Генеративные модели

Типы генеративных моделей:

• Модель гауссовой смеси (и другие виды модель смеси )
• Скрытая марковская модель
• Вероятностная контекстно-свободная грамматика
• Байесовская сеть (например. Наивный байесовский, Авторегрессионная модель )
• Усредненные оценки с одной зависимостью
• Скрытое размещение Дирихле
• Машина Больцмана (например. Ограниченная машина Больцмана, Сеть глубоких убеждений )
• Вариационный автоэнкодер
• Генеративная состязательная сеть
• Генеративная модель на основе потоков
• Модель на основе энергии

Если наблюдаемые данные действительно взяты из генеративной модели, то подгонка параметров генеративной модели к максимизировать вероятность данных это распространенный метод. Однако, поскольку большинство статистических моделей являются только приближениями к истинный распределения, если приложение модели состоит в том, чтобы сделать вывод о подмножестве переменных, обусловленных известными значениями других, то можно утверждать, что аппроксимация делает больше предположений, чем необходимо для решения данной проблемы. В таких случаях может быть более точным моделирование функций условной плотности непосредственно с использованием дискриминативная модель (см. ниже), хотя детали, специфичные для конкретного приложения, в конечном итоге будут определять, какой подход является наиболее подходящим в каждом конкретном случае.

Дискриминационные модели

• алгоритм k-ближайших соседей
• Логистическая регрессия
• Машины опорных векторов
• Деревья решений
• Случайный лес
• Марковские модели с максимальной энтропией
• Условные случайные поля
• Нейронные сети

Примеры

Простой пример

Предположим, что входные данные ${\displaystyle x\in \{1,2\}}$, набор этикеток для ${\displaystyle x}$ является ${\displaystyle y\in \{0,1\}}$, и есть следующие 4 точки данных:${\displaystyle (x,y)=\{(1,0),(1,1),(2,0)\}}$

Для приведенных выше данных оценка совместного распределения вероятностей ${\displaystyle p(x,y)}$ от эмпирическая мера будет следующее:

	${\displaystyle y=0}$	${\displaystyle y=1}$
${\displaystyle x=1}$	${\displaystyle 4/9}$	${\displaystyle 1/9}$
${\displaystyle x=2}$	${\displaystyle 2/9}$	${\displaystyle 2/9}$

пока ${\displaystyle p(y|x)}$ будет следующее:

	${\displaystyle y=0}$	${\displaystyle y=1}$
${\displaystyle x=1}$	${\displaystyle 1/2}$	${\displaystyle 1/2}$
${\displaystyle x=2}$	${\displaystyle 1}$	${\displaystyle 0}$

Генерация текста

Шеннон (1948) дает пример, в котором таблица частот пар английских слов используется для генерации предложения, начинающегося со слов «представляющий и быстро является хорошим»; что не является правильным английским языком, но будет все больше приближаться к нему по мере перемещения таблицы от пар слов к тройкам слов и т. д.

Смотрите также

• Математический портал

• Дискриминационная модель
• Графическая модель

Примечания

1. Три ведущих источника, Ng & Jordan 2002, Джебара 2004, и Митчелл 2015, дайте разные подразделения и определения.

Рекомендации

1. Нг и Джордан (2002): "Генеративные классификаторы изучают модель совместной вероятности, ${\displaystyle p(x,y)}$, входов Икс и этикетка у, и делают свои прогнозы, используя правила Байеса для вычисления ${\displaystyle p(y|x)}$, а затем выбрав наиболее вероятный ярлык у.
2. Джебара 2004, 2.4 Дискриминационное обучение: «Это различие между условным обучением и дискриминирующим обучением в настоящее время не является общепринятым в этой области».
3. Ng & Jordan 2002: "Дискриминационные классификаторы моделируют апостериорную ${\displaystyle p(y|x)}$ напрямую или изучите прямую карту из входных Икс на ярлыки класса ".
4. Митчелл 2015: "Мы можем использовать правило Байеса в качестве основы для разработки алгоритмов обучения (аппроксиматоров функций) следующим образом: Учитывая, что мы хотим изучить некоторую целевую функцию ${\displaystyle f\colon X\to Y}$, или эквивалентно, ${\displaystyle P(Y|X)}$, мы используем данные обучения, чтобы узнать оценки ${\displaystyle P(X|Y)}$ и ${\displaystyle P(Y)}$. Новый Икс затем примеры можно классифицировать, используя эти оценочные распределения вероятностей плюс правило Байеса. Этот тип классификатора называется генеративный классификатор, потому что мы можем просмотреть распределение ${\displaystyle P(X|Y)}$ как описание того, как генерировать случайные экземпляры Икс обусловлено целевым атрибутом Y.
5. Митчелл 2015: "Логистическая регрессия - это алгоритм аппроксимации функции, который использует обучающие данные для непосредственной оценки ${\displaystyle P(Y|X)}$, в отличие от Наивного Байеса. В этом смысле логистическую регрессию часто называют отличительный классификатор, потому что мы можем просмотреть распределение ${\displaystyle P(Y|X)}$ как прямое различение значения целевого значения Y для любого конкретного случая Икс
6. Ng & Jordan 2002
7. Bishop, C.M .; Лассер, Дж. (24 сентября 2007 г.), «Генеративный или дискриминационный? Получение лучшего из обоих миров», Бернардо, Дж. М. (ред.), Байесовская статистика 8: протоколы восьмого международного совещания в Валенсии, 2-6 июня 2006 г., Oxford University Press, стр. 3–23, ISBN  978-0-19-921465-5
8. «Масштабирование - исследователи продвигают крупномасштабные глубинные генеративные модели». 9 апреля 2020.
9. «Генеративные модели». OpenAI. 16 июня 2016 г.
10. «Лучшие языковые модели и их последствия». OpenAI. 14 февраля 2019.
11. Брок, Эндрю; Донахью, Джефф; Симонян, Карен (2018). «Крупномасштабное обучение GAN для высокоточного синтеза естественных изображений». arXiv:1809.11096 [cs.LG ].
12. Разави, Али; Аарон ван ден Оорд; Виньялс, Ориол (2019). «Создание разнообразных высококачественных изображений с помощью VQ-VAE-2». arXiv:1906.00446 [cs.LG ].
13. Ли, Чуньюань; Гао, Сян; Ли, Юань; Ли, Сюцзюнь; Пэн, Баолинь; Чжан, Ижэ; Гао, Цзяньфэн (2020). «Оптимус: Организация предложений с помощью предварительно обученного моделирования скрытого пространства». arXiv:2004.04092 [cs.CL ].
14. "Музыкальный автомат". OpenAI. 30 апреля 2020 г.

внешняя ссылка

• Шеннон, К. (1948). «Математическая теория коммуникации» (PDF). Технический журнал Bell System. 27 (Июль, октябрь): 379–423, 623–656. Дои:10.1002 / j.1538-7305.1948.tb01338.x. HDL:10338.dmlcz / 101429.
• Митчелл, Том М. (2015). «3. Генеративный и дискриминативный классификаторы: наивный байесовский и логистический регресс» (PDF). Машинное обучение.
• Нг, Эндрю Ю.; Джордан, Майкл И. (2002). «О дискриминирующих и генеративных классификаторах: сравнение логистической регрессии и наивного байеса» (PDF). Достижения в системах обработки нейронной информации.
• Джебара, Тони (2004). Машинное обучение: дискриминационное и генеративное. Серия Springer International в области инженерии и информатики. Kluwer Academic (Springer). ISBN  978-1-4020-7647-3.
• Джебара, Тони (2002). Дискриминационное, генеративное и имитационное обучение (Кандидат наук). Массачусетский Институт Технологий. HDL:1721.1/8323., (зеркало, зеркало ), опубликованная в виде книги (см. выше)