Цепочки классификаторов - Classifier chains

Цепочки классификаторов это машинное обучение метод трансформации задачи в классификация с несколькими этикетками. Он сочетает в себе вычислительную эффективность Бинарная релевантность метод, все еще имея возможность учитывать зависимости меток для классификация.^[1]

Преобразование проблемы

Существует несколько методов преобразования проблемы. Один из них является Бинарная релевантность метод (BR). Учитывая набор этикеток ${\displaystyle {\mathit {L}}\,}$ и набор данных с экземплярами формы ${\displaystyle {\mathit {(x,Y)}}\,}$ куда ${\displaystyle {\mathit {x}}\,}$ это вектор признаков и ${\displaystyle Y\subseteq L}$ представляет собой набор меток, присвоенных экземпляру. BR преобразует набор данных в ${\displaystyle \left\vert L\right\vert }$ наборы данных и учится ${\displaystyle \left\vert L\right\vert }$ бинарные классификаторы ${\displaystyle H:X\rightarrow \{l,\neg l\}}$ для каждой этикетки ${\displaystyle l\in L}$. Во время этого процесса информация о зависимостях между метками не сохраняется. Это может привести к ситуации, когда для экземпляра назначается набор меток, хотя эти метки никогда не встречаются вместе в наборе данных. Таким образом, информация о совместном появлении меток может помочь назначить правильные комбинации меток. Потеря этой информации в некоторых случаях может привести к снижению эффективности классификации.^[2]

Другой подход, который учитывает корреляцию меток, - Этикетка Powerset метод (LP). Каждая другая комбинация меток в наборе данных считается одной меткой. После преобразования однокомпонентный классификатор ${\displaystyle H:X\rightarrow {\mathcal {P}}(L)}$ обучается где ${\displaystyle {\mathcal {P}}(L)}$ это набор мощности всех этикеток в ${\displaystyle {\mathit {L}}\,}$. Главный недостаток этого подхода состоит в том, что количество комбинаций меток растет экспоненциально с увеличением количества меток. Например, набор данных с несколькими этикетками с 10 этикетками может содержать до ${\displaystyle 2^{10}=1024}$ комбинации этикеток. Это увеличивает время выполнения классификации.

Метод цепочек классификаторов основан на методе BR и работает даже на большом количестве меток. Кроме того, он учитывает зависимости между метками.

Описание метода

Для заданного набора этикеток ${\displaystyle {\mathit {L}}\,}$ Модель цепочки классификаторов (CC) изучает ${\displaystyle \left\vert L\right\vert }$ классификаторы как в методе двоичной релевантности. Все классификаторы связаны в цепочку через пространство признаков.

Учитывая набор данных, где ${\displaystyle i}$-й экземпляр имеет вид ${\displaystyle {\mathit {(x_{i},Y_{i})}}\,}$ куда ${\displaystyle {\mathit {Y_{i}}}\,}$ это подмножество ярлыков, ${\displaystyle {\mathit {x_{i}}}\,}$ это набор функций. Набор данных преобразуется в ${\displaystyle \left\vert L\right\vert }$ наборы данных, в которых экземпляры ${\displaystyle j}$-й набор данных имеет вид ${\displaystyle ((x_{i},l_{1},...,l_{j-1}),l_{j}),l_{j}\in \{0,1\}}$. Если ${\displaystyle j}$-я метка была присвоена экземпляру, затем ${\displaystyle {\mathit {l_{j}}}\,}$ является ${\displaystyle 1}$, иначе это ${\displaystyle 0}$. Таким образом, классификаторы выстраивают цепочку, в которой каждый из них изучает двоичную классификацию отдельной метки. Функции, данные каждому классификатору, расширены двоичными значениями, указывающими, какие из предыдущих меток были присвоены экземпляру.

При классификации новых экземпляров метки снова предсказываются путем построения цепочки классификаторов. Классификация начинается с первого классификатора ${\displaystyle {\mathit {C_{1}}}\,}$ и переходит к последнему ${\displaystyle {\mathit {C_{|L|}}}\,}$ путем передачи информации о ярлыках между классификаторами через пространство признаков. Следовательно, сохраняется зависимость между метками. Однако результат может отличаться для разного порядка цепочек. Например, если метка часто встречается вместе с какой-то другой меткой, только экземпляры одной из меток, которая идет позже в порядке меток, будут иметь информацию о другой в своем векторе признаков. Для решения этой проблемы и повышения точности можно использовать ансамбль классификаторов.^[3]

В ансамбле цепочек классификаторов (ECC) несколько классификаторов CC могут быть обучены со случайным порядком цепочек (то есть случайным порядком меток) на случайном подмножестве набора данных. Метки нового экземпляра прогнозируются каждым классификатором отдельно. После этого для каждой метки подсчитывается общее количество прогнозов или «голосов». Метка принимается, если она была предсказана процентным соотношением классификаторов, превышающим некоторое пороговое значение.

Рекомендации

1. Читай, Джесси; Бернхард Пфарингер; Джефф Холмс; Эйбе Франк (2009). «Цепочки классификаторов для классификации по нескольким меткам» (PDF). Протоколы 13-й Европейской конференции по принципам и практике обнаружения знаний в базах данных и 20-й Европейской конференции по машинному обучению. 2009.
2. Дембчинский, Кшиштоф; Виллем Вэгеман; Вэйвэй Чэн; Эйке Хюллермайер (2010). «Зависимость от лейбла в многокомпонентной классификации» (PDF). Практикум по изучению данных с нескольких этикеток. 2010: 5–12.
3. Рокач, Лиор (2010). «Ансамблевые классификаторы» (PDF). Артиф. Intell. Rev. Норвелл, Массачусетс, США: ACM. 33 (1–2): 1–39. Дои:10.1007 / s10462-009-9124-7.

внешняя ссылка

• Улучшенные цепочки классификаторов для классификации по нескольким меткам Презентация цепочек классификаторов Джесси Рид и Фернандо Перес Крус