Матрица путаницы - Confusion matrix

Терминология и производные
из матрица путаницы

положительное состояние (P) количество реальных положительных случаев в данных условие отрицательное (N) количество реальных отрицательных случаев в данных истинно положительный (TP) экв. с хитом истинно отрицательный (TN) экв. с правильным отклонением ложное срабатывание (FP) экв. с ложная тревога, Ошибка типа I ложноотрицательный (FN) экв. с мисс, Ошибка типа II чувствительность, отзывать, частота попаданий, или же истинно положительная ставка (TPR) ${\displaystyle \mathrm {TPR} ={\frac {\mathrm {TP} }{\mathrm {P} }}={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} }}=1-\mathrm {FNR} }$ специфичность, избирательность или же истинно отрицательная ставка (TNR) ${\displaystyle \mathrm {TNR} ={\frac {\mathrm {TN} }{\mathrm {N} }}={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FP} }}=1-\mathrm {FPR} }$ точность или же положительная прогностическая ценность (PPV) ${\displaystyle \mathrm {PPV} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FP} }}=1-\mathrm {FDR} }$ отрицательная прогностическая ценность (ЧПС) ${\displaystyle \mathrm {NPV} ={\frac {\mathrm {TN} }{\mathrm {TN} +\mathrm {FN} }}=1-\mathrm {FOR} }$ рейтинг промахов или ложноотрицательная ставка (FNR) ${\displaystyle \mathrm {FNR} ={\frac {\mathrm {FN} }{\mathrm {P} }}={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TP} }}=1-\mathrm {TPR} }$ выпадать или же ложноположительный рейтинг (FPR) ${\displaystyle \mathrm {FPR} ={\frac {\mathrm {FP} }{\mathrm {N} }}={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TN} }}=1-\mathrm {TNR} }$ коэффициент ложного обнаружения (FDR) ${\displaystyle \mathrm {FDR} ={\frac {\mathrm {FP} }{\mathrm {FP} +\mathrm {TP} }}=1-\mathrm {PPV} }$ коэффициент ложных пропусков (ЗА) ${\displaystyle \mathrm {FOR} ={\frac {\mathrm {FN} }{\mathrm {FN} +\mathrm {TN} }}=1-\mathrm {NPV} }$ Порог распространенности (PT) ${\displaystyle PT={\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}}$ Оценка угрозы (TS) или индекс критического успеха (CSI) ${\displaystyle \mathrm {TS} ={\frac {\mathrm {TP} }{\mathrm {TP} +\mathrm {FN} +\mathrm {FP} }}}$ точность (АКК) ${\displaystyle \mathrm {ACC} ={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {P} +\mathrm {N} }}={\frac {\mathrm {TP} +\mathrm {TN} }{\mathrm {TP} +\mathrm {TN} +\mathrm {FP} +\mathrm {FN} }}}$ сбалансированная точность (BA) ${\displaystyle \mathrm {BA} ={\frac {TPR+TNR}{2}}}$ Оценка F1 это гармоническое среднее из точность и чувствительность ${\displaystyle \mathrm {F} _{1}=2\cdot {\frac {\mathrm {PPV} \cdot \mathrm {TPR} }{\mathrm {PPV} +\mathrm {TPR} }}={\frac {2\mathrm {TP} }{2\mathrm {TP} +\mathrm {FP} +\mathrm {FN} }}}$ Коэффициент корреляции Мэтьюза (MCC) ${\displaystyle \mathrm {MCC} ={\frac {\mathrm {TP} \times \mathrm {TN} -\mathrm {FP} \times \mathrm {FN} }{\sqrt {(\mathrm {TP} +\mathrm {FP} )(\mathrm {TP} +\mathrm {FN} )(\mathrm {TN} +\mathrm {FP} )(\mathrm {TN} +\mathrm {FN} )}}}}$ Индекс Фаулкса – Маллоуса (FM) ${\displaystyle \mathrm {FM} ={\sqrt {{\frac {TP}{TP+FP}}\cdot {\frac {TP}{TP+FN}}}}={\sqrt {PPV\cdot TPR}}}$ информированность или букмекерской конторы (BM) ${\displaystyle \mathrm {BM} =\mathrm {TPR} +\mathrm {TNR} -1}$ отмеченность (МК) или deltaP ${\displaystyle \mathrm {MK} =\mathrm {PPV} +\mathrm {NPV} -1}$ Источники: Fawcett (2006),[1] Полномочия (2011),[2] Тинг (2011),[3], CAWCR[4] Д. Чикко и Г. Джурман (2020),[5] Тарват (2018).[6]

В области машинное обучение и конкретно проблема статистическая классификация, а матрица путаницы, также известная как матрица ошибок,^[7] представляет собой конкретный макет таблицы, который позволяет визуализировать производительность алгоритма, обычно контролируемое обучение один в обучение без учителя его обычно называют матрица соответствия). Каждая строка матрица представляет экземпляры в прогнозируемом классе, а каждый столбец представляет экземпляры в фактическом классе (или наоборот).^[8] Название проистекает из того факта, что оно позволяет легко увидеть, не путает ли система два класса (т. Е. Часто ошибочно маркируют один как другой).

Это особый вид Таблица сопряженности, с двумя измерениями («фактическое» и «прогнозируемое») и идентичными наборами «классов» в обоих измерениях (каждая комбинация измерения и класса является переменной в таблице непредвиденных обстоятельств).

Пример

Для выборки из 13 изображений 8 кошек и 5 собак, где кошки принадлежат к классу 1, а собаки относятся к классу 0,

фактическое = [1,1,1,1,1,1,1,1,0,0,0,0,0],

Предположим, что классификатор, который проводит различие между кошками и собаками, обучен, и мы берем 13 изображений и пропускаем их через классификатор, и классификатор делает 8 точных прогнозов и пропускает 5: 3 кошек, ошибочно предсказанных как собак (первые 3 прогноза) и 2 собаки ошибочно предсказаны как кошки (последние 2 прогноза).

прогноз = [0,0,0,1,1,1,1,1,0,0,0,1,1]

С помощью этих двух помеченных наборов (фактический и прогнозный) мы можем создать матрицу путаницы, которая суммирует результаты тестирования классификатора:

Фактический класс Кот Собака Предсказанный учебный класс Кот 5 2 Собака 3 3

В этой матрице путаницы из 8 изображений кошек система решила, что 3 были собаками, а из 5 изображений собак она предсказала, что 2 были кошками. Все правильные прогнозы расположены по диагонали таблицы (выделены жирным шрифтом), поэтому можно легко визуально проверить таблицу на предмет ошибок прогноза, поскольку они будут представлены значениями за пределами диагонали.

В абстрактном смысле матрица путаницы выглядит следующим образом:

Фактический класс п N Предсказанный учебный класс п TP FP N FN TN

где: P = положительный; N = отрицательный; TP = истинно положительный; FP = ложноположительный результат; TN = истинно отрицательный; FN = ложноотрицательный.

Таблица путаницы

В прогнозная аналитика, а таблица путаницы (иногда также называют матрица путаницы) представляет собой таблицу с двумя строками и двумя столбцами, в которой указано количество ложные срабатывания, ложные отрицания, истинные положительные моменты, и истинные негативы. Это позволяет проводить более подробный анализ, чем простая пропорция правильных классификаций (точности). Точность приведет к ошибочным результатам, если набор данных несбалансирован; то есть, когда количество наблюдений в разных классах сильно различается. Например, если в данных было 95 кошек и только 5 собак, конкретный классификатор мог бы классифицировать все наблюдения как кошек. Общая точность будет 95%, но, более подробно, классификатор будет иметь 100% степень распознавания (чувствительность ) для класса кошек, но уровень распознавания 0% для класса собак. Оценка F1 в таких случаях еще более ненадежен, и здесь будет давать более 97,4%, тогда как информированность устраняет такую ​​предвзятость и дает 0 как вероятность обоснованного решения для любой формы угадывания (здесь всегда угадывающий кот).

Согласно Давиде Чикко и Джузеппе Юрману, наиболее информативным показателем для оценки матрицы неточностей является Коэффициент корреляции Мэтьюза (MCC).^[9]

Предполагая приведенную выше матрицу путаницы, соответствующая ей таблица ошибок для класса cat будет:

		Фактический класс
		Кот	Не кошка
Предсказанный учебный класс	Кот	5 истинных плюсов	2 ложных срабатывания
	Не кошка	3 ложных отрицания	3 истинных отрицания

Окончательная таблица путаницы будет содержать средние значения для всех классов вместе взятых.

Определим эксперимент из п положительные примеры и N отрицательные примеры для какого-то состояния. Четыре исхода можно сформулировать в виде 2 × 2 матрица путаницы, следующее:

		Истинное состояние
	Всего населения	Состояние положительное	Состояние отрицательное	Распространенность = Σ Условие положительное/Σ Всего населения	Точность (АКК) = Σ Истинно положительный + Σ Истинно отрицательный/Σ Всего населения
Прогнозируемое состояние	Прогнозируемое состояние положительный	Истинно положительный	Ложный положительный результат, Ошибка типа I	Положительная прогностическая ценность (PPV), Точность = Σ Истинно положительный/Σ Прогнозируемое состояние положительное	Уровень ложного обнаружения (FDR) = Σ Ложноположительный/Σ Прогнозируемое состояние положительное
	Прогнозируемое состояние отрицательный	Ложноотрицательный, Ошибка типа II	Правда отрицательный	Уровень ложных пропусков (ДЛЯ) = Σ Ложноотрицательный/Σ Прогнозируемое состояние отрицательное	Отрицательная прогностическая ценность (ЧПС) = Σ Истинно отрицательный/Σ Прогнозируемое состояние отрицательное
		Истинно положительная оценка (TPR), Отзывать, Чувствительность, вероятность обнаружения, Мощность = Σ Истинно положительный/Σ Условие положительное	Ложноположительная ставка (FPR), Выпадать, вероятность ложной тревоги = Σ Ложноположительный/Σ Условие отрицательное	Отношение положительного правдоподобия (LR +) = TPR/FPR	Соотношение диагностических шансов (DOR) = LR +/LR−	F1 счет = 2 · Точность · Отзыв/Точность + отзыв
		Ложноотрицательная ставка (FNR), Рейтинг промахов = Σ Ложноотрицательный/Σ Условие положительное	Специфика (SPC), селективность, Истинная отрицательная ставка (TNR) = Σ Истинно отрицательный/Σ Условие отрицательное	Отрицательное отношение правдоподобия (LR-) = FNR/TNR

Рекомендации

1. Фосетт, Том (2006). «Введение в ROC-анализ» (PDF). Письма с распознаванием образов. 27 (8): 861–874. Дои:10.1016 / j.patrec.2005.10.010.
2. Пауэрс, Дэвид М. В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции». Журнал технологий машинного обучения. 2 (1): 37–63.
3. Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри I (ред.). Энциклопедия машинного обучения. Springer. Дои:10.1007/978-0-387-30164-8. ISBN  978-0-387-30164-8.
4. Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов». Сотрудничество в области исследований погоды и климата Австралии. Всемирная метеорологическая организация. Получено 2019-07-17.
5. Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации». BMC Genomics. 21 (1): 6-1–6-13. Дои:10.1186 / s12864-019-6413-7. ЧВК  6941312. PMID  31898477.
6. Тарват А. (август 2018 г.). «Классификационные методы оценки». Прикладные вычисления и информатика. Дои:10.1016 / j.aci.2018.08.003.
7. Stehman, Стивен В. (1997). «Выбор и интерпретация мер точности тематической классификации». Дистанционное зондирование окружающей среды. 62 (1): 77–89. Bibcode:1997RSEnv..62 ... 77S. Дои:10.1016 / S0034-4257 (97) 00083-7.
8. Пауэрс, Дэвид М. В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции». Журнал технологий машинного обучения. 2 (1): 37–63. S2CID  55767944.
9. Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации». BMC Genomics. 21 (1): 6-1–6-13. Дои:10.1186 / s12864-019-6413-7. ЧВК  6941312. PMID  31898477.