Линейный дискриминантный анализ - Linear discriminant analysis

Не путать с скрытое размещение Дирихле.

Линейный дискриминантный анализ (LDA), нормальный дискриминантный анализ (NDA), или же анализ дискриминантной функции является обобщением Линейный дискриминант Фишера, метод, используемый в статистика и другие поля, чтобы найти линейная комбинация функций, которые характеризуют или разделяют два или более классов объектов или событий. Полученную комбинацию можно использовать как линейный классификатор, или, чаще, для уменьшение размерности раньше, чем позже классификация.

LDA тесно связана с дисперсионный анализ (ANOVA) и регрессивный анализ, которые также пытаются выразить зависимая переменная как линейная комбинация других характеристик или измерений.^[1][2] Однако ANOVA использует категоричный независимые переменные и непрерывный зависимая переменная, тогда как дискриминантный анализ имеет непрерывную независимые переменные и категориальная зависимая переменная (т.е. метку класса).^[3] Логистическая регрессия и пробит регрессия более похожи на LDA, чем на ANOVA, поскольку они также объясняют категориальную переменную значениями непрерывных независимых переменных. Эти другие методы предпочтительны в приложениях, где неразумно предполагать, что независимые переменные имеют нормальное распределение, что является фундаментальным предположением метода LDA.

LDA также тесно связана с Анализ главных компонентов (PCA) и факторный анализ в том, что они оба ищут линейные комбинации переменных, которые лучше всего объясняют данные.^[4] LDA явно пытается смоделировать разницу между классами данных. PCA, напротив, не принимает во внимание различие в классе, а факторный анализ строит комбинации признаков на основе различий, а не сходства. Дискриминантный анализ также отличается от факторного анализа тем, что он не является методом взаимозависимости: необходимо проводить различие между независимыми переменными и зависимыми переменными (также называемыми критериальными переменными).

LDA работает, когда измерения независимых переменных для каждого наблюдения являются непрерывными величинами. При работе с категориальными независимыми переменными эквивалентным методом является дискриминантный анализ соответствия.^[5][6]

Дискриминантный анализ используется, когда группы известны априори (в отличие от кластерный анализ ). Каждый случай должен иметь балл по одному или нескольким количественным прогнозирующим показателям и балл по групповому показателю.^[7] Проще говоря, анализ дискриминантной функции - это классификация - акт распределения вещей на группы, классы или категории одного типа.

История

Оригинал дихотомический Дискриминантный анализ был разработан сэром Рональд Фишер в 1936 г.^[8] Он отличается от ANOVA или же MANOVA, который используется для прогнозирования одной (ANOVA) или нескольких (MANOVA) непрерывно зависимых переменных с помощью одной или нескольких независимых категориальных переменных. Анализ дискриминантной функции полезен для определения того, эффективен ли набор переменных для прогнозирования принадлежности к категории.^[9]

LDA для двух классов

Рассмотрим набор наблюдений ${\displaystyle {\vec {x}}}$ (также называемые функциями, атрибутами, переменными или измерениями) для каждого образца объекта или события с известным классом ${\displaystyle y}$. Этот набор образцов называется Обучающий набор. Тогда проблема классификации состоит в том, чтобы найти хороший предиктор для класса ${\displaystyle y}$ любой выборки того же распределения (не обязательно из обучающей выборки) с учетом только наблюдения ${\displaystyle {\vec {x}}}$.^[10]:338

LDA подходит к проблеме, предполагая, что условное функции плотности вероятности ${\displaystyle p({\vec {x}}|y=0)}$ и ${\displaystyle p({\vec {x}}|y=1)}$ оба нормально распределенный со средним и ковариация параметры ${\displaystyle \left({\vec {\mu }}_{0},\Sigma _{0}\right)}$ и ${\displaystyle \left({\vec {\mu }}_{1},\Sigma _{1}\right)}$, соответственно. При этом предположении оптимальное решение Байеса состоит в том, чтобы прогнозировать точки как принадлежащие ко второму классу, если логарифм отношений правдоподобия больше некоторого порога T, так что:

${\displaystyle ({\vec {x}}-{\vec {\mu }}_{0})^{T}\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+\ln |\Sigma _{0}|-({\vec {x}}-{\vec {\mu }}_{1})^{T}\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-\ln |\Sigma _{1}|\ >\ T}$

Без каких-либо дополнительных предположений полученный классификатор именуется QDA (квадратичный дискриминантный анализ ).

LDA вместо этого делает дополнительное упрощение гомоскедастичность предположение (т.е. что ковариации классов идентичны, поэтому ${\displaystyle \Sigma _{0}=\Sigma _{1}=\Sigma }$) и что ковариации имеют полный ранг. В этом случае отменяются несколько членов:

${\displaystyle {\vec {x}}^{T}\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{T}\Sigma _{1}^{-1}{\vec {x}}}$

${\displaystyle {\vec {x}}^{T}{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}={{\vec {\mu }}_{i}}^{T}{\Sigma _{i}}^{-1}{\vec {x}}}$ потому что ${\displaystyle \Sigma _{i}}$ является Эрмитский

и вышеупомянутый критерий решения становится порогом скалярное произведение

${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$

для некоторой пороговой константы c, куда

${\displaystyle {\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

${\displaystyle c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{1}+{\vec {\mu }}_{0})}$

Это означает, что критерий входа ${\displaystyle {\vec {x}}}$ быть в классе ${\displaystyle y}$ является чисто функцией этой линейной комбинации известных наблюдений.

Часто бывает полезно увидеть этот вывод в геометрических терминах: критерий входа ${\displaystyle {\vec {x}}}$ быть в классе ${\displaystyle y}$ является чисто функцией проекции точки многомерного пространства ${\displaystyle {\vec {x}}}$ на вектор ${\displaystyle {\vec {w}}}$ (таким образом, мы рассматриваем только его направление). Другими словами, наблюдение принадлежит ${\displaystyle y}$ если соответствующий ${\displaystyle {\vec {x}}}$ находится на определенной стороне гиперплоскости перпендикулярно ${\displaystyle {\vec {w}}}$. Расположение самолета определяется порогом c.

Предположения

Допущения дискриминантного анализа такие же, как и для MANOVA. Анализ довольно чувствителен к выбросам, и размер самой маленькой группы должен быть больше, чем количество переменных-предикторов.^[7]

• Многомерная нормальность: Независимые переменные являются нормальными для каждого уровня группирующей переменной.^[9][7]
• Однородность дисперсии / ковариации (гомоскедастичность ): Вариации между групповыми переменными одинаковы на разных уровнях предикторов. Может быть протестирован с Коробка M статистика.^[9] Было предложено, однако, использовать линейный дискриминантный анализ, когда ковариации равны, и что квадратичный дискриминантный анализ может использоваться, когда ковариации не равны.^[7]
• Мультиколлинеарность: Прогностическая сила может уменьшаться при увеличении корреляции между предсказывающими переменными.^[7]
• Независимость: Предполагается, что участники отбираются случайным образом, и предполагается, что оценка участника по одной переменной не зависит от оценок по этой переменной для всех других участников.^[9][7]

Было высказано предположение, что дискриминантный анализ относительно устойчив к незначительным нарушениям этих предположений,^[11] а также было показано, что дискриминантный анализ может быть надежным при использовании дихотомических переменных (где многомерная нормальность часто нарушается).^[12]

Дискриминантные функции

Дискриминантный анализ работает путем создания одной или нескольких линейных комбинаций предикторов, создавая новый скрытая переменная для каждой функции. Эти функции называются дискриминантными функциями. Возможное количество функций: ${\displaystyle N_{g}-1}$ куда ${\displaystyle N_{g}}$ = количество групп, или ${\displaystyle p}$ (количество предикторов), в зависимости от того, что меньше. Первая созданная функция максимизирует различия между группами по этой функции. Вторая функция максимизирует различия в этой функции, но также не должна коррелировать с предыдущей функцией. Это продолжается с последующими функциями с требованием, чтобы новая функция не коррелировала ни с одной из предыдущих функций.

Данная группа ${\displaystyle j}$, с ${\displaystyle \mathbb {R} _{j}}$ наборов выборочного пространства, существует дискриминантное правило такое, что если ${\displaystyle x\in \mathbb {R} _{j}}$, тогда ${\displaystyle x\in j}$. Таким образом, дискриминантный анализ находит «хорошие» регионы ${\displaystyle \mathbb {R} _{j}}$ для минимизации ошибок классификации, что приводит к высокому проценту правильных классификаций в таблице классификации.^[13]

Каждой функции присваивается дискриминантный балл.^{[требуется разъяснение ]} чтобы определить, насколько хорошо он прогнозирует размещение в группе.

• Коэффициенты корреляции структуры: корреляция между каждым предиктором и дискриминантной оценкой каждой функции. Это корреляция нулевого порядка (т. Е. Не исправленная для других предикторов). ^[14]
• Стандартизированные коэффициенты: вес каждого предиктора в линейной комбинации, которая является дискриминантной функцией. Как и в уравнении регрессии, эти коэффициенты являются частичными (т. Е. Скорректированными с учетом других предикторов). Указывает уникальный вклад каждого предиктора в прогнозирование группового назначения.
• Функции в центроидах групп: средние дискриминантные оценки для каждой группирующей переменной даны для каждой функции. Чем дальше друг от друга находятся средние значения, тем меньше будет ошибок в классификации.

Правила дискриминации

• Максимальная вероятность: Назначает x группе, которая максимизирует плотность населения (группы).^[15]
• Дискриминантное правило Байеса: присваивает x группе, которая максимизирует ${\displaystyle \pi _{i}f_{i}(x)}$, куда π_я представляет априорная вероятность этой классификации, и ${\displaystyle f_{i}(x)}$ представляет плотность населения.^[15]
• Линейное дискриминантное правило Фишера: Максимальное соотношение между SS_между и SS_в, и находит линейную комбинацию предикторов для группы прогнозов.^[15]

Собственные значения

An собственное значение в дискриминантном анализе - характеристический корень каждой функции.^{[требуется разъяснение ]} Это показатель того, насколько хорошо эта функция различает группы: чем больше собственное значение, тем лучше дифференцируется функция.^[7] Однако это следует интерпретировать с осторожностью, поскольку собственные значения не имеют верхнего предела.^[9][7]Собственное значение можно рассматривать как отношение SS_между и SS_в как в ANOVA, когда зависимая переменная является дискриминантной функцией, а группы являются уровнями IV^{[требуется разъяснение ]}.^[9] Это означает, что наибольшее собственное значение связано с первой функцией, второе по величине - со второй и т. Д.

Размер эффекта

Некоторые предлагают использовать собственные значения как размер эффекта меры, однако, это обычно не поддерживается.^[9] Вместо этого каноническая корреляция является предпочтительной мерой величины эффекта. Оно похоже на собственное значение, но является квадратным корнем из отношения SS_между и SS_общий. Это взаимосвязь между группами и функцией.^[9] Еще одна популярная мера величины эффекта - процент дисперсии.^{[требуется разъяснение ]} для каждой функции. Это рассчитывается по: (λ_Икс/ Σλ_я) X 100 где λ_Икс - собственное значение функции, а Σλ_я - сумма всех собственных значений. Это говорит нам, насколько сильный прогноз для этой конкретной функции по сравнению с другими.^[9] Правильно классифицированный процент также можно проанализировать как величину эффекта. Значение каппа может описать это с поправкой на случайное совпадение.^[9]Каппа нормализуется по всем категориям, а не подвергается предвзятости из-за значительно хороших или плохих результатов занятий.^{[требуется разъяснение ][16]}

Канонический дискриминантный анализ для k классы

Канонический дискриминантный анализ (CDA) находит оси (k − 1 канонические координаты, k количество классов), которые лучше всего разделяют категории. Эти линейные функции некоррелированы и, по сути, определяют оптимальную k - 1 пробел через п-мерное облако данных, которое лучше всего разделяет (проекции в этом пространстве) k группы. Видеть "Мультиклассовый LDA Подробности см. Ниже.

Линейный дискриминант Фишера

Условия Линейный дискриминант Фишера и LDA часто используются как взаимозаменяемые, хотя Фишера оригинальная статья^[1] на самом деле описывает немного другой дискриминант, который не делает некоторых допущений LDA, таких как нормально распределенный классы или равный класс ковариации.

Предположим, что два класса наблюдений имеют средства ${\displaystyle {\vec {\mu }}_{0},{\vec {\mu }}_{1}}$ и ковариации ${\displaystyle \Sigma _{0},\Sigma _{1}}$. Тогда линейная комбинация признаков ${\displaystyle {\vec {w}}\cdot {\vec {x}}}$ буду иметь средства ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{i}}$ и отклонения ${\displaystyle {\vec {w}}^{T}\Sigma _{i}{\vec {w}}}$ за ${\displaystyle i=0,1}$. Фишер определил разделение между этими двумя распределения быть отношением дисперсии между классами к дисперсии внутри классов:

${\displaystyle S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{T}\Sigma _{1}{\vec {w}}+{\vec {w}}^{T}\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{T}(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}}$

Эта мера в некотором смысле является мерой соотношение сигнал шум для маркировки классов. Можно показать, что максимальное разделение происходит при

${\displaystyle {\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

Когда предположения LDA удовлетворяются, приведенное выше уравнение эквивалентно LDA.

Обязательно учтите, что вектор ${\displaystyle {\vec {w}}}$ это нормальный к дискриминанту гиперплоскость. Например, в двумерной задаче линия, которая лучше всего разделяет две группы, перпендикулярна ${\displaystyle {\vec {w}}}$.

Как правило, точки данных, подлежащие различению, проецируются на ${\displaystyle {\vec {w}}}$; тогда порог, который лучше всего разделяет данные, выбирается из анализа одномерного распределения. Общего правила для порога нет. Однако, если проекции точек из обоих классов демонстрируют примерно одинаковое распределение, хорошим выбором будет гиперплоскость между проекциями двух средних, ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{0}}$ и ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{1}}$. В этом случае параметр c в пороговом условии ${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$ можно найти явно:

${\displaystyle c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{T}\Sigma _{1}^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{T}\Sigma _{0}^{-1}{\vec {\mu }}_{0}}$.

Метод Оцу связан с линейным дискриминантом Фишера и был создан для бинаризации гистограммы пикселей в изображении в градациях серого путем оптимального выбора порога черного / белого, который минимизирует внутриклассовую дисперсию и максимизирует межклассовую дисперсию в пределах / между оттенками серого, назначенными черному и белому пикселю классы.

Мультиклассовый LDA

В случае, когда имеется более двух классов, анализ, использованный при выводе дискриминанта Фишера, может быть расширен, чтобы найти подпространство который, по-видимому, содержит всю вариативность классов.^[17] Это обобщение связано с К. Р. Рао.^[18] Предположим, что каждый из классов C имеет среднее значение ${\displaystyle \mu _{i}}$ и та же ковариация ${\displaystyle \Sigma }$. Тогда разброс между изменчивостью классов можно определить с помощью выборочной ковариации средних значений класса.

${\displaystyle \Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{T}}$

куда ${\displaystyle \mu }$ среднее значение класса. Разделение классов в направлении ${\displaystyle {\vec {w}}}$ в этом случае будет дано

${\displaystyle S={\frac {{\vec {w}}^{T}\Sigma _{b}{\vec {w}}}{{\vec {w}}^{T}\Sigma {\vec {w}}}}}$

Это означает, что когда ${\displaystyle {\vec {w}}}$ является собственный вектор из ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$ расстояние будет равно соответствующему собственное значение.

Если ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$ диагонализуема, вариативность между функциями будет содержаться в подпространстве, охватываемом собственными векторами, соответствующими C - 1 наибольшее собственное значение (поскольку ${\displaystyle \Sigma _{b}}$ имеет ранг C - не более 1). Эти собственные векторы в основном используются для уменьшения признаков, как в PCA. Собственные векторы, соответствующие меньшим собственным значениям, будут очень чувствительны к точному выбору обучающих данных, и часто необходимо использовать регуляризацию, как описано в следующем разделе.

Если требуется классификация, вместо уменьшение размеров, существует ряд альтернативных методов. Например, классы могут быть разделены, и стандартный дискриминант Фишера или LDA используется для классификации каждого раздела. Типичный пример этого - «один против остальных», когда точки одного класса помещаются в одну группу, а все остальное - в другую, а затем применяется LDA. Это приведет к созданию классификаторов C, результаты которых будут объединены. Другой распространенный метод - это попарная классификация, при которой для каждой пары классов создается новый классификатор (дающий C(C - 1) / 2 классификатора всего), при этом отдельные классификаторы объединяются для получения окончательной классификации.

Добавочный LDA

Типичная реализация метода LDA требует, чтобы все образцы были доступны заранее. Однако бывают ситуации, когда весь набор данных недоступен, а входные данные наблюдаются как поток. В этом случае желательно, чтобы при извлечении признаков LDA была возможность обновлять вычисленные признаки LDA путем наблюдения за новыми выборками без запуска алгоритма для всего набора данных. Например, во многих приложениях реального времени, таких как мобильная робототехника или онлайн-распознавание лиц, важно обновлять извлеченные функции LDA, как только станут доступны новые наблюдения. Методика извлечения признаков LDA, которая может обновлять особенности LDA, просто наблюдая за новыми образцами, является инкрементальный алгоритм LDA, и эта идея широко изучалась в течение последних двух десятилетий.^[19] Чаттерджи и Ройчоудхури предложили инкрементный самоорганизующийся алгоритм LDA для обновления функций LDA.^[20] В другой работе Демир и Озмехмет предложили онлайн-алгоритмы локального обучения для постепенного обновления функций LDA с использованием исправления ошибок и правил обучения Hebbian.^[21] Позже Алияри и др.л. получены быстрые инкрементальные алгоритмы для обновления функций LDA путем наблюдения за новыми образцами.^[19]

Практическое использование

На практике классовые средние и ковариации неизвестны. Однако их можно оценить по обучающей выборке. Либо оценка максимального правдоподобия или максимум апостериори оценка может использоваться вместо точного значения в приведенных выше уравнениях. Хотя оценки ковариации можно считать оптимальными в некотором смысле, это не означает, что результирующий дискриминант, полученный путем подстановки этих значений, является оптимальным в любом смысле, даже если предположение о нормально распределенных классах верно.

Еще одна сложность при применении LDA и дискриминанта Фишера к реальным данным возникает, когда количество измерений каждой выборки (то есть размерность каждого вектора данных) превышает количество выборок в каждом классе.^[4] В этом случае оценки ковариации не имеют полного ранга и поэтому не могут быть инвертированы. Есть несколько способов справиться с этим. Один из них - использовать псевдообратный вместо обычной матрицы, обратной в приведенных выше формулах. Однако лучшей числовой стабильности можно достичь, сначала спроецировав проблему на подпространство, охватываемое ${\displaystyle \Sigma _{b}}$.^[22]Еще одна стратегия работы с небольшим размером выборки - использование оценщик усадки ковариационной матрицы, которую математически можно выразить как

${\displaystyle \Sigma =(1-\lambda )\Sigma +\lambda I\,}$

куда ${\displaystyle I}$ - единичная матрица, а ${\displaystyle \lambda }$ это интенсивность усадки или же параметр регуляризацииЭто приводит к структуре регуляризованного дискриминантного анализа.^[23] или дискриминантный анализ усадки.^[24]

Кроме того, во многих практических случаях линейные дискриминанты не подходят. Дискриминант LDA и Фишера может быть расширен для использования в нелинейной классификации с помощью трюк с ядром. Здесь исходные наблюдения эффективно отображаются в нелинейное пространство более высокой размерности. Тогда линейная классификация в этом нелинейном пространстве эквивалентна нелинейной классификации в исходном пространстве. Наиболее часто используемым примером этого является ядро дискриминант Фишера.

LDA можно обобщить на множественный дискриминантный анализ, куда c становится категориальная переменная с N возможных состояний, а не только двух. Аналогично, если условные плотности классов ${\displaystyle p({\vec {x}}\mid c=i)}$ нормальны с общими ковариациями, достаточная статистика за ${\displaystyle P(c\mid {\vec {x}})}$ ценности N прогнозы, которые являются подпространство охватывает N средства, аффинная проекция обратной ковариационной матрицей. Эти прогнозы можно найти, решив обобщенная задача на собственные значения, где числитель - это ковариационная матрица, образованная обработкой средних значений как выборок, а знаменатель - это общая ковариационная матрица. Видеть "Мультиклассовый LDA »Выше для получения подробной информации.

Приложения

В дополнение к примерам, приведенным ниже, LDA применяется в позиционирование и Управление продуктом.

Прогноз банкротства

В прогноз банкротства основанный на бухгалтерских коэффициентах и ​​других финансовых переменных, линейный дискриминантный анализ был первым статистическим методом, применяемым для систематического объяснения того, какие фирмы вступили в банкротство, а какие выжили. Несмотря на ограничения, в том числе известное несоответствие бухгалтерских коэффициентов нормам распределения LDA, Эдвард Альтман с 1968 модель по-прежнему является ведущей моделью в практических приложениях.

Распознавание лица

В компьютеризированной распознавание лица, каждое лицо представлено большим количеством значений пикселей. Здесь в первую очередь используется линейный дискриминантный анализ, чтобы уменьшить количество признаков до более управляемого числа перед классификацией. Каждое из новых измерений представляет собой линейную комбинацию значений пикселей, образующих шаблон. Линейные комбинации, полученные с помощью линейного дискриминанта Фишера, называются Лица Фишера, а полученные с помощью Анализ главных компонентов называются собственные лица.

Маркетинг

В маркетинг Дискриминантный анализ когда-то часто использовался для определения факторов, которые различают разные типы клиентов и / или продуктов на основе опросов или других форм собранных данных. Логистическая регрессия или другие методы сейчас используются чаще. Использование дискриминантного анализа в маркетинге можно описать следующими этапами:

1. Сформулируйте проблему и соберите данные - определите выдающийся атрибуты, которые потребители используют для оценки продуктов в этой категории: используйте количественное маркетинговое исследование техники (такие как опросы ) для сбора данных от выборки потенциальных клиентов относительно их оценок всех атрибутов продукта. Стадия сбора данных обычно выполняется профессионалами в области маркетинговых исследований. Вопросы опроса просят респондента оценить продукт от одного до пяти (или от 1 до 7, или от 1 до 10) по ряду атрибутов, выбранных исследователем. Выбирается от пяти до двадцати атрибутов. Они могут включать в себя такие вещи, как простота использования, вес, точность, долговечность, цветность, цена или размер. Выбранные атрибуты будут различаться в зависимости от изучаемого продукта. Тот же вопрос задается обо всех продуктах в исследовании. Данные для нескольких продуктов кодируются и вводятся в статистическую программу, такую ​​как р, SPSS или же SAS. (Этот шаг такой же, как и в факторном анализе).
2. Оцените коэффициенты дискриминантной функции и определите статистическую значимость и достоверность - выберите соответствующий метод дискриминантного анализа. Прямой метод включает оценку дискриминантной функции, так что все предикторы оцениваются одновременно. Пошаговый метод входит в предикторы последовательно. Метод двух групп следует использовать, когда зависимая переменная имеет две категории или состояния. Метод множественного дискриминанта используется, когда зависимая переменная имеет три или более категориальных состояния. Использовать Лямбда Уилкса для проверки значимости в SPSS или F stat в SAS. Наиболее распространенный метод, используемый для проверки достоверности, - это разделение выборки на выборку для оценки или анализа и выборку для проверки или задержку. Выборка оценки используется при построении дискриминантной функции. Проверочная выборка используется для построения классификационной матрицы, которая содержит количество правильно классифицированных и неправильно классифицированных случаев. Процент правильно классифицированных случаев называется коэффициент попадания.
3. Нанесите результаты на двухмерную карту, определите размеры и интерпретируйте результаты. Статистическая программа (или связанный с ней модуль) отобразит результаты. На карте будет нанесен каждый продукт (обычно в двухмерном пространстве). Расстояние товаров друг от друга показывает, насколько они разные. Размеры должны быть указаны исследователем. Это требует субъективного суждения и часто очень сложно. Видеть перцепционное отображение.

Биомедицинские исследования

Основное применение дискриминантного анализа в медицине - оценка тяжести состояния пациента и прогноз исхода заболевания. Например, при ретроспективном анализе пациенты делятся на группы по степени тяжести заболевания - легкая, среднетяжелая и тяжелая форма. Затем изучаются результаты клинических и лабораторных анализов с целью выявления статистически различающихся переменных в исследуемых группах. Используя эти переменные, строятся дискриминантные функции, которые помогают объективно классифицировать заболевание будущего пациента на легкую, среднюю или тяжелую форму.

В биологии аналогичные принципы используются для классификации и определения групп различных биологических объектов, например, для определения типов фагов Salmonella enteritidis на основе инфракрасных спектров с преобразованием Фурье,^[25] для обнаружения животного источника Escherichia coli, изучая факторы ее вирулентности^[26] и Т. Д.

Науки о Земле

Этот метод можно использовать для разделения зон изменения. Например, когда доступны разные данные из разных зон, дискриминантный анализ может найти закономерность в данных и эффективно ее классифицировать.^[27]

Сравнение с логистической регрессией

Анализ дискриминантной функции очень похож на логистическая регрессия, и оба могут использоваться для ответа на одни и те же вопросы исследования.^[9] Логистическая регрессия не имеет такого количества предположений и ограничений, как дискриминантный анализ. Однако, когда допущения дискриминантного анализа выполняются, это более действенно, чем логистическая регрессия.^[28] В отличие от логистической регрессии, дискриминантный анализ можно использовать с небольшими размерами выборки. Было показано, что при равных объемах выборки и сохранении однородности дисперсии / ковариации дискриминантный анализ более точен.^[7] Несмотря на все эти преимущества, логистическая регрессия, тем не менее, стала обычным выбором, поскольку допущения дискриминантного анализа выполняются редко.^[8][7]

Линейный дискриминант в большой размерности

Геометрические аномалии больших размеров приводят к хорошо известному проклятие размерности. Тем не менее, правильное использование концентрация меры явления могут облегчить вычисления.^[29] Важный случай этих благословение размерности Этот феномен был отмечен Донохо и Таннером: если выборка существенно многомерна, то каждая точка может быть отделена от остальной выборки линейным неравенством с высокой вероятностью даже для экспоненциально больших выборок.^[30] Эти линейные неравенства могут быть выбраны в стандартной (фишеровской) форме линейного дискриминанта для богатого семейства вероятностных распределений.^[31] В частности, такие теоремы доказаны для бревенчатый дистрибутивы, включая многомерное нормальное распределение (доказательство основано на неравенствах концентрации для логавогнутых мер^[32]) и для мер продукта на многомерном кубе (это доказано с помощью Неравенство концентраций Талагранда для вероятностных пространств произведения). Разделимость данных классическими линейными дискриминантами упрощает проблему исправления ошибок для искусственный интеллект системы в высоком измерении.^[33]

Смотрите также

• Сбор данных
• Изучение дерева решений
• Факторный анализ
• Дискриминантный анализ ядра Фишера
• Logit (за логистическая регрессия )
• Линейная регрессия
• Множественный дискриминантный анализ
• Многомерное масштабирование
• Распознавание образов
• Регрессия предпочтений
• Квадратичный классификатор
• Статистическая классификация

Рекомендации

1. Фишер, Р.А. (1936). «Использование множественных измерений в таксономических задачах» (PDF). Анналы евгеники. 7 (2): 179–188. Дои:10.1111 / j.1469-1809.1936.tb02137.x. HDL:2440/15227.
2. Маклахлан, Дж. Дж. (2004). Дискриминантный анализ и статистическое распознавание образов. Wiley Interscience. ISBN  978-0-471-69115-0. МИСТЕР  1190469.
3. Анализ количественных данных: введение для социальных исследователей, Дебра Ветчер-Хендрикс, стр.288.
4. Мартинес, А. М .; Как, А. С. (2001). «PCA против LDA» (PDF). IEEE Transactions по анализу шаблонов и машинному анализу. 23 (=2): 228–233. Дои:10.1109/34.908974.
5. Абди, Х. (2007) «Дискриминантный анализ корреспонденции». В: Н.Дж. Салкинд (ред.): Энциклопедия измерения и статистики. Таузенд-Оукс (Калифорния): Шалфей. С. 270–275.
6. Perriere, G .; Тиулуза, Дж. (2003). «Использование соответствующего дискриминантного анализа для прогнозирования субклеточного расположения бактериальных белков». Компьютерные методы и программы в биомедицине. 70 (2): 99–105. Дои:10.1016 / s0169-2607 (02) 00011-1. PMID  12507786.
7. BÖKEOLU OKLUK, Ö, & BÜYÜKÖZTÜRK, Ş. (2008). Анализ дискриминантной функции: понятие и применение. Eğitim araştırmaları dergisi, (33), 73-92.
8. Cohen et al. Прикладная множественная регрессия / корреляционный анализ для поведенческих наук 3-е изд. (2003). Группа Тейлор и Фрэнсис.
9. Грин, С. Салкинд, Н. Дж. И Эйки, Т. М. (2008). Использование SPSS для Windows и Macintosh: анализ и понимание данных. Нью-Джерси: Прентис-Холл.
10. Venables, W. N .; Рипли, Б.Д. (2002). Современная прикладная статистика с S (4-е изд.). Springer Verlag. ISBN  978-0-387-95457-8.
11. Лахенбрух, П. А. (1975). Дискриминантный анализ. Нью-Йорк: Хафнер
12. Клецка, Уильям Р. (1980). Дискриминантный анализ. Количественные применения в серии социальных наук, № 19. Thousand Oaks, CA: Sage Publications.
13. Хардл, В., Симар, Л. (2007). Прикладной многомерный статистический анализ. Springer Berlin Heidelberg. С. 289–303.
14. Гарсон, Г. Д. (2008). Анализ дискриминантной функции. https://web.archive.org/web/20080312065328/http://www2.chass.ncsu.edu/garson/pA765/discrim.htm.
15. Хардл, В., Симар, Л. (2007). Прикладной многомерный статистический анализ. Springer Berlin Heidelberg. С. 289-303.
16. Израиль, Стивен А. (июнь 2006 г.). «Показатели производительности: как и когда». Geocarto International. 21 (2): 23–32. Дои:10.1080/10106040608542380. ISSN  1010-6049. S2CID  122376081.
17. Гарсон, Г. Д. (2008). Анализ дискриминантной функции. «Архивная копия». Архивировано из оригинал на 2008-03-12. Получено 2008-03-04. .
18. Рао, Р.С. (1948). «Использование множественных измерений в задачах биологической классификации». Журнал Королевского статистического общества, серия B. 10 (2): 159–203. JSTOR  2983775.
19. Алияри Гассабех, Юнесс; Рудзич, Франк; Могхаддам, Хамид Абришами (01.06.2015). «Быстрое инкрементное извлечение функций LDA». Распознавание образов. 48 (6): 1999–2012. Дои:10.1016 / j.patcog.2014.12.012.
20. Chatterjee, C .; Ройчоудхури, В. (1997-05-01). «О самоорганизующихся алгоритмах и сетях для функций классовой разделимости». IEEE-транзакции в нейронных сетях. 8 (3): 663–678. Дои:10.1109/72.572105. ISSN  1045-9227. PMID  18255669.
21. Демир, Г. К .; Озмехмет, К. (2005-03-01). "Локальные онлайн-алгоритмы обучения для линейного дискриминантного анализа". Распознавание образов. Латыш. 26 (4): 421–431. Дои:10.1016 / j.patrec.2004.08.005. ISSN  0167-8655.
22. Yu, H .; Ян, Дж. (2001). «Прямой алгоритм LDA для многомерных данных - с приложением для распознавания лиц». Распознавание образов. 34 (10): 2067–2069. CiteSeerX  10.1.1.70.3507. Дои:10.1016 / с0031-3203 (00) 00162-х.
23. Фридман, Дж. Х. (1989). «Регуляризованный дискриминантный анализ» (PDF). Журнал Американской статистической ассоциации. 84 (405): 165–175. CiteSeerX  10.1.1.382.2682. Дои:10.2307/2289860. JSTOR  2289860. МИСТЕР  0999675.
24. Ahdesmäki, M .; Стриммер, К. (2010). «Выбор функций в задачах прогнозирования omics с использованием кошачьих оценок и контроля частоты ложных обнаружений». Анналы прикладной статистики. 4 (1): 503–519. arXiv:0903.2003. Дои:10.1214 / 09-aoas277. S2CID  2508935.
25. Прейснер, О; Guiomar, R; Machado, J; Menezes, JC; Лопес, Дж. А. (2010). «Применение инфракрасной спектроскопии с преобразованием Фурье и хемометрии для дифференциации типов фага Salmonella enterica serovar Enteritidis». Appl Environ Microbiol. 76 (11): 3538–3544. Дои:10.1128 / aem.01589-09. ЧВК  2876429. PMID  20363777.
26. Дэвид, Германия; Линн, AM; Хан, Дж; Фоли, SL (2010). «Оценка профилей факторов вирулентности при характеристике ветеринарных изолятов Escherichia coli». Appl Environ Microbiol. 76 (22): 7509–7513. Дои:10.1128 / aem.00726-10. ЧВК  2976202. PMID  20889790.
27. Tahmasebi, P .; Хезархани, А .; Мортазави, М. (2010). «Применение дискриминантного анализа для разделения гидротермальных изменений; месторождение меди Сунгун, Восточный Азербайджан, Иран. Австралия» (PDF). Журнал фундаментальных и прикладных наук. 6 (4): 564–576.
28. Тревор Хасти; Роберт Тибширани; Джером Фридман. Элементы статистического обучения. Интеллектуальный анализ данных, вывод и прогнозирование (второе изд.). Springer. п. 128.
29. Кайнен П.С. (1997) Использование геометрических аномалий большой размерности: когда сложность упрощает вычисления. В: Карни М., Уорвик К. (редакторы) Интенсивные компьютерные методы управления и обработки сигналов: проклятие размерности, Springer, 1997, стр. 282–294.
30. Донохо, Д., Таннер, Дж. (2009) Наблюдаемая универсальность фазовых переходов в многомерной геометрии с последствиями для современного анализа данных и обработки сигналов., Фил. Пер. R. Soc. А 367, 4273–4293.
31. Горбань, Александр Н .; Голубков, Александр; Гречук, Богдан; Миркес, Евгений М .; Тюкин, Иван Юрьевич (2018). «Коррекция систем ИИ линейными дискриминантами: вероятностные основы». Информационные науки. 466: 303–322. arXiv:1811.05321. Дои:10.1016 / j.ins.2018.07.040. S2CID  52876539.
32. Гедон, О., Мильман, Э. (2011) Интерполяция оценок тонкой оболочки и острых больших отклонений для изотропных лог-вогнутых мер, Геом. Функц. Анальный. 21 (5), 1043–1068.
33. Горбань, Александр Н .; Макаров, Валерий А .; Тюкин, Иван Юрьевич (июль 2019). «Неоправданная эффективность малых нейронных ансамблей в многомерном мозге». Обзоры физики жизни. 29: 55–88. arXiv:1809.07656. Дои:10.1016 / j.plrev.2018.09.005. PMID  30366739.

дальнейшее чтение

• Duda, R.O .; Hart, P.E .; Аист, Д. Х. (2000). Классификация паттернов (2-е изд.). Wiley Interscience. ISBN  978-0-471-05669-0. МИСТЕР  1802993.
• Хильбе, Дж. М. (2009). Модели логистической регрессии. Чепмен и Холл / CRC Press. ISBN  978-1-4200-7575-5.
• Mika, S .; и другие. (1999). «Дискриминантный анализ Фишера с ядрами». Нейронные сети для обработки сигналов IX: Материалы семинара Общества обработки сигналов IEEE 1999 г. (Каталожный номер 98TH8468). Конференция IEEE по нейронным сетям для обработки сигналов IX. С. 41–48. CiteSeerX  10.1.1.35.9904. Дои:10.1109 / ННСП.1999.788121. ISBN  978-0-7803-5673-3. S2CID  8473401.
• Макфарланд, Х. Ричард; Дональд, Сент-П. Ричардс (2001). «Вероятности точной неправильной классификации для подключаемых нормальных квадратичных дискриминантных функций. I. Случай равных средних». Журнал многомерного анализа. 77 (1): 21–53. Дои:10.1006 / jmva.2000.1924.
• Макфарланд, Х. Ричард; Дональд, Сент-П. Ричардс (2002). «Вероятности точной неправильной классификации для подключаемых нормальных квадратичных дискриминантных функций. II. Гетерогенный случай». Журнал многомерного анализа. 82 (2): 299–330. Дои:10.1006 / jmva.2001.2034.
• Haghighat, M .; Abdel-Mottaleb, M .; Алхалаби, В. (2016). «Дискриминантный корреляционный анализ: объединение уровней функций в реальном времени для мультимодального биометрического распознавания». IEEE Transactions по информационной криминалистике и безопасности. 11 (9): 1984–1996. Дои:10.1109 / TIFS.2016.2569061. S2CID  15624506.

внешняя ссылка

• Дискриминантный корреляционный анализ (DCA) статьи Haghighat (см. Выше)
• АЛГЛИБ содержит реализацию LDA с открытым исходным кодом на C # / C ++ / Pascal / VBA.
• LDA в Python - Реализация LDA на Python
• Учебник LDA с использованием MS Excel
• Биомедицинская статистика. Дискриминантный анализ
• StatQuest: линейный дискриминантный анализ (LDA) четко объяснил на YouTube
• Примечания к курсу, Анализ дискриминантной функции, Дж. Дэвид Гарсон, Университет штата Северная Каролина
• Учебник по дискриминантному анализу в Microsoft Excel от Карди Текномо
• Примечания к курсу, Анализ дискриминантной функции, Дэвид В. Стокбургер, Университет штата Миссури
• Анализ дискриминантной функции (DA) Джона Поулсена и Аарона Френча, Государственный университет Сан-Франциско