Силуэт (кластеризация) - Silhouette (clustering)

Силуэт относится к методу интерпретации и проверки согласованности внутри кластеры данных. Этот метод дает краткое графическое представление о том, насколько хорошо каждый объект был классифицирован.^[1]

Значение силуэта является мерой того, насколько объект похож на его собственный кластер (сцепление) по сравнению с другими кластерами (разделение). Силуэт варьируется от -1 до +1, где высокое значение указывает, что объект хорошо соответствует своему собственному кластеру и плохо соответствует соседним кластерам. Если большинство объектов имеют высокое значение, то конфигурация кластеризации подходит. Если многие точки имеют низкое или отрицательное значение, то в конфигурации кластеризации может быть слишком много или слишком мало кластеров.

Силуэт можно рассчитать с любым расстояние метрика, например Евклидово расстояние или Манхэттенское расстояние.

Определение

График, показывающий оценки силуэтов трех типов животных из набора данных зоопарка, представленные апельсин пакет интеллектуального анализа данных. В нижней части графика силуэт указывает на дельфинов и морских свиней как особенных в группе млекопитающих.

Предположим, что данные были сгруппированы с помощью любого метода, например k-означает, в ${displaystyle k}$ кластеры.

Для точки данных ${displaystyle iin C_{i}}$ (точка данных ${displaystyle i}$ в кластере ${displaystyle C_{i}}$), позволять

${displaystyle a(i)={frac {1}{|C_{i}|-1}}sum _{jin C_{i},ieq j}d(i,j)}$

быть средним расстоянием между ${displaystyle i}$ и все другие точки данных в том же кластере, где ${displaystyle d(i,j)}$ расстояние между точками данных ${displaystyle i}$ и ${displaystyle j}$ в кластере ${displaystyle C_{i}}$ (делим на ${displaystyle |C_{i}|-1}$ потому что мы не включаем расстояние ${displaystyle d(i,i)}$ в сумме). Мы можем интерпретировать ${displaystyle a(i)}$ как мера того, насколько хорошо ${displaystyle i}$ присваивается его кластеру (чем меньше значение, тем лучше назначение).

Затем мы определяем среднее различие точки ${displaystyle i}$ в какой-то кластер ${displaystyle C_{k}}$ как среднее расстояние от ${displaystyle i}$ ко всем точкам в ${displaystyle C_{k}}$ (куда ${displaystyle C_{k}eq C_{i}}$).

Для каждой точки данных ${displaystyle iin C_{i}}$, теперь определим

${displaystyle b(i)=min _{keq i}{frac {1}{|C_{k}|}}sum _{jin C_{k}}d(i,j)}$

быть самый маленький (следовательно ${displaystyle min }$ оператор в формуле) среднее расстояние ${displaystyle i}$ ко всем точкам в любом другом кластере, из которых ${displaystyle i}$ не является членом. Кластер с этим наименьшим средним отличием называется «соседним кластером» ${displaystyle i}$ потому что это следующий кластер, наиболее подходящий для точки ${displaystyle i}$.

Теперь определим силуэт (значение) одной точки данных ${displaystyle i}$

${displaystyle s(i)={frac {b(i)-a(i)}{max{a(i),b(i)}}}}$, если ${displaystyle |C_{i}|>1}$

и

${displaystyle s(i)=0}$, если ${displaystyle |C_{i}|=1}$

Что также можно записать как:

${displaystyle s(i)={egin{cases}1-a(i)/b(i),&{mbox{if }}a(i)<b(i)�,&{mbox{if }}a(i)=b(i)(i)/a(i)-1,&{mbox{if }}a(i)>b(i)end{cases}}}$ b (i) end {case}}}

Из приведенного выше определения ясно, что

${displaystyle -1leq s(i)leq 1}$

Также обратите внимание, что оценка равна 0 для кластеров с размером = 1. Это ограничение добавлено для предотвращения значительного увеличения количества кластеров.

За ${displaystyle s(i)}$ чтобы быть близким к 1, мы требуем ${displaystyle a(i)ll b(i)}$. В качестве ${displaystyle a(i)}$ это мера того, насколько непохожи ${displaystyle i}$ относится к собственному кластеру, небольшое значение означает, что он хорошо согласован. Кроме того, большой ${displaystyle b(i)}$ подразумевает, что ${displaystyle i}$ плохо совпадает с соседним кластером. Таким образом ${displaystyle s(i)}$ близкое к единице означает, что данные правильно кластеризованы. ${displaystyle s(i)}$ близка к отрицательной, то по той же логике мы видим, что ${displaystyle i}$ было бы более подходящим, если бы он был сгруппирован в соседнем кластере. An ${displaystyle s(i)}$ близость к нулю означает, что датум находится на границе двух естественных кластеров.

Значение ${displaystyle s(i)}$ по всем точкам кластера - это мера того, насколько плотно сгруппированы все точки в кластере. Таким образом, среднее ${displaystyle s(i)}$ по всем данным всего набора данных - это показатель того, насколько правильно были сгруппированы данные. Если кластеров слишком много или слишком мало, что может произойти при неправильном выборе ${displaystyle k}$ используется в алгоритме кластеризации (например: k-означает ), некоторые из кластеров обычно имеют гораздо более узкие силуэты, чем остальные. Таким образом, графики силуэтов и средства могут использоваться для определения натурального числа кластеров в наборе данных. Также можно увеличить вероятность того, что силуэт будет максимизирован при правильном количестве кластеров, путем повторного масштабирования данных с использованием весов характеристик, которые зависят от кластера.^[2]

Кауфман и др. ввел термин коэффициент силуэта для максимального значения среднего ${displaystyle s(i)}$ по всем данным всего набора данных.^[3]

${displaystyle SC=max _{k}{ ilde {s}}left(kight)}$

Где ${displaystyle { ilde {s}}left(kight)}$ представляет собой среднее ${displaystyle s(i)}$ по всем данным всего набора данных для определенного количества кластеров ${displaystyle k}$.

Смотрите также

• Индекс Дэвиса – Боулдина
• k-medoids
• Определение количества кластеров в наборе данных

Рекомендации

1. Питер Дж. Руссеув (1987). «Силуэты: графическое средство для интерпретации и проверки кластерного анализа». Вычислительная и прикладная математика. 20: 53–65. Дои:10.1016/0377-0427(87)90125-7.
2. R.C. де Аморим, К. Хенниг (2015). «Восстановление количества кластеров в наборах данных с шумовыми характеристиками с использованием коэффициентов масштабирования функций». Информационные науки. 324: 126–145. arXiv:1602.06989. Дои:10.1016 / j.ins.2015.06.039.
3. Леонард Кауфман; Питер Дж. Руссеув (1990). Поиск групп в данных: введение в кластерный анализ. Хобокен, Нью-Джерси: Wiley-Interscience. п.87. Дои:10.1002/9780470316801. ISBN  9780471878766.