Кластерно-взвешенное моделирование - Cluster-weighted modeling

В сбор данных, кластерно-взвешенное моделирование (CWM) основанный на алгоритмах подход к нелинейному прогнозированию результатов (зависимые переменные ) от входов (независимые переменные ) на основе оценка плотности с использованием набора моделей (кластеров), каждая из которых теоретически подходит в подобласти входного пространства. Общий подход работает в совместном пространстве ввода-вывода, и первоначальная версия была предложена Нил Гершенфельд.^[1][2]

Базовая форма модели

Процедуру кластерного моделирования задачи ввода-вывода можно описать следующим образом.^[2] Чтобы построить прогнозируемые значения для выходной переменной у из входной переменной Икс, процедура моделирования и калибровки достигает совместная функция плотности вероятности, п(у,Икс). Здесь «переменные» могут быть одномерными, многомерными или временными рядами. Для удобства здесь никакие параметры модели не указаны в обозначениях, и возможны несколько различных обработок их, в том числе установка для них фиксированных значений в качестве шага в калибровке или их обработка с использованием Байесовский анализ. Требуемые прогнозируемые значения получаются путем построения условная плотность вероятности п(у|Икс), из которого прогноз с использованием условное математическое ожидание можно получить, с условная дисперсия с указанием неопределенности.

Важным этапом моделирования является то, что п(у|Икс) предполагается иметь следующий вид: модель смеси:

${displaystyle p(y,x)=sum _{1}^{n}w_{j}p_{j}(y,x),}$

куда п - количество кластеров, а {ш_j} - веса, сумма которых равна единице. Функции п_j(у,Икс) являются совместными функциями плотности вероятности, которые относятся к каждому из п кластеры. Эти функции моделируются с помощью разложения на условную и предельная плотность:

${displaystyle p_{j}(y,x)=p_{j}(y|x)p_{j}(x),}$

куда:

• п_j(у|Икс) - модель для прогнозирования у данный Икс, и учитывая, что пара ввода-вывода должна быть связана с кластером j исходя из стоимости Икс. Эта модель могла бы быть регрессионная модель в простейших случаях.

• п_j(Икс) формально является плотностью для значений Икс, учитывая, что пара ввода-вывода должна быть связана с кластером j. Относительные размеры этих функций между кластерами определяют, будет ли конкретное значение Икс связан с любым заданным центром кластера. Эта плотность может быть Функция Гаусса с центром в параметре, представляющем центр кластера.

Так же, как и для регрессивный анализ, важно будет учесть предварительные преобразования данных как часть общей стратегии моделирования, если основные компоненты модели должны быть простыми регрессионными моделями для плотностей состояний по кластерам, и нормальные распределения для плотностей взвешивания кластеров п_j(Икс).

Общие версии

Базовый алгоритм CWM дает один выходной кластер для каждого входного кластера. Однако CWM может быть расширен до нескольких кластеров, которые все еще связаны с одним и тем же входным кластером.^[3] Каждый кластер в CWM локализован в гауссовой области ввода, и это содержит свою собственную обучаемую локальную модель.^[4] Он признан универсальным алгоритмом вывода, который обеспечивает простоту, универсальность и гибкость; даже когда может быть предпочтительна многоуровневая сеть с прямой связью, ее иногда используют как «второе мнение» о природе проблемы обучения.^[5]

Первоначальная форма, предложенная Гершенфельдом, описывает два нововведения:

• Включение CWM для работы с непрерывными потоками данных
• Решение проблемы локальных минимумов, с которыми сталкивается процесс настройки параметров CWM^[5]

CWM можно использовать для классификации носителей в приложениях для печати, используя по крайней мере два параметра для создания выходных данных, которые имеют общую зависимость от входных параметров.^[6]

Рекомендации

1. Гершенфельд, Н. (1997). «Нелинейный вывод и кластерно-взвешенное моделирование». Летопись Нью-Йоркской академии наук. 808: 18–24. Bibcode:1997НЯСА.808 ... 18Г. Дои:10.1111 / j.1749-6632.1997.tb51651.x.
2. Gershenfeld, N .; Шонер; Метуа, Э. (1999). «Кластерное моделирование для анализа временных рядов». Природа. 397 (6717): 329–332. Bibcode:1999Натура.397..329G. Дои:10.1038/16873.
3. Feldkamp, ​​L.A .; Прохоров, Д.В .; Фельдкамп, Т. (2001). «Кластерно-взвешенное моделирование с мультикластерами». Международная совместная конференция по нейронным сетям. 3 (1): 1710–1714. Дои:10.1109 / IJCNN.2001.938419.
4. Бойден, Эдвард С. «Кластерное взвешенное моделирование на основе дерева: на пути к параллельному цифровому Страдивари в реальном времени» (PDF). Кембридж, Массачусетс: MIT Media Lab.
5. Прохоров, Новый подход к кластерно-взвешенному моделированию Данил В .; Ли А. Фельдкамп; Тимоти М. Фельдкамп. «Новый подход к кластерно-взвешенному моделированию» (PDF). Дирборн, Мичиган: Исследовательская лаборатория Форда.
6. Гао, Цзюнь; Росс Р. Аллен (24 июля 2003 г.). «КЛАСТЕРНО-ВЕСОВОЕ МОДЕЛИРОВАНИЕ ДЛЯ КЛАССИФИКАЦИИ СМИ». Пало-Альто, Калифорния: Всемирная организация интеллектуальной собственности. Архивировано из оригинал 12 декабря 2012 г.