Ядро более гладкое - Kernel smoother - Wikipedia

Для более широкого освещения этой темы см. Ядро (статистика).

А ядро более гладкое это статистический метод оценки реальной стоимости функция ${\displaystyle f:\mathbb {R} ^{p}\to \mathbb {R} }$ как средневзвешенное значение соседних наблюдаемых данных. Вес определяется ядром, поэтому более близким точкам присваиваются более высокие веса. Оцениваемая функция является гладкой, и ее уровень задается одним параметром.

Этот метод наиболее подходит, когда размерность предиктора низкая (п <3), например для визуализации данных.

Определения

Позволять ${\displaystyle K_{h_{\lambda }}(X_{0},X)}$ быть ядром, определенным

${\displaystyle K_{h_{\lambda }}(X_{0},X)=D\left({\frac {\left\|X-X_{0}\right\|}{h_{\lambda }(X_{0})}}\right)}$

куда:

• ${\displaystyle X,X_{0}\in \mathbb {R} ^{p}}$
• ${\displaystyle \left\|\cdot \right\|}$ это Евклидова норма
• ${\displaystyle h_{\lambda }(X_{0})}$ параметр (радиус ядра)
• D(т) обычно является положительной вещественной функцией, значение которой уменьшается (или не увеличивается) с увеличением расстояния между Икс и Икс₀.

Популярный ядра для сглаживания используются параболические (Епанечникова), Tricube и Гауссовский ядра.

Позволять ${\displaystyle Y(X):\mathbb {R} ^{p}\to \mathbb {R} }$ быть непрерывной функцией Икс. Для каждого ${\displaystyle X_{0}\in \mathbb {R} ^{p}}$, средневзвешенное по ядру Надарая-Ватсона (гладкое Y(Икс) оценка) определяется как

${\displaystyle {\hat {Y}}(X_{0})={\frac {\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})Y(X_{i})}}{\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})}}}}$

куда:

• N это количество наблюдаемых точек
• Y(Икс_я) - наблюдения на Икс_я точки.

В следующих разделах мы описываем некоторые частные случаи сглаживания ядра.

Более гладкое ядро ​​Гаусса

В Гауссово ядро является одним из наиболее широко используемых ядер и выражается приведенным ниже уравнением.

${\displaystyle K(x^{*},x_{i})=\exp \left(-{\frac {(x^{*}-x_{i})^{2}}{2b^{2}}}\right)}$

Здесь b - масштаб длины для входного пространства.

Ближайший сосед более плавный

Идея ближайший сосед более плавный заключается в следующем. Для каждой точки Икс₀, возьмем m ближайших соседей и оценим значение Y(Икс₀) путем усреднения значений этих соседей.

Формально, ${\displaystyle h_{m}(X_{0})=\left\|X_{0}-X_{[m]}\right\|}$, куда ${\displaystyle X_{[m]}}$ это мth ближайший к Икс₀ сосед, и

${\displaystyle D(t)={\begin{cases}1/m&{\text{if }}|t|\leq 1\\0&{\text{otherwise}}\end{cases}}}$

Пример:

В этом примере Икс одномерно. Для каждого X₀, то ${\displaystyle {\hat {Y}}(X_{0})}$ это среднее значение 16, ближайшее к Икс₀ точки (обозначены красным). Результат получился недостаточно плавным.

Ядро в среднем более гладкое

Идея среднего сглаживания ядра заключается в следующем. Для каждой точки данных Икс₀, выберите постоянный размер расстояния λ (радиус ядра или ширина окна для п = 1 измерение) и вычислить средневзвешенное значение для всех точек данных, находящихся ближе чем ${\displaystyle \lambda }$ к Икс₀ (чем ближе к Икс₀ баллы получают больший вес).

Формально, ${\displaystyle h_{\lambda }(X_{0})=\lambda ={\text{constant}},}$ и D(т) - одно из популярных ядер.

Пример:

Для каждого Икс₀ ширина окна постоянна, а вес каждой точки в окне схематично обозначен желтой цифрой на графике. Видно, что оценка гладкая, но граничные точки смещены. Причина тому - неравное количество баллов (справа и слева направо). Икс₀) в окне, когда Икс₀ достаточно близко к границе.

Локальная линейная регрессия

Основная статья: Локальная регрессия

В двух предыдущих разделах мы предполагали, что основная функция Y (X) является локально постоянной, поэтому мы смогли использовать средневзвешенное значение для оценки. Идея локальной линейной регрессии состоит в том, чтобы локально соответствовать прямой линии (или гиперплоскости для более высоких измерений), а не постоянной (горизонтальной линии). После подгонки линии оценка ${\displaystyle {\hat {Y}}(X_{0})}$ обеспечивается значением этой строки в Икс₀ точка. Повторяя эту процедуру для каждого Икс₀, можно получить оценочную функцию ${\displaystyle {\hat {Y}}(X)}$. Как и в предыдущем разделе, ширина окна постоянна. ${\displaystyle h_{\lambda }(X_{0})=\lambda ={\text{constant}}.}$Формально локальная линейная регрессия вычисляется путем решения взвешенной задачи наименьших квадратов.

Для одного измерения (п = 1):

${\displaystyle {\begin{aligned}&\min _{\alpha (X_{0}),\beta (X_{0})}\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\beta (X_{0})X_{i}\right)^{2}}\\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\Downarrow \\&\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,{\hat {Y}}(X_{0})=\alpha (X_{0})+\beta (X_{0})X_{0}\\\end{aligned}}}$

Решение в закрытой форме определяется следующим образом:

${\displaystyle {\hat {Y}}(X_{0})=\left(1,X_{0}\right)\left(B^{T}W(X_{0})B\right)^{-1}B^{T}W(X_{0})y}$

куда:

• ${\displaystyle y=\left(Y(X_{1}),\dots ,Y(X_{N})\right)^{T}}$
• ${\displaystyle W(X_{0})=\operatorname {diag} \left(K_{h_{\lambda }}(X_{0},X_{i})\right)_{N\times N}}$
• ${\displaystyle B^{T}=\left({\begin{matrix}1&1&\dots &1\\X_{1}&X_{2}&\dots &X_{N}\\\end{matrix}}\right)}$

Пример:

Полученная функция является гладкой, и задача со смещенными граничными точками решена.

Локальная линейная регрессия может быть применена к пространству любого измерения, хотя вопрос о том, что такое локальная окрестность, становится более сложным. Обычно для соответствия локальной линейной регрессии используются k ближайших обучающих точек к контрольной точке. Это может привести к большим отклонениям от установленной функции. Чтобы ограничить дисперсию, набор обучающих точек должен содержать контрольную точку в их выпуклой оболочке (см. Ссылку Гупта и др.).

Локальная полиномиальная регрессия

Вместо подгонки локально линейных функций можно подбирать полиномиальные функции.

При p = 1 следует минимизировать:

${\displaystyle {\underset {\alpha (X_{0}),\beta _{j}(X_{0}),j=1,...,d}{\mathop {\min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-\alpha (X_{0})-\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{i}^{j}}\right)^{2}}}$

с ${\displaystyle {\hat {Y}}(X_{0})=\alpha (X_{0})+\sum \limits _{j=1}^{d}{\beta _{j}(X_{0})X_{0}^{j}}}$

В общем случае (p> 1) следует минимизировать:

${\displaystyle {\begin{aligned}&{\hat {\beta }}(X_{0})={\underset {\beta (X_{0})}{\mathop {\arg \min } }}\,\sum \limits _{i=1}^{N}{K_{h_{\lambda }}(X_{0},X_{i})\left(Y(X_{i})-b(X_{i})^{T}\beta (X_{0})\right)}^{2}\\&b(X)=\left({\begin{matrix}1,&X_{1},&X_{2},...&X_{1}^{2},&X_{2}^{2},...&X_{1}X_{2}\,\,\,...\\\end{matrix}}\right)\\&{\hat {Y}}(X_{0})=b(X_{0})^{T}{\hat {\beta }}(X_{0})\\\end{aligned}}}$

Смотрите также

• Фильтр Савицкого – Голея
• Методы ядра
• Оценка плотности ядра
• Локальная регрессия
• Регрессия ядра

Рекомендации

• Ли, К. и Дж. Расин. Непараметрическая эконометрика: теория и практика. Издательство Принстонского университета, 2007 г., ISBN  0-691-12161-3.
• Т. Хасти, Р. Тибширани и Дж. Фридман, Элементы статистического обучения, Глава 6, Springer, 2001. ISBN  0-387-95284-5 (сайт-компаньон ).
• М. Гупта, Э. Гарсия и Э. Чин, «Адаптивная локальная линейная регрессия с приложением к управлению цветом принтера», IEEE Trans. Обработка изображений 2008.