Потеря шарнира - Hinge loss

График потери на шарнире (синий, измерено по вертикали) против потери нуля или единицы (измерено по вертикали; неправильная классификация, зеленый: y < 0) за т = 1 и переменная y (измеряется по горизонтали). Обратите внимание, что потеря петли ухудшает прогнозы. y < 1, что соответствует понятию запаса в машине опорных векторов.

В машинное обучение, то потеря петли это функция потерь используется для обучения классификаторы. Потери на шарнирах используются для классификации с "максимальной маржой", в первую очередь для опорные векторные машины (SVM).^[1]

Для предполагаемого выхода т = ±1 и оценка классификатора y, шарнирная потеря предсказания y определяется как

${\displaystyle \ell (y)=\max(0,1-t\cdot y)}$

Обратите внимание, что ${\displaystyle y}$ должен быть «сырым» выводом функции принятия решения классификатора, а не прогнозируемой меткой класса. Например, в линейных SVM ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} +b}$, куда ${\displaystyle (\mathbf {w} ,b)}$ параметры гиперплоскость и ${\displaystyle \mathbf {x} }$ - входная (ые) переменная (ы).

Когда т и y имеют такой же знак (значение y предсказывает правильный класс) и ${\displaystyle |y|\geq 1}$, потеря петли ${\displaystyle \ell (y)=0}$. Когда у них противоположные знаки, ${\displaystyle \ell (y)}$ линейно возрастает с y, и аналогично, если ${\displaystyle |y|<1}$, даже если у него такой же знак (правильный прогноз, но не с достаточным запасом).

Расширения

Хотя двоичные SVM обычно расширяются до мультиклассовая классификация в режиме один против всех или один против одного,^[2]для этого конца также можно увеличить саму петлю. Было предложено несколько различных вариантов потери петель в нескольких классах.^[3] Например, Краммер и Зингер.^[4]определил его для линейного классификатора как^[5]

${\displaystyle \ell (y)=\max(0,1+\max _{y\neq t}\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )}$

Где ${\displaystyle t}$ целевая метка, ${\displaystyle \mathbf {w} _{t}}$ и ${\displaystyle \mathbf {w} _{y}}$ параметры модели.

Уэстон и Уоткинс дали аналогичное определение, но с суммой, а не с максимумом:^[6][3]

${\displaystyle \ell (y)=\sum _{y\neq t}\max(0,1+\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )}$

В структурированный прогноз, потеря петель может быть расширена на структурированные выходные пространства. Структурированные SVM с изменением размера полей используйте следующий вариант, где ш обозначает параметры SVM, y прогнозы SVM, φ совместная функция функции, и Δ в Потеря Хэмминга:

${\displaystyle {\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\end{aligned}}}$

Оптимизация

Потеря шарнира выпуклая функция, поэтому с ним могут работать многие обычные выпуклые оптимизаторы, используемые в машинном обучении. Это не так дифференцируемый, но имеет субградиент по параметрам модели ш линейной SVM с функцией оценки ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} }$ что дается

${\displaystyle {\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1\\0&{\text{otherwise}}\end{cases}}}$

График трех вариантов потери шарнира в зависимости от z = ты: «обычный» вариант (синий), его квадратный (зеленый) и кусочно-гладкий вариант Ренни и Сребро (красный).

Однако, поскольку производная от потери шарнира при ${\displaystyle ty=1}$ не определено, сглаженный версии могут быть предпочтительны для оптимизации, такие как Rennie и Srebro's^[7]

${\displaystyle \ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty<1,\\0&{\text{if}}~~1\leq ty\end{cases}}}$

или квадратично сглаженный

${\displaystyle \ell _{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma \\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}}$

предложил Чжан.^[8] В модифицированная потеря Хубера ${\displaystyle L}$ является частным случаем этой функции потерь с ${\displaystyle \gamma =2}$, конкретно ${\displaystyle L(t,y)=4\ell _{2}(y)}$.

Рекомендации

1. Rosasco, L .; De Vito, E.D .; Caponnetto, A .; Piana, M .; Верри, А. (2004). «Все ли функции потерь одинаковы?» (PDF). Нейронные вычисления. 16 (5): 1063–1076. CiteSeerX  10.1.1.109.6786. Дои:10.1162/089976604773135104. PMID  15070510.
2. Duan, K. B .; Кеэрти, С. С. (2005). «Какой метод мультиклассовой SVM лучше всего? Эмпирическое исследование» (PDF). Системы с несколькими классификаторами. LNCS. 3541. С. 278–285. CiteSeerX  10.1.1.110.6789. Дои:10.1007/11494683_28. ISBN  978-3-540-26306-7.
3. Доган, Урун; Гласмахер, Тобиас; Игель, Кристиан (2016). «Единый взгляд на классификацию опорных векторов с несколькими классами» (PDF). Журнал исследований в области машинного обучения. 17: 1–32.
4. Краммер, Коби; Певец, Йорам (2001). «Об алгоритмической реализации мультиклассовых векторных машин на базе ядра» (PDF). Журнал исследований в области машинного обучения. 2: 265–292.
5. Мур, Роберт С .; ДеНеро, Джон (2011). "L₁ и я₂ регуляризация для многоклассовых моделей потери шарнира " (PDF). Proc. Symp. по машинному обучению в обработке речи и языка.
6. Уэстон, Джейсон; Уоткинс, Крис (1999). «Машины опорных векторов для распознавания образов мультиклассов» (PDF). Европейский симпозиум по искусственным нейронным сетям.
7. Ренни, Джейсон Д. М .; Сребро, Натан (2005). Функции потерь для уровней предпочтений: регрессия с дискретно упорядоченными метками (PDF). Proc. IJCAI Междисциплинарный семинар по достижениям в обработке преференций.
8. Чжан, Тонг (2004). Решение крупномасштабных задач линейного прогнозирования с использованием алгоритмов стохастического градиентного спуска (PDF). ICML.