Гладкий максимум - Smooth maximum

В математика, а гладкий максимум из индексированная семья Икс₁, ..., Икс_п чисел - это гладкое приближение к максимум функция ${\displaystyle \max(x_{1},\ldots ,x_{n}),}$ имея в виду параметрическая семья функций ${\displaystyle m_{\alpha }(x_{1},\ldots ,x_{n})}$ так что для каждого α, функция ${\displaystyle m_{\alpha }}$ гладко, и семейство сходится к максимальной функции ${\displaystyle m_{\alpha }\to \max }$ в качестве ${\displaystyle \alpha \to \infty }$. Концепция чего-либо гладкий минимум аналогично определяется. Во многих случаях одно семейство аппроксимирует оба: максимум, когда параметр стремится к положительной бесконечности, минимальный, когда параметр стремится к отрицательной бесконечности; в символах, ${\displaystyle m_{\alpha }\to \max }$ в качестве ${\displaystyle \alpha \to \infty }$ и ${\displaystyle m_{\alpha }\to \min }$ в качестве ${\displaystyle \alpha \to -\infty }$. Этот термин также можно свободно использовать для конкретной гладкой функции, которая ведет себя аналогично максимуму, не обязательно являясь частью параметризованного семейства.

Примеры

Smoothmax применяется к функциям '-x' и x с различными коэффициентами. Очень гладко для ${\displaystyle \alpha }$= 0,5 и резче для ${\displaystyle \alpha }$=8.

При больших положительных значениях параметра ${\displaystyle \alpha >0}$, следующая формулировка является гладкой, дифференцируемый приближение функции максимума. Для отрицательных значений параметра, больших по модулю, он приближается к минимуму.

${\displaystyle {\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i=1}^{n}e^{\alpha x_{i}}}}}$

${\displaystyle {\mathcal {S}}_{\alpha }}$ обладает следующими свойствами:

1. ${\displaystyle {\mathcal {S}}_{\alpha }\to \max }$ в качестве ${\displaystyle \alpha \to \infty }$
2. ${\displaystyle {\mathcal {S}}_{0}}$ это среднее арифметическое его входов
3. ${\displaystyle {\mathcal {S}}_{\alpha }\to \min }$ в качестве ${\displaystyle \alpha \to -\infty }$

Градиент ${\displaystyle {\mathcal {S}}_{\alpha }}$ тесно связан с softmax и дается

${\displaystyle \nabla _{x_{i}}{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {e^{\alpha x_{i}}}{\sum _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n}))].}$

Это делает функцию softmax полезной для методов оптимизации, использующих градиентный спуск.

LogSumExp

Основная статья: LogSumExp

Еще один плавный максимум - LogSumExp:

${\displaystyle \mathrm {LSE} _{\alpha }(x_{1},\ldots ,x_{n})=1/\alpha \log(\exp(\alpha x_{1})+\ldots +\exp(\alpha x_{n}))}$

Это также можно нормализовать, если ${\displaystyle x_{i}}$ все неотрицательны, что дает функцию с областью определения ${\displaystyle [0,\infty )^{n}}$ и диапазон ${\displaystyle [0,\infty )}$:

${\displaystyle g(x_{1},\ldots ,x_{n})=\log(\exp(x_{1})+\ldots +\exp(x_{n})-(n-1))}$

В ${\displaystyle (n-1)}$ срок исправляет тот факт, что ${\displaystyle \exp(0)=1}$ отбрасывая все экспоненты, кроме одной, и ${\displaystyle \log 1=0}$ я упал ${\displaystyle x_{i}}$ равны нулю.

р-Норма

Основная статья: P-норма

Еще один плавный максимум - это p-норма:

${\displaystyle ||(x_{1},\ldots ,x_{n})||_{p}=\left(|x_{1}|^{p}+\cdots +|x_{n}|^{p}\right)^{1/p}}$

который сходится к ${\displaystyle ||(x_{1},\ldots ,x_{n})||_{\infty }=\max _{1\leq i\leq n}|x_{i}|}$ в качестве ${\displaystyle p\to \infty }$.

Преимущество p-нормы в том, что это норма. Таким образом, он «масштабно инвариантен» (однороден): ${\displaystyle ||(\lambda x_{1},\ldots ,\lambda x_{n})||_{p}=|\lambda |\times ||(x_{1},\ldots ,x_{n})||_{p}}$, и он удовлетворяет треугольному неравенству.

Использование в численных методах

Другие варианты функции сглаживания

${\displaystyle {\mathcal {max}}_{\alpha }(x_{1},x_{2})=\left((x_{1}+x_{2})+{\sqrt {(x_{1}-x_{2})^{2}+\alpha }}\right)/2}$

Где ${\displaystyle \alpha }$ является параметром.

Смотрите также

• LogSumExp
• Функция Softmax
• Обобщенное среднее

Рекомендации

М. Ланге, Д. Цюльке, О. Хольц и Т. Виллманн, «Применение lp-норм и их гладких приближений для градиентного векторного квантования обучения», в Proc. ESANN, Апрель 2014 г., стр. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf )