LogSumExp - LogSumExp - Wikipedia

В LogSumExp (LSE) (также называемый RealSoftMax[1] или многовариантный softplus) функция является гладкий максимум - а гладкий приближение к максимум функция, в основном используемая алгоритмами машинного обучения.[2] Он определяется как логарифм суммы экспонент аргументов:

Характеристики

Домен функции LogSumExp: , то реальное координатное пространство, а его диапазон , то реальная линия. Это приближение к максимальному со следующими оценками

Первое неравенство строгое, если . Второе неравенство становится точным равенством, когда все аргументы равны. Доказательство: Пусть . потом . Применение логарифма к неравенству дает результат.

Кроме того, мы можем масштабировать функцию, чтобы сделать границы более жесткими. Рассмотрим функцию . потом

Доказательство: заменить каждый с для некоторых в неравенствах выше, чтобы дать

и с тех пор

наконец, разделив на дает результат.

Функция LogSumExp является выпуклой и строго монотонно возрастает везде в своей области определения.[3] (но не везде строго выпуклый[4]).

Письмо частные производные:

Что означает градиент LogSumExp - это функция softmax

В выпуклый сопряженный LogSumExp - это отрицательная энтропия.

трюк log-sum-exp для вычислений в лог-области

Функция LSE часто встречается, когда обычные арифметические вычисления выполняются на логарифмическая шкала, как в логарифмическая вероятность.

Подобно тому, как операции умножения в линейном масштабе становятся простыми сложениями в логарифмическом масштабе, операция сложения в линейном масштабе становится LSE в логарифмическом масштабе.

Общей целью использования вычислений в лог-области является повышение точности и избежание проблем с переполнением и переполнением, когда очень маленькие или очень большие числа представлены напрямую (то есть в линейной области) с использованием чисел с плавающей точкой ограниченной точности.

К сожалению, использование LSE напрямую в этом случае может снова вызвать проблемы переполнения / потери значимости. Поэтому вместо этого следует использовать следующий эквивалент (особенно, когда точность приведенного выше приближения `` max '' недостаточна). Следовательно, многие математические библиотеки, такие как IT ++ предоставить подпрограмму LSE по умолчанию и использовать эту формулу внутри компании.

куда

Строго выпуклая функция типа log-sum-exp

LSE является выпуклым, но не строго выпуклым. Мы можем определить строго выпуклую функцию типа log-sum-exp[5] добавив дополнительный аргумент, равный нулю:

Эта функция является собственным генератором Брегмана (строго выпуклой и дифференцируемой). Он встречается в машинном обучении, например, как кумулянт полиномиального / биномиального семейства.


В тропический анализ, это сумма в бревенчатое полукольцо.

Смотрите также

Рекомендации

  1. ^ Чжан, Астон; Липтон, Зак; Ли, Му; Смола, Алексей. «Погрузитесь в глубокое обучение, Глава 3 Упражнения». www.d2l.ai. Получено 27 июн 2020.
  2. ^ Нильсен, Франк; Солнце, Кэ (2016). «Гарантированные оценки расходимости Кульбака-Лейблера одномерных смесей с использованием кусочно-логарифмических неравенств». Энтропия. 18: 442. arXiv:1606.05850. Bibcode:2016Entrp..18..442N. Дои:10.3390 / e18120442.
  3. ^ Эль-Гауи, Лоран (2017). Модели оптимизации и приложения.
  4. ^ "выпуклый анализ - О строго выпуклости функции логарифма суммы - экспоненты - Обмен математическими стеками". stackexchange.com.
  5. ^ Нильсен, Франк; Хаджерес, Гаэтан (2018). "Информационная геометрия Монте-Карло: двойственно плоский случай". arXiv:1803.07225. Bibcode:2018arXiv180307225N. Цитировать журнал требует | журнал = (помощь)