Функция Swish - Swish function - Wikipedia
В функция swish математическая функция, определяемая следующим образом:
где β либо постоянная, либо обучаемый параметр в зависимости от модели. При β = 1 функция становится эквивалентной Сигмоидно-взвешенная линейная единица (SiL) функция, используемая в обучение с подкреплением,[3][2] тогда как при β = 0 функция превращается в масштабированную линейную функцию f (x) = x / 2.[2] При β → ∞ сигмовидный компонент приближается к функции 0-1, поэтому взмах становится как ReLU функция. Таким образом, ее можно рассматривать как сглаживающую функцию, которая нелинейно интерполирует между линейной функцией и функцией ReLU.[2]
Приложения
В 2017 году после анализа ImageNet данные, исследователи из Google утверждал, что использование функции как функция активации в искусственные нейронные сети улучшает производительность по сравнению с ReLU и сигмовидной функцией.[1][2] Считается, что одна из причин улучшения заключается в том, что функция взмаха помогает облегчить проблема исчезающего градиента в течение обратное распространение.[4]
Рекомендации
- ^ а б Рамачандран, Праджит; Зоф, Баррет; Ле, Куок В. (2017-10-16). «Swish: функция автоматической активации» (PDF). v1. Google Brain. arXiv:1710.05941v1. В архиве (PDF) из оригинала 18.06.2020. Получено 2020-06-18.
- ^ а б c d е Рамачандран, Праджит; Зоф, Баррет; Ле, Куок В. (2017-10-27) [2017-10-16]. «Поиск функций активации» (PDF). v2. Google Brain. arXiv:1710.05941v2. В архиве (PDF) из оригинала 18.06.2020. Получено 2020-06-18.
- ^ Эльфокрыл, Стефан; Учибе, Эйдзи; Дойя, Кенджи (2017-11-02) [2017-02-23, 2017-02-10]. «Сигмоидно-взвешенные линейные единицы для аппроксимации функций нейронной сети в обучении с подкреплением» (PDF). v3. arXiv:1702.03118v3. В архиве (PDF) из оригинала 18.06.2020. Получено 2020-06-18.
- ^ Серенгил, Сефик Илькин (21.08.2018). «Swish как функция активации нейронных сетей». Машинное обучение, математика. В архиве из оригинала 18.06.2020. Получено 2020-06-18.