Какие существуют альтернативы функции ReLU в современных нейронных сетях?

Некоторые альтернативы функции ReLU в современных нейронных сетях:

• Leaky ReLU. neerc.ifmo.ru habr.com Возвращает само значение при положительном входном значении, а при отрицательных значениях возвращает линейную функцию от входа, умноженную на небольшой коэффициент. habr.com Это позволяет у нейрона вносить вклад в выходную функцию, даже если входные данные отрицательны. habr.com
• PReLU (Parametric ReLU). neerc.ifmo.ru Позволяет добиться более значительных улучшений по сравнению с ReLU и Leaky ReLU. neerc.ifmo.ru В случае параметрической модификации ReLU угол наклона не является гиперпараметром и настраивается нейросетью. neerc.ifmo.ru
• ELU (Exponential Linear Unit). yourtodo.life Работает так же, как и ReLU, возвращая исходное значение входа, если он больше нуля. habr.com Однако, если значение входа меньше или равно нулю, то ELU использует экспоненциальную функцию, чтобы получить значение, которое ближе к нулю, чем значение, возвращаемое ReLU. habr.com Это позволяет избежать «мёртвых нейронов» и ускорить обучение глубоких нейронных сетей. habr.com

Выбор альтернативы функции ReLU зависит от конкретной задачи и данных. yourtodo.life