Какие атрибуты необходимы для функции активации в нейронной сети?

Некоторые атрибуты, которые необходимы для функции активации в нейронной сети:

• Нелинейность. ru.wikipedia.org Позволяет модели создавать сложные сопоставления между входами и выходами сети. yandex.ru
• Непрерывная дифференцируемость. ru.wikipedia.org Это свойство важно для обеспечения методов оптимизации на основе градиентного спуска. ru.wikipedia.org
• Область значений. ru.wikipedia.org Если множество значений функции активации ограничено, методы обучения на основе градиента более стабильны. ru.wikipedia.org Если область значений бесконечна, обучение, как правило, более эффективно. ru.wikipedia.org
• Монотонность. ru.wikipedia.org Если функция активации монотонна, поверхность ошибок, ассоциированная с одноуровневой моделью, гарантированно будет выпуклой. ru.wikipedia.org
• Эффективность. yandex.ru Функция активации должна сокращать время вычислений, поскольку нейронная сеть иногда обучается на миллионах точек данных. yandex.ru