Как работает функция активации Softmax в рекуррентных нейронных сетях?

Функция активации Softmax в рекуррентных нейронных сетях преобразует вектор сырых оценок в распределение вероятностей. 5 Каждое значение находится в диапазоне от 0 до 1, а все значения в сумме равны 1. 5

Процесс работы Softmax включает два шага: 2

1. Возведение натурального логарифма e (числа Эйлера) в степени всех элементов вектора. 2 Это делает большие числа гораздо больше и усиливает разницу между ними. 2 Все элементы вектора e^L точно положительны, так как e — положительное число, около 2,718. 2
2. Деление каждого отдельного элемента e^L на сумму всех элементов e^L. 2 Это даёт «нормализованное», то есть относительное представление каждого элемента с учётом всех остальных элементов вектора. 2

Softmax обычно используется в выходном слое сети для задач многоклассовой классификации. 5