Как работает функция активации Softmax в рекуррентных нейронных сетях?

Функция активации Softmax в рекуррентных нейронных сетях преобразует вектор сырых оценок в распределение вероятностей. www.ultralytics.com Каждое значение находится в диапазоне от 0 до 1, а все значения в сумме равны 1. www.ultralytics.com

Процесс работы Softmax включает два шага: sysblok.ru

1. Возведение натурального логарифма e (числа Эйлера) в степени всех элементов вектора. sysblok.ru Это делает большие числа гораздо больше и усиливает разницу между ними. sysblok.ru Все элементы вектора e^L точно положительны, так как e — положительное число, около 2,718. sysblok.ru
2. Деление каждого отдельного элемента e^L на сумму всех элементов e^L. sysblok.ru Это даёт «нормализованное», то есть относительное представление каждого элемента с учётом всех остальных элементов вектора. sysblok.ru

Softmax обычно используется в выходном слое сети для задач многоклассовой классификации. www.ultralytics.com