How backpropagation handles multiple different activation functions?

В алгоритме обратного распространения ошибки (backpropagation) все функции активации оцениваются независимо с помощью правила цепочки. datascience.stackexchange.com

Например, в нейронной сети из трёх скрытых слоёв, каждый с отдельной функцией активации, такой как tanh, sigmoid и ReLU, ошибка вывода каждого из слоёв вычисляется с производной функции активации этого слоя. datascience.stackexchange.com

Каждый слой получает свой локальный сигнал коррекции, связанный с его вкладом в общую ошибку. vc.ru Так сеть постепенно учится понимать, где она ошиблась — не в смысле осознания, а в смысле числовой связи между действием и отклонением. vc.ru