Ключевые принципы алгоритма обратного распространения ошибки:

1. Итеративность. 2 Веса нейронов сети корректируются после подачи на её вход одного обучающего примера. 2
2. Два прохода по сети. 12 На прямом проходе входной вектор распространяется от входов сети к её выходам и формирует выходной вектор, соответствующий текущему состоянию весов. 2 Затем вычисляется ошибка нейронной сети как разность между фактическим и целевым значениями. 2 На обратном проходе эта ошибка распространяется от выхода сети к её входам, и производится коррекция весов нейронов. 2
3. Использование стохастического градиентного спуска. 12 Алгоритм продвигается в многомерном пространстве весов в направлении антиградиента с целью достичь минимума функции ошибки. 2
4. Обучение не до точной настройки сети на минимум функции ошибки, а до достаточно точного его приближения. 2 Это позволяет, с одной стороны, уменьшить число итераций обучения, а с другой — избежать переобучения сети. 2