Как расписать градиентный шаг для квадратичной функции потерь и сигмоидной функции активации?

Для описания градиентного шага для квадратичной функции потерь и сигмоидной функции активации можно воспользоваться следующим алгоритмом: www.ccas.ru robotdreams.cc

1. Инициализировать параметры модели случайными значениями. robotdreams.cc
2. Подать входные данные в модель и получить предсказания. robotdreams.cc
3. Вычислить значение функции ошибки, сравнив предсказания с фактическими значениями. robotdreams.cc Как именно — зависит от конкретной задачи. robotdreams.cc
4. Определить градиент функции ошибки по каждому параметру модели. robotdreams.cc Формула выбирается в зависимости от выбранной функции ошибки. robotdreams.cc
5. Обновить значения параметров по формуле: новое значение параметра = старое значение параметра − learning rate * градиент. robotdreams.cc Learning rate (скорость обучения) — это гиперпараметр, который контролирует скорость сходимости алгоритма градиентного спуска и определяет размер шага, с которым обновляются параметры модели. robotdreams.cc
6. Повторить шаги 2–5 для каждого этапа прогонки обучения (эпохи) или до достижения критерия остановки. robotdreams.cc

Для сигмоидной функции активации градиент функционала можно расписать, воспользовавшись выражением для производной сигмоидной функции σ′ = σ(1 − σ): www.ccas.ru ∂Q/∂w = − ℓ 1−σ w, xi yi yixi. www.ccas.ru

Тогда в методе стохастического градиента правило обновления весов при предъявлении прецедента xi, yi будет иметь вид: w := w + η 1 − σ w, xi yi yixi. www.ccas.ru