Как работает стохастический градиентный бустинг для решения задач машинного обучения?

Стохастический градиентный бустинг (SGB) — это расширение стандартного градиентного бустинга, в котором на каждой итерации случайным образом выбирается подмножество обучающих данных для построения очередного дерева решений. 2

Процесс работы SGB включает следующие шаги: 1

1. Инициализация модели. 1 Обычно это ансамбль из одного слабого обучающегося, часто дерева решений. 1
2. Определение скорости обучения. 1 Этот гиперпараметр регулирует вклад каждого слабого обучающегося в общую модель. 1
3. Выбор обучающих данных. 1 Для обучения каждого слабого обучающегося выбирается случайное подмножество обучающих данных, обычно без замены. 1
4. Обучение слабого обучающегося. 1 Обычно это дерево решений, которое обучают на выбранном подмножестве данных. 1
5. Обновление ансамбля. 1 К ансамблю добавляют обученное слабое обучающееся и изменяют его вклад в скорость обучения. 1
6. Обновление остатков. 1 Для этого из фактических значений вычитают ожидаемые, чтобы получить обновлённые остатки. 1 Они представляют ошибки, которые ансамбль должен исправить на следующей итерации. 1
7. Повторение шагов 3–6. 1 Можно повторять эти шаги до выполнения критерия остановки или заданного количества итераций бустинга. 1 После каждого цикла строится новое слабое обучающееся, чтобы уменьшить остатки, оставленные предыдущими обучающимися. 1
8. Завершение ансамбля. 1 Для получения окончательного предсказания объединяют предсказания слабых обучающихся с учётом их индивидуального вклада и скорости обучения. 1
9. Предсказание новых случаев. 1 Обученная модель SGB может использоваться для предсказания новых, непредвиденных случаев. 1

Стохастический градиентный бустинг может быть полезен для любых приложений машинного обучения, включая анализ данных, классификацию, регрессию и другие. 1