Как работает стохастический градиентный бустинг для решения задач машинного обучения?

Стохастический градиентный бустинг (SGB) — это расширение стандартного градиентного бустинга, в котором на каждой итерации случайным образом выбирается подмножество обучающих данных для построения очередного дерева решений. cyberleninka.ru

Процесс работы SGB включает следующие шаги: www.e2enetworks.com

1. Инициализация модели. www.e2enetworks.com Обычно это ансамбль из одного слабого обучающегося, часто дерева решений. www.e2enetworks.com
2. Определение скорости обучения. www.e2enetworks.com Этот гиперпараметр регулирует вклад каждого слабого обучающегося в общую модель. www.e2enetworks.com
3. Выбор обучающих данных. www.e2enetworks.com Для обучения каждого слабого обучающегося выбирается случайное подмножество обучающих данных, обычно без замены. www.e2enetworks.com
4. Обучение слабого обучающегося. www.e2enetworks.com Обычно это дерево решений, которое обучают на выбранном подмножестве данных. www.e2enetworks.com
5. Обновление ансамбля. www.e2enetworks.com К ансамблю добавляют обученное слабое обучающееся и изменяют его вклад в скорость обучения. www.e2enetworks.com
6. Обновление остатков. www.e2enetworks.com Для этого из фактических значений вычитают ожидаемые, чтобы получить обновлённые остатки. www.e2enetworks.com Они представляют ошибки, которые ансамбль должен исправить на следующей итерации. www.e2enetworks.com
7. Повторение шагов 3–6. www.e2enetworks.com Можно повторять эти шаги до выполнения критерия остановки или заданного количества итераций бустинга. www.e2enetworks.com После каждого цикла строится новое слабое обучающееся, чтобы уменьшить остатки, оставленные предыдущими обучающимися. www.e2enetworks.com
8. Завершение ансамбля. www.e2enetworks.com Для получения окончательного предсказания объединяют предсказания слабых обучающихся с учётом их индивидуального вклада и скорости обучения. www.e2enetworks.com
9. Предсказание новых случаев. www.e2enetworks.com Обученная модель SGB может использоваться для предсказания новых, непредвиденных случаев. www.e2enetworks.com

Стохастический градиентный бустинг может быть полезен для любых приложений машинного обучения, включая анализ данных, классификацию, регрессию и другие. www.e2enetworks.com