Как стохастический градиентный бустинг применяется в задачах классификации и регрессии?

Стохастический градиентный бустинг (SGB) применяется в задачах классификации и регрессии путём построения ансамбля «слабых» предсказывающих деревьев принятия решений. 2

В задаче классификации используется логистическая функция потерь, которая позволяет возвращать вероятности принадлежности объектов к классам. 4

Для задач регрессии обычно применяют квадратичную функцию потерь или модуль отклонения. 4

Процесс работы SGB: 1

1. На каждой итерации случайным образом выбирают подмножество данных из общего множества. 1
2. На этом подмножестве обучают очередное дерево, которое аппроксимирует негативный градиент функции потерь. 1
3. После обучения дерево добавляют к модели с учётом коэффициента скорости обучения. 1

Такой подход позволяет улучшить качество композиции, сходимость алгоритма и время обучения. 4

SGB эффективен, особенно для данных с большим количеством наблюдений и малым количеством переменных. 2