В чём разница между стохастическим градиентным бустингом и обычным градиентным бустингом?

Разница между стохастическим градиентным бустингом и обычным градиентным бустингом заключается в том, что в стохастическом градиентном бустинге (SGB) на каждой итерации случайным образом выбирается подмножество обучающих данных для построения очередного дерева решений. mipt.ru {6-host}

Это снижает корреляцию между деревьями и повышает обобщающую способность модели. mipt.ru В обычном градиентном бустинге для вычисления весов и определения алгоритмов используется вся обучающая выборка. proproprogs.ru

Таким образом, основное различие в том, что в SGB для обучения на каждой итерации используется случайная выборка подмножества данных, что помогает предотвратить переобучение и уменьшить объём вычислений при работе с большой выборкой proproprogs.ru mipt.ru {6-host} .