Как работает параметр learning|_rate в XGBoost?

Параметр learning_rate (eta) в XGBoost определяет размер шага на каждой итерации в направлении к минимизации функции потерь. www.mql5.com xgboosting.com

С помощью этого параметра настраивают вклад каждого дерева в конечный результат, масштабируя веса признаков. xgboosting.com

Некоторые особенности работы learning_rate:

• Диапазон допустимых значений: от 0 до 1 (включительно). xgboosting.com
• Значение по умолчанию: 0,3. xgboosting.com
• Влияние на производительность модели: более низкие значения замедляют обучение, но могут улучшить обобщение, а более высокие — ускоряют обучение, но могут привести к неоптимальным результатам. xgboosting.com
• Взаимодействие с количеством раундов бустинга: более низкие значения learning_rate обычно требуют большего количества раундов бустинга, а более высокие — могут сходиться быстрее, но требуют тщательной настройки других параметров. xgboosting.com

Рекомендуется начинать со среднего значения (например, 0,1) и корректировать его на основе результатов кросс-валидации. www.mql5.com