Разница между реализациями градиентного бустинга в sklearn и XGBoost заключается в следующих особенностях:

• Производительность. 13 XGBoost работает быстрее, чем sklearn, и может быть распараллелен. 1
• Регуляризация. 13 В XGBoost она лучше, и у модели меньше шансов переобучиться. 3
• Обработка пропущенных данных. 1 В отличие от sklearn, XGBoost эффективно справляется с пропущенными значениями. 1

Кроме того, XGBoost более эффективен в использовании памяти и использует вторую производную для нахождения оптимальной константы в каждом терминальном узле, в то время как стандартная реализация использует только первую производную. 1