利用 Kaggle 的 xgboost 工具

在 Kaggle 平台举办的众多竞赛中，经常可以观察到许多优胜者倾向于采用 xgboost 算法，并且取得了令人瞩目的成绩。接下来，我们将深入探讨 xgboost 的本质及其具体应用方式。

文章框架如下：

• xgboost 的定义是什么？
• 选择它的原因有哪些？
• 如何进行实际操作？
• 相关学习资料推荐

---

什么是 xgboost？

XGBoost ：eXtreme Gradient Boosting
项目地址：https://github.com/dmlc/xgboost

最初由 Tianqi Chen http://homes.cs.washington.edu/~tqchen/ 开发，这是一个实现可扩展、便携且支持分布式计算的梯度提升（GBDT、GBRT 或 GBM）算法库。该工具可被下载并安装在 C++、Python、R、Julia、Java、Scala 以及 Hadoop 等多种平台中，目前由众多开发者共同维护与优化。

XGBoost 所采用的核心算法 即为梯度提升决策树，其不仅适用于分类任务，也可用于回归分析。

那么什么是 Gradient Boosting？

Gradient boosting 是 boosting 方法的一种具体实现形式。

所谓 Boosting