竞赛常用集成学习框架的提升算法总结（XGBoost和LightGBM）（附代码）

Boosting算法原理与应用

Boosting属于一种能够将基础学习模型优化为高性能学习模型的算法体系，其运行原理具体表现为：首先利用初始训练数据集构建一个基础学习模型，随后依据该模型的预测效果对样本权重进行重新分配，使之前被误判的样本在后续训练中获得更高的关注度，再基于更新后的样本权重分布继续训练下一个基础学习模型；通过反复执行上述过程，最终将所有基础模型的预测结果按照一定权重进行综合。在实际应用中，GBDT、XGBoost以及LightGBM等均是典型的Boosting算法代表。

XGBoost

XGBoost算法核心原理

XGBoost模型本质上是由K个基础模型构成的加法表达式，其中每个基础模型均为CART回归树结构，即二叉树形式。在完成训练后，系统将生成K棵决策树。当对某个样本进行预测时，依据其特征信息，在每一棵决策树中都会找到对应的叶子节点，而每个叶子节点都对应一个特定的分数值。最终该样本的预测结果为所有决策树所对应分数值的累加。

$$\hat{y}_{i}=\sum_{k=1}^{K} f_{k}\left(x_{i}\right)$$

如图示例所示，若训练出两棵决策树，则儿童样本的预测分数为这两棵树中儿童所在节点所对应分数之和。同理，长辈样本的预测分数也遵循相同的计算方式。

![](https://cdl.ita