集成学习方法包括 Bagging 和 Boosting 等等

【本文章参考以下文章，如有看不懂，可以参考原文章：
参考文章1
参考文章2
参考文章3
参考文章4
参考文章5
参考文章6

GBDT基本思想

GBDT的核心理念是通过多次迭代过程，每次迭代生成一个弱分类器（基于CART回归树构建），而每个分类器的训练均以之前分类器所产生的残差作为基础

xgboost算法思想

该算法的核心在于持续地引入新的树结构，并通过不断进行特征划分来扩展树的规模。每一次新增一棵树的过程，实质上是构建一个新的函数以拟合前一轮预测所遗留的残差。当训练过程结束并获得k棵树后，若要预测某个样本的得分，则依据该样本的特征，在每棵树中找到对应的叶子节点，每个叶子节点对应一个具体的分数值。最终只需将所有树对应的分数相加即可得出该样本的预测结果

随机森林算法思想

随机森林采用随机抽样的方式将多个决策树整合为一