集成学习的决策树算法

主流的集成学习框架包括三种：Bagging、Boosting 和 Stacking。这三种框架在基学习器的产生以及综合结果的方式上会产生不同的处理方式。为了便于理解这些概念的基础知识，请稍后继续详细讲解。

1.1 Bagging

Bagging 全称被称为 Bootstrap aggregating 方法。
当我们看到 Bootstrap 时，
让人立即联想到著名的开源前端框架（幽默地说就是 Bootstrap 抽样技术）。
通过有放回地从原始数据集中抽取样本生成不同的子训练集，
其中最具代表性的抽样方法是 0.632 自助算法。
每个基学习器基于各自独立生成的子训练集展开建模过程，
并综合各基学习器的预测结果来实现最终输出。
Bagging 中常用的集成策略即投票机制，
其核心思想是取得票数最多的类别作为最终预测结果。

1.2 Boosting

基于梯度的提升流程呈阶梯状分布，在各子模型之间存在严格的训练先后关系。每一个后续的基础学习器都会在前一个基础学习器完成训练后才开始自身的训练。为了整合各子模型的学习效果以获得最优决策依据，在实际应用中较为常用的方法是加权求和