集成学习方法（Ensemble Learning Method）

集成学习（ensemble Learning）通过融合多个基础模型来实现特定的学习目标；这种技术也可统称为多分类系统或多分类方法；其基本架构通常是先生成一组独立的基础模型再采用某种集成策略使它们协同工作；在实际应用中这些基础模型通常采用特定的学习算法从训练数据中生成；当同质集成中的各个基础模型被称作基模型时则这些不同来源的基础模型被称为组件模型或直接作为基模型处理

其主要包含三大类：提升算法（Boosting）、 Bootstrap aggregating (Bagging) 和堆叠法 (Stacking)。具体来说，在分类领域中，提升算法的主要代表包括Adaptive Boosting (AdaBoost)、梯度提升决策树 (Gradient Boost Decision Tree, GBDT) 和 XGBoost；而 Bootstrap aggregating 算法的主要代表则是随机森林 (Random Forest)。

提升算法着重于减少偏差，并且能够通过使用泛化能力较弱的学习器生成强大的集成模型；相比之下，在未剪枝的决策树模型以及神经网络等学习器中使用袋装法则表现出更好的效果。

一、Boosting

Boosting是一种能将弱学习器进化为强学习器的关键算法，在机器学习领域具有重要地位。作为一种按顺序处理的方法，在每个步骤中都有高度相关的特性需要依次处理。然