有监督分类：集成分类包括Bagging、Boosting和Random Forest

1.前言

集成学习（Ensemble）是一种将多个性能相对较低的弱学习器，通过合理的组合方式构建出具有更高性能的强学习器的途径。民间有句俗语“三个臭皮匠顶个诸葛亮”，用来描述集成分类器的效果再贴切不过。近年来，围绕集成分类的相关探究始终是机器学习研究中的一个核心议题。在本文中，仅对两种较为熟悉的集成分类方法进行了剖析。

• 一种是对多个弱学习器实施独立训练的Bagging学习法
• 另一种则是对多个弱学习器进行顺序训练的Boosting学习法

尽管当前集成学习的理论框架已广泛应用于回归分析、分类识别等多元化的机器学习场景，但本文仅聚焦于分类问题展开探讨。

2.剪枝分类方法

剪枝分类作为一种基础的分类方法，归属于弱分类器的范畴。所谓剪枝分类，指的是针对具有d维特征的输入变量所进行的一种简化处理方式：

![](https://ad.itadn.com/c/webl