集成学习基础

概述

集成学习(Ensemble learning)主要通过将多种机器学习模型协同工作以实现优化目标。其具体而言，则是通过协调运用一系列不同类型的分析器，在数据特征提取与模式识别方面发挥协同作用。这种技术体系不仅能够整合多维度信息资源，并且能够根据数据分布动态调整权重分配策略，在分类决策时展现出比单独使用单个模型更高的泛化能力。具体的实施流程主要包括：首先生成一批独立的学习单元（individual learner）；其次通过特定策略整合这些单元形成统一的整体系统结构。

个体学习器通常主要通过现有算法基于训练数据生成。在同质集成的情境下（即系统内个体学习算法类型一致），这些基线性算法被统称为"基础 learner"；而当系统内的个体算法呈现多样性（即系统内个体算法类型各异）时，则分别被称作"组件构建者 (component learner)"。

在集成学习中主要采用三种集成方法：Bootstrap aggregating（即Bagging）、Boosting算法以及Stacking技术等；其中Bootstrap aggregating属于同质集成方法；而Stacking技术则被认为是异质集成方法的一种代表；

即通过有放回抽样的Bootstrap方法从数据集中生成多个不同的子集，并在每个子集上训练相应的模型以降低其方差。即像Random Fore