读书笔记-《机器学习》第8章集成学习

第八章 集成学习

• 集成学习是一种通过建立多个学习模型并将其结果进行整合，以完成特定学习任务的方法
• 集成学习的基本结构通常包括两个步骤：首先生成一组“基础学习器”，然后采用某种方式将这些基础学习器的结果进行组合
• 要实现高效的集成效果，基础学习器应具备良好且差异性 的特性，即每个基础模型在性能上不能过于低下，并且彼此之间应存在一定的差异性
• 当前常用的基础学习方法主要分为两类：一类是各个基础模型之间具有较强的依赖关系，必须依次生成的序列化方法；另一类是各个基础模型之间没有强依赖关系，可以同时生成的并行化方法。前者以Boosting 为代表，后者则以Bagging和“随机森林” 为主要代表
• Boosting是一系列能够将较弱的学习器提升为较强学习器的算法。这类算法的基本操作方式类似：首先利用初始训练集训练出一个基本模型，再依据该基本模型在训练数据上的表现对样本分布进行调整，使得之前被错误分类的样本在后续训练中获得更多关注；接着基于调整后的样本分布继续训练下一个基本模型；重复上述过程直到达到预设的基本模型数量T为止，并最终将这T个基本模型进行加权融合
• Boosting中对样本分布进行调整的方法包括
  • “权重重新分配法”：在每一轮训练过程中，根据当前样本分布为每个样本重新分配一个权重值
  • “