机器学习领域集成A

文章结构概述

• • 组合学习方法：

  • 1、增强型算法

  • • 1.1Adaboost算法
    • 1.2梯度提升（Gradient boosting）决策树算法
    • 1.3XGBoost算法
    • 1.4对Adaboost、GB、GBDT与XGBoost等多种增强型算法的性能进行对比分析

  • 2、装袋型算法

  • 3、随机森林（Random Forest,RF）

  • 4 存在的问题

  • • 4.1GBDT与随机森林的异同点分析
    • 4.2分类树与回归树之间的主要差异
    • 4.3增强型算法在设计过程中重点关注的两个核心问题是什么？

集成学习：

最直观的解释：人数增多意味着整体能力增强

• 集成学习的基本理念是将多个基础模型进行组合，理论上而言，通过整合多个表现一般的模型，可以获得更优的预测效果。
• 在集成方法中存在两个核心挑战：一是如何挑选一组具有代表性的基础模型，二是采用何种方式将这些基础模型融合为一个综合性能更强的模型。
• 集成方法之所以能够取得成功，在于其确保了各个基础模型之间的差异性（即在保持良好性能的同时具备多样性），同时对于不稳定的算法进行集成后，往往可以实现较为显著的性能优化。

常见的集成学习方法包括：

        Bagging：训练多个