典型集成模型综述

• 简述

  • Bagging、Boosting 以及 Stacking

  • AdaBoost（待完善）

  • 随机森林

    • 算法：
    • 优势：
    • 不足：

  • XGBOOST

    • 算法
    • 长处
    • 弱点

  • LGB

简介

Bagging, Boosting 和 Stacking

Bagging（Bootstrap汇总）属于一种集成学习的途径。首先，需要生成多个随机选取的训练数据子集。接着，针对每一个子集构建相应的分类模型。最终，通过平均或多数表决的方式将这些分类模型的预测结果进行整合。该方法能够有效减少模型的方差。

Boosting算法具备使预测组件实现持续学习的能力。初始的预测组件基于完整的数据集进行学习，后续的预测组件则在前一阶段的学习成果基础上，针对训练数据集展开学习过程。首先对原始数据集实施分类操作，并为每一个观测样本分配相同的权重值。若第一阶段的学习组件未能正确识别类别，则会对被错误分类的观测样本赋予更高的权重值。这一流程将持续循环，不断引入新的分类学习组件，直至满足预设的模型数量或达到特定的准确度标准。与Bagging方法相比，Boosting在预测精确性方面表现更为出色，然而在某些情况下也可能出现对训练数据过度拟合的问题。

![这里写图