决策树：集成学习

集成学习

• 1. 集成学习

  • • 1. 集成学习所依赖的数学基础是什么？
    • 2. 自助抽样法(bootstrapping)
    • • 1. 概述
      • 2. 分类问题
      • • 1. 非参数自助抽样法
    • 2. 参数自助抽样法

• 套袋法（Bagging）

• 提升法（Boosting）

• 套袋法与提升法的不同之处

  • 随机森林算法（Random Forest）
  • 自适应加权提升算法（Adaboost）
  • 梯度提升决策树（Gradient Boost Decision Tree, GBDT）
  • XGBoost作为一种改进型的梯度提升决策树算法（XGBoost是一种改进型的梯度提升决策树算法）

1. 集成学习

1. 集成学习依据的数学原理？

设X_1,X_2,...,X_n为来自正态分布总体N(\mu,\sigma^2)的样本数据，则其抽样统计量\overline{X}为样本均值，并满足以下概率分布关系：\overline{X}\sim N\left(\mu,\frac{\sigma^2}{n}\right)

2. boostrap(自助法)

1.简介

基于初始样本数据集的反复进行随机替换抽样操作可