梯度提升决策树（GBDT）

GBDT（梯度提升决策树）作为一种基于迭代原理的机器学习算法具有较高的预测性能其别名为MART（多加性回归树）。该算法通过构建一系列弱学习器（即单棵决策树）并对这些弱学习器的结果进行累加求和以得到最终预测结果从而实现了对复杂数据模式的有效建模过程。在集成学习框架下 MART 方法展现了卓越的表现能够有效地平衡模型偏差与方差进而优化分类与回归任务中的预测效果

原理

GBDT的基本概念是通过集成多个弱分类器（多数为决策树）来构建一个强大的预测系统。具体而言，在数学上, GBDT的定义如下:

• 初始化 ：在初始化阶段, GBDT采用一个常数（通常取为目标变量\mathbf{y}的均值\bar{\mathbf{y}}或其他适当设定）作为基函数f_0(\mathbf{x}) 。其反映了对目标变量的整体水平的初步认知。
  • 迭代训练 ：该算法基于前一轮损失函数优化的结果不断更新改进, 每次新增一棵决策树以弱化学习过程中的残留偏差.具体而言, 在第m轮中, 算法通过最小化残差损失函数\mathcal{L}(f_m(\mathbf{x}), \mathbf{y})来决定新增决策树f_m(\mathbf{x}) 。这种策略能够逐步降低现有预测与真实观测之间的偏差.

• 1. 残差计算: 在每一轮迭代循环启动时, 计算出当前集成学习框架对