图解GBDT的构建与预测过程

以 Gradient Boosting Decision Tree 为基础构建的模型及其优化版本，在数据竞赛领域占据主导地位。网络上相关的解析文章数量众多，并多以文字阐述为主辅以公式推导的形式呈现。为了更直观地掌握其工作原理及流程特点，在此尝试采用简洁明了的图形化展示方法。

参考《统计学习方法》P149中的例子，说明 GBDT 的构造和预测过程。

GBDT的构造

在梯度提升决策树（GBDT）中，默认使用的基学习器被限定为CART决策树这样生成的所有决策树均为二叉树结构由于单个CART决策_tree的能力较为有限基于此在构建模型的过程中，默认会生成多棵回归决策_tree来进行集成学习在每一步迭代中，默认都会基于前序生成的所有回归决策_tree的结果来计算当前样本的残差值（假设使用均方误差作为损失函数）然后将该残差值作为新的目标变量进行建模训练这样可以使得后续模型能够更好地纠正前序模型存在的偏差从而使整体预测精度逐步提升

参考数据表8.2中的信息，在CART算法的设计思路下生成第一棵决策树T1（这种处理方法类似于使用树桩），通过T1对各个样本点进行预测后会产