GBDT面试题

GBDT基本原理

GBDT的工作原理是在多次循环过程中逐步建立。

每次循环都会生成一个较弱的分类模型，并采用基于决策树的方法构造。

每一个后续生成的分类模型都将在前一阶段产生的残差结果上进行优化。

GBDT优点

1. 能够多样化处理不同类型的数值数据，并涵盖连续值与离散值；
2. 在较少的参数调试时间下仍能实现预测表现优异；
3. 采用稳健型损失函数以增强对异常值的耐受能力，并非单一指标而是多种稳健型损失函数共同作用的结果。
   其中一种常见的稳健型损失函数是Huber损失函数...另一种则是分位数损失函数。

GBDT缺点

因为弱学习器之间相互受彼此的影响而难以实现完全的并行训练数据。
然而通过采用自采样机制的SGBT算法则能够实现某种程度上的部分并行。

GBDT分裂规则

GBDT会在节点分裂时选择那些能最大限度降低预测误差的特征来进行分割，在构建决策树的过程中，在每个节点选择最优分割标准时需要计算各个候选特征的信息增益，并最终选择具有最大信息增益的那个特征来进行分割；如果当前构建的这棵决策树无法达到预期的拟合效果，则需要通过负梯度计算出新的残差向量用于生成后续模型以进一步优化预测结果；信息增益这一概念用来描述一个特定条件下不确定性降低的程度。

GBDT继续分裂的终止条件