Gradient Boosted Decision Tree and Logistic Regression:Predicting Ad Clicks on Facebook

Facebook广告点击预测实践启示

整体思路概述

本文重点探讨了将GBDT与LR相结合的策略，通过该方式显著增强了模型的整体表现。

图示中展示了两棵决策树结构，其中x代表一个输入样本。在对这两棵树进行遍历操作后，该样本将分别对应到各自树结构中的叶子节点位置。每个叶子节点均与一个LR模型的一维特征相对应，因此通过完成树结构的遍历过程，即可获取该样本所对应的全部LR特征。新生成的特征向量仅包含0和1两种取值形式。以图中所示为例，左侧的树包含三个叶子节点，右侧的树则包含两个叶子节点，最终形成的特征维度为五维向量。对于输入样本x而言，若其落在左侧树的第一个叶子节点，则对应的编码为[1,0,0]；若其落在右侧树的第二个叶子节点，则对应的编码为[0,1]。综合这两个编码结果后，最终得到的整体编码形式为[1,0,0,0,1]。此类二进制编码形式的特征可作为输入变量，被引入到逻辑回归模型中用于执行分类任务。

评价指标

本文所采用的评估指标包括归一化熵（Normalized Entrophy，NE）以及校准度（Calibration）。
**归