sklearn库学习——决策树（回归树DecisionTreeRegressor）

目录

• • • 关键参数、特征及接口

      • 折叠验证

      • • 折叠检验的评估

      • 回归树实例

      • • 引入相关模块
    • 构造数据
    • 注入干扰项
    • 构建模型
    • 验证模型

重要参数、属性及接口

回归树的绝大多数参数、属性及接口均与分类树保持一致。需要特别指出的是，由于回归树本身不涉及类别标签的分布平衡问题，因此其参数配置中并不包含class_weight这一选项。

• criterion：用于评估回归树分支质量的关键指标，共有三种选择方式
  1. 当输入“mse”时，采用均方误差（mean squared error，MSE）作为评估标准。该方法通过计算父节点与叶子节点之间的均方误差差异来决定特征选择策略，并利用叶节点的均值以最小化L2损失函数。
  2. 若输入“friedman_mse”，则使用费尔德曼改进型均方误差作为评估依据。该指标是对传统均方误差在分枝过程中潜在问题的一种优化方案。
  3. 输入“mae”时，将采用绝对平均误差（mean absolute error，MAE）作为衡量标准。此方法通过叶节点的中值实现对L1损失函数的最小化。

$MSE = \frac {1}{N} \sum_{i = 1}^N