《统计学习方法（第二版）》李航读书笔记（8）第5章决策树及其典型算法ID3、C4.5与CART
发布时间
阅读量：
阅读量
《统计学习方法（第二版）》李航 读书笔记 （8）
第5章 决策树 以及典型算法ID3、C4.5和CART
该分类决策树模型以树形结构的形式来描述实例之间的分类关系。它由节点与有向边构成。内部节点代表特定特征或分支关系，在决策过程中起判断作用；而每个叶子节点则标记具体类别，在结果输出时提供明确的答案指导。沿着路径上的各内部节点所对应的特征可以推导出决策规则中的条件；最终各叶节点对应的类别则决定了决策规则的结果。
该分类决策树模型以树形结构的形式来描述实例之间的分类关系。它由节点与有向边构成。内部节点代表特定特征或分支关系，在决策过程中起判断作用；而每个叶子节点则标记具体类别，在结果输出时提供明确的答案指导
决策树学习本质上是基于训练数据集进行分类规则的归纳。归纳学习由于依赖测试数据而被称为检验学习。
归纳学习存在一个基本的假设：
任何一个假设只要能够在一个充足的数据显示例集中准确地近似目标函数，则在未知数据的情况下该假设同样能很好地近似目标函数。这一假定构成了归纳学习得以成立的基础。（类似于大数定律）
特征选择
选取对训练数据具有分类能力的特征
在信息论与概率统计中，熵（entropy）是表示随即变量不确定性的度量。
还没有任何评论哟~