《machine learning in action》机器学习算法笔记决策树模型

阅读量：

决策树模型

关键目标在于解析数据中所包含的知识内容，因此决策树能够处理未知的数据集，并从中归纳出若干规则，而机器依据数据集生成这些规则的机制即为机器学习的实现方式。

复制代码

    优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
    缺点：可能会产生过度匹配问题。

范例：专家系统。

构建决策树的方法如下：

借助信息论原理对数据集进行划分，伪代码如下：

复制代码

    IF (整个数据集属于同一个类型) return 类标签
    Else 
    	寻找划分数据集的最好特征
    	划分数据集
    	创建分支节点
    		for 每个划分的子集
    			递归继续划分
    		return 分支节点

划分数据集的基本准则在于：使原本杂乱无章的数据呈现出更为清晰的结构。

信息增益

定义：在数据集划分

还没有任何评论哟~