机器学习：决策树和随机森林

文章结构概述

• 决策树的引入

  • 数据离散化处理

  • 决策树构建过程：

  • 纯度评估方法

  • • 基尼指数

  • 决策树的划分策略：非线性分割

  • 单棵决策树存在的不足

  • 随机森林算法

  • 随机森林与逻辑回归对比分析

  • 树结构的修剪操作

  • 决策树在回归任务中的应用

  • 算法实现过程

  • • 决策树模型
    • 随机森林模型

  • 总结部分

决策树引入

逻辑回归属于一种线性有监督的离散分类模型，其核心在于通过线性关系对数据进行划分。

决策树则被归类为非线性有监督的离散分类模型，其特点在于通过树状结构对数据进行分割与判断。

随机森林同样属于非线性有监督的离散分类模型，该模型通过集成多个决策树的结果来提高分类的准确性与稳定性。

离散化

案例剖析： 数据离散化处理

数据类型

离散型数据需明确其可能的取值个数，共有2^M种划分方式
例如天气：晴天、雨天、多云
学历：高中、本科、研究生

连续型数据需进行离散化处理，并明确划分后的类别数量
如车速：