机器学习：决策树和随机森林

决策树的算法较为简单
主要包含以下几个组成部分：
一、决策树基本概念及构建（ID3算法）
1. 决策树定义
决策树（Decision Tree），又称为判定树或分治树，在机器学习领域是一种基于特征空间划分的方法用于分类与回归分析。例如，在判断是否外出游玩时会考虑温度、天气等外部因素的影响。具体而言，在询问"今天是否外出游玩"时会首先查看温度情况如何？如果温度适中，则进一步询问天气状况；若温度较低，则可能决定不出门。
2. 决策树的学习目标
决策树学习的目标是生成一颗具有强泛化能力的决策树模型，并能有效处理未见示例的情况以实现预测目标。
3. 决策树的优点与不足
- 优点：计算效率较高；预测精度较高；对缺失数据不敏感
- 缺点：对于类别样本分布不均衡的数据集容易出现过拟合现象；忽略属性间的相关性影响

应掌握熵与信息增益这两个概念及其计算方法。 熵即为衡量样本集合纯度的一种指标，在此定义中k代表样本类别数量

![在这里插入图片描