机器学习（周志华）学习笔记 - 数据集划分方法

对数据集D实施划分操作，将其区分为用于模型训练的训练集S与用于性能评估的测试集T的途径

1. 留出法 (hold - out)

将数据集D直接划分为两个互不重叠的子集，其中一部分被指定为训练集S，另一部分则作为训练集T

在划分训练集与测试集的过程中，应尽量维持数据分割的一致性，以防止因分割过程中引入的额外偏差而对最终结果造成干扰。

• ① 确保样本类别比例相近 在数据集D中包含1000个样本，其中正例500个，反例500个
• ② 若将70%的数据作为训练集，则从S中选取350个正例与350个反例，T中则选取150个正例与150个反例

留出法所得到的结果缺乏足够的稳定性，在应用该方法时需进行多次随机划分，并对所得结果取平均值以提高可靠性。

留出法存在的问题在于：若让S包含大部分样本，则训练出的模型