机器学习系列手记：模型评估与优化

模型评估

在计算机科学，尤其是机器学习这一研究方向中，对模型进行有效评估具有极其重要的意义。唯有采用与具体问题相契合的评估方式，方能迅速识别模型选取或训练环节中存在的缺陷，并持续对其进行改进与优化。模型评估通常被划分为离线评估与在线评估两个主要阶段。对于分类、排序、回归以及序列预测等不同类别的机器学习任务，所采用的评估标准也存在差异。

一 评估指标的局限性

1、准确率的局限性

在分类任务中，准确率是一种常用的评估标准，其定义为被正确分类的样本数量与总样本数量之间的比值，即
Accuracy = \frac{n_{correct}}{n_{total}}

其中 n_{correct} 表示被正确归类的样本数目，而 n_{total} 则代表所有样本的总数。
该评估指标存在一个显著的问题：当正负样本的数量差异极大时，即便模型所获得的准确率数值较高，实际应用效果却可能并不理想。例如，在负样本占比达到99%的情况下，若分类器将所有样本都判断为负类，则其准确率也可达到99%。因此，在各类别间比例严重失衡的情形下，占比较大的类别往往会成为主导准确率的关键因素。
针对上述问题，可以引入更加合理的平均准确率作为模型性能的评估依据，该指标通过对每个类别下准确率进行算术平均来实现更全面的衡量。

2、精确率与召回率的权衡

精确