08单元

一、模型评估与优化

1. 模型评估

1）性能度量

① 错误率与精度

在分类问题中，错误率与精度被视为常见的性能度量指标。不仅能够应用于二分类任务，并且同样适合多分类场景。

错误率（error ratio）：它表示分类系统中被误分实例的数量与总实例数量的比例。具体而言，在该系统中误差率等于（误分实例数 / 总实例数）。

准确率（accuracy）：指的是被正确分类的样本数占总样本量的比例；具体而言，则是用（正确分类的个数 / 总样本量）来表示

精度 = 1 - 错误率

② 查准率、召回率与F1得分

错误率和精度尽管广泛应用但在某些特定的任务背景下未必能够完全满足需求 例如在某次疾病检测案例中 我们更加注重以下几个关键问题：

在被筛选/筛查出的样本中,有多少比例属于感染真实病例? 在所有感染真实病例中,约有多少比例能够被准确筛查出来?

常见于多种分类场景中，“查准率”（precision）与“召回率”（recall）被视为更为合适的评估指标。在二分类问题中，通过将真实类别与预测结果进行对比分析，则可划分为四个基本类别：真阳性和假阳性；真阴性和假阴性。如表所示：

由于网站可能存在防盗链设置导致外链图片无法正常加载，请您考虑将图片文件保存后再进行直接上传操作以确保资源能够顺利呈现

样例总数：TP + FP +