模型评估指标:(P-R 和 ROC 曲线)
发布时间
阅读量:
阅读量
在机器学习建模过程中,模型评估指标被广泛用于衡量各类模型的性能差异。
对于分类任务而言,最基础的评估标准便是错误率与精度。其中,错误率指的是被错误分类的样本数量占全部样本总量的比例,而精度则等于1减去错误率。
错误率和精度的优势在于:它们不仅适用于二分类问题,也可以拓展至多分类场景中。
然而,仅依赖错误率和精度两个指标难以全面、准确地对模型进行评价。首先,当前许多模型最终输出的是某一类别的概率值,在计算错误率与精度时需设定一个阈值以判定正例与反例。这一操作实际上引入了新的超参数,从而增加了模型的复杂性及不确定性。
其次,以周志华老师在《机器学习》[1]一书中提到的西瓜例子为例,在挑选西瓜时人们更关心的是:所选西瓜中有多少比例是好瓜,或者好瓜中有多少比例被成功挑选出来。而错误率和精度无法对这类比例关系进行有效衡量。
相较于错误率和精度,准确率(Precision)与召回率(Recall),以及真正率(True Positive Rate)和假正率(False Positive Rate)在模型评估方面具有更强的适用性。
本文将首先阐述各项指标对应的数学表达式及其基本含义,并进一步介绍P-R曲线与ROC曲线的相关内容。最后将分析这两类曲线之间的关联性与区别,并探讨如何根据实际需求进行选择。
一:基本定义
在处理二分类任务时,样本的真实类别与预测类别之间存
全部评论 (0)
还没有任何评论哟~
