机器学习的模型性能评估：比较评估PR与ROC/AUC指标

通常情况下，若要对学习器的泛化能力进行有效评估，必须具备一套能够量化模型泛化能力的评估指标，即所谓的性能度量（performance measure）。该度量标准体现了具体任务的需求，在比较不同模型表现时，采用不同的性能度量方式往往会产生截然不同的评价结论，并且借助这一指标可以持续调整参数以逐步提升模型效果。以下内容为一位刚入门机器学习的学习者所记录的内容。

分类常用的性能度量

• 混淆矩阵

  • 精确度与召回率

  • • P-R曲线
    • F-score

  • ROC/AUC

  • • KS(Kolmogorov-Smirnov)值

  • P-R曲线与ROC曲线的比较

混淆矩阵分析

在处理二分类模型时，可将预测结果与实际结果进行逐一配对，由此会产生四种不同的组合形式，这四种组合共同构成了分类结果的混淆矩阵（confusion matrix）：

设TP、FP、TN、FN分别代表对应类别中的样本数量，显然可以得出TP+FP+TN+FN等于全部样本的数量。分类的准确率可被定义为所有预测正确的样本在整体样