机器学习中的模型评估

机器学习——模型评估

文章目录

• 机器学习中的模型评估

  • 第二部分·什么是模型评估

  • 2.1与机器学习相关的概念概述

  • 2.2不同类型的机器学习评价方法

  • 2.3常见分类任务的评价指标

  • 二.模型评估的一些指标曲线

  • 三.具体实现

  • • 1.PR曲线绘制
    • 2.ROC曲线绘制

  • 四.PR曲线和ROC曲线差异

一.什么是模型评估

模型评估主要涉及对经过训练的机器学习模型进行性能测试以及验证过程。
其核心目标是考察该系统在未见过数据下的表现。

1.1关于模型评估的一些相关概念

在机器学习中，在构建预测模型时（或称机器学习中），通常会将数据集合分成三个互斥的部分：称为训练子集合（training subset）、验证子集合（validation subset）以及测试子集合（test subset）。其中训练子集合主要负责根据样例数据学习最优参数；而验证子集合则被用来选择最优超参数并辅助优化过程；最后使用完全独立于前两部分的数据即为测试子集合（test subset），其主要目的是为了评估整个系统的最终效果并检验其一般化表现。

性能指标：模型评估的核心任务是通过适当选择性能指标来评估模型的表现效