十、机器学习基础知识：多模型性能对比方法

文章结构概述

• 1、交叉验证t检验
  • 2、Friedman检验与Nemenyi后续检验

在开展预测或分类任务的对比实验过程中，通常需要对多个模型的表现进行评估，因此，以下将阐述两种常用的多模型性能比较分析方法。第一种方法为交叉验证t检验，其主要应用于同一数据集下两个模型之间的性能差异分析；第二种方法则是Friedman检验配合Nemenyi后续检验，该方法适用于在相同数据集条件下对两个及以上模型的性能进行系统性比较。

1、交叉验证t检验

此前已提及k折交叉验证这一技术手段，其基本原理是将同一数据集随机且均等地划分为k个子集，随后依次选取每个子集作为测试集，其余部分则作为训练集。模型在训练集上完成训练后，再在测试集上进行评估，从而获取模型在各个子集上的误差值。最终将所有误差值进行平均运算，即可得到该模型在整个数据集上的总体误差表现。而交叉验证t检验则是专门用于比较两个不同模型在同一数据集上完成k折交叉验证后所表现出的性能差异的统计方法。
假定存在两个不同的模型A与模型B，在相同的数据集上实施k折交叉验证后，各自在每一份子集上所获得的误差数值如下：

![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-31/GnwTgrsLy8A4adhWqpNmvcKVx