特征工程之特征选择——F检验与互信息法

文章结构概览

• 引言

  • F检验方法

  • • F检验方法简介
    • 实例

  • 互信息方法

  • • 互信息方法简介
    • 实例

前言

此前已对方差过滤与卡方过滤进行了阐述，若通过这两种方式筛选出的数据仍无法达到预期效果，则可进一步探讨本文所介绍的F检验方法以及互信息方法。

F检验法

F检验概述

F检验，亦称ANOVA或方差齐性检验，是一种用于识别标签与各特征之间线性关系的过滤型方法。该检验既适用于分类任务，也适用于回归任务。

• 分类场景：可使用feature_selection.f_classif函数，其中标签为离散型数据
• 回归场景：可使用feature_selection.f_regression函数，其中标签为连续型数据
  同卡方检验类似，这两种方法在实际应用中需与SelectKBest结合使用
  需注意的是：F检验在处理正态分布的数据时具有较好的适用性，因此在实施F检验前可以考虑对数据进行标准化或归一化处理 ，标准化与归一化操作的相关内容可参考看这里
  K值既可以手动设定，也可依据p值进行计算，其计算方式与卡方检验保持一致。

示例

本部分所采用的数据源自此前两篇博客中已提及的数据集，此处直接引用经过方差筛选处理后的数据，如需了解方