特征筛选和优化

目录

为什么要进行特征选择？

特征选择的两个环节

Part I: 常见的特征选择方法

1. 过滤式选择

2. 包裹式选择

3. 嵌入式选择

Part II: 降维

基于主成分分析的特征提取

---

为什么要进行特征选择？

一是因为现实任务中经常为遇到维数灾难问题;

二是因为去除不相关特征会降低学习任务的难度;

特征选择的两个环节

1） 子集搜索

训练数据集D 可用于评估其信息增益, 可作为评价依据

Ent(D) = - \sum_{k=1}^{|Y|}p_k\log_2p_k

Part I: 常见的特征选择方法

大致可分为三类： 过滤式， 包裹式和嵌入式。

1. 过滤式选择

过滤式方法依次对数据集实施特征选择后继行训练学习器，并与后续的学习过程无关联。这等价于通过特征选择过程筛选出初始特征并随后利用筛选后的结果构建模型。

过滤式方法依次对数据集实施特征选择后继行训练学习器，并与后续的学习过程无关联。这等价于通过特征选择过程筛选出初始特征并随后利用筛选后的结果构建模型。

代表性方法：Relief

代表性的方法为Relief算法。在该算法中，
每个特征子集的重要性则取决于其中各特征的相关统计度量之总和。
进而只需设定一个阈值τ，
选择那些其相关统计度计量超过τ的特