特征选择采用Filter、Embedded和Wrapper三种方法

一、过滤法（Filter）

• 目标：在确保算法性能不受影响的基础上，有效减少其计算资源消耗
  • 特点：具备自主运行能力，与后续的分类（或回归）模型无直接关联
  • 实施步骤：

目标对象：需进行特征遍历或维度提升的算法。例如，K近邻算法（KNN）、支持向量机（SVM）、决策树、神经网络以及回归算法等，在执行特征遍历或升维操作时，其计算复杂度较高，耗时较长，因此特征选择在这些场景中具有重要意义。而随机森林算法在特征选取过程中无需遍历所有特征，每次仅随机选取部分特征用于计算与分枝，因此并不依赖于完整的特征集合，从而使得特征选择对其影响较小。

思考：过滤法对随机森林无效，却对树模型有效？
解释：传统决策树模型需要逐一考察所有特征，并基于不纯度指标进行分枝操作；而随机森林则是通过随机选取部分特征进行计算与分枝，从而加快运算速