机器学习入门课程(2)：分类问题(决策树, 贝叶斯, VSM, 逻辑回归与集成学习)

分类问题

分类问题属于监督学习方法 中的关键议题。该系统能够基于数据集训练出一个有效的分类器，并能对新的输入样本进行预测输出。其输出结果对应有限种类别标签。

• 覆盖二分类与多分类问题。
  • 算法包括决策树、贝叶斯方法以及支持向量机SVM和逻辑回归。

一 决策树

• 决策树：层次结构 ，每个非根节点代表一个属性划分依据，在不同取值范围内形成分支路径，并将各类别实例分配至叶子单元。

• 决策流程：从根部开始识别目标实例的相关属性特性，在相应取值指引下沿着预设规则走下去即可抵达最终判断区域。

• 构建决策树方法：

  • 属性筛选 ：挑选能够充分区分训练样本集合的关键指标；
    • 信息混乱度（Entropy）: 衡量数据集杂乱无章的程度。
    • 信息增益（Gain）: 前后混乱度之差即为获取的信息量；
      其计算式为 Entropy(父) - Entropy(子)。
    • 调整后的增益比（Gain Ratio）: 在多变量情况下的修正指标，
      计算式采用增益与变量数目乘积之比；
      特征多寡时该修正因子趋向于较小数值。
    • 基尼指数（Gini Index）: 衡量样本集合分布均匀程度，
      其数值越大则分布越分散不均衡。

• 决策树生成 ：基于特定标准，在决策树