《统计学习方法（第二版）》李航 第一章习题手写解答 伯努利模型的极大似然估计和贝叶斯估计；基于经验风险最小化推导极大似然估计

《统计学习方法（第二版）》李航 读书笔记 （4）

第一章习题手写解答 伯努利模型的极大似然估计和贝叶斯估计；通过经验风险最小化推导极大似然估计

监督学习 的实现方式可进一步划分为生成性策略（generative approach）与判别性策略（discriminative approach），所构建的模型分别对应生成模型与判别模型。

生成性策略：通过数据集学习得到联合概率分布P(X,Y)，进而推导出条件概率分布P(Y|X)，作为预测任务所依赖的模型

常见的生成模型有朴素贝叶斯方法以及隐马尔科夫模型。

判别方法通过数据直接学习决策函数f(X)或者条件概率分布P(Y|X)，以此作为预测的模型，这类模型被称为判别模型。判别模型涵盖：k近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、提升方法以及条件随机场。

在监督学习的应用范畴中，主要包括分类问题、标注问题和回归问题。

分类过程同样包含学习与分类两个阶段。

学习阶段：依据已知的训练数据集，采用有效的学习方式构建一个分类器。

分类阶段：借助所构建的分类器对新的输入实例进行归类