机器学习领域基础（3）

0、前言

本文重点阐述了监督学习与非监督学习、分类任务与回归任务、生成模型及判别模型、交叉验证方法、过拟合与欠拟合现象、偏差与方差的分解分析、正则化技术以及维度灾难等相关内容。

1.有监督学习与无监督学习

依据样本数据是否包含标签信息，可将机器学习算法划分为有监督学习与无监督学习两种类型：

有监督学习 所处理的样本数据均附带标签信息，该方法通过从训练样本中构建模型，进而利用该模型对未知样本进行预测与推断。在有监督学习中，分类任务与回归任务是最为典型的代表。

无监督学习 适用于未标注的样本数据，其主要目标是挖掘样本集合内部的结构特征或分布规律。无监督学习的典型应用包括聚类分析、表示学习以及数据降维等方法，这些技术所处理的数据均不包含标签信息。

2.分类问题与回归问题

在监督学习框架下，当样本所附带的标签信息表现为整数形式时，预测函数的作用机制体现为将向量映射至整数集合，此类任务被定义为分类问题。而当标签数据属于连续实数范畴时，则对应的任务类型被归类为回归问题，此时预测函数的功能则转化为将向量映射至实数域。

3.生成模型与判别模型对比分析

分类算法主要分为两类，即判别模型与生成模型。当给定特征向量x以及对应的标签值y时，生成模型侧重于对联合概率分布p(x,y)进行建模，而判别模型则专注于条件概率分布p(y|x)的构建