由李航所著的《统计学习方法》第一部分第1.2节讨论了统计学习的基本分类

基本分类概述

统计学习与机器学习通常涵盖监督学习、无监督学习以及强化学习等多种类型。在某些情况下，还会涉及半监督学习和主动学习等方法。

1.监督学习方法概述

监督学习是一种机器学习问题，其核心在于利用带有标签的数据来构建能够进行预测的模型。所谓标注数据，指的是输入与输出之间存在的对应关系，而预测模型则能够根据给定的输入生成相应的输出结果。从本质上讲，监督学习的目标是探索并掌握从输入到输出之间映射关系的统计特征。

（1）输入空间、输出空间、特征空间

输出空间：指所有可能结果的集合，通常用符号Y来表示。

输入空间：指所有可能输入的集合，一般用符号X来表示。

特征空间：每一个具体的输入实例通常以特征向量的形式呈现。所有这些特征向量构成的空间被称为特征空间。该空间中的每一个维度对应于一个特定的特征。
在某些情况下，特征空间与输入空间被认为是相同的；而在另一些情况下，则认为它们并不一致，此时需要将输入实例从输入空间转换至特征空间。
实际上，各类模型均是在特征空间中进行定义和构建的。

输入空间与输出空间既可以是离散形式，也可以是连续形式。依据输入和输出变量的不同性质，预测任务可以被划分为以下几种类型：
①回归问题：涉及输入与输出变量均为连续型变量的预测任务；
②分类问题：涉及输出变量为有限数量离散值的预测任务；
③标注问题：涉及输