机器学习系列手记（七）：优化算法在有监督学习中的损失函数

优化算法

事实上，机器学习算法可被拆解为模型表征、模型评估以及优化算法三个核心组成部分。其中，优化算法的主要作用是于模型表征空间中识别出能够使评估指标最优的模型结构。不同类型的优化算法对应着不同的模型表征方式与评估标准，例如经典的支持向量机所采用的模型表征为线性分类模型，其评估标准则是最大间隔；而逻辑回归对应的模型表征同样是线性分类模型，但其评估指标则转换为交叉熵。

伴随大数据技术与深度学习技术的快速发展，当前实际应用中所面临的优化问题往往呈现出大规模、高度非凸等特征，这使得传统依赖全量数据且适用于凸优化问题的理论体系面临严峻挑战。如何构建适用于新型应用场景、兼具高效性与精确度的优化方法，已成为近年来学术界关注的重点议题。尽管优化理论本身具有悠久的历史背景，但多数适用于深度神经网络训练的现代优化算法却是近来才被提出并广泛应用的，例如Adam算法等。

有监督学习损失函数分析

模型评估是机器学习算法中的核心步骤，而损失函数则用于定义模型的评价标准，若缺失损失函数，则无法对模型参数进行求解。在监督学习框架下，损失函数用于衡量模型与训练样本之间的契合程度。假设训练样本的结构为(x_i,y_i)，其中x_i∈X代表第i个样本点的特征信息，y_i∈Y代表该样本点对应的标签信息。一个参数为\theta的模型可表示为函数$f(\cdot,\theta