常见损失函数与优化算法总结
发布时间
阅读量：
阅读量
在机器学习与深度学习的实践中，一般只需遵循三个核心环节即可完成模型训练过程：首先获取数据（特征），其次构建模型（目标函数、损失函数、代价函数），最后通过优化算法（如梯度下降、Adam、动量等）持续调整参数（W），从而实现模型的最终训练目标。
1. 损失函数、代价函数与目标函数
损失函数（Loss Function）：该函数用于衡量单个样本的预测误差，其定义范围仅限于单一数据点。
代价函数（Cost Function）：该指标用于评估整个训练集的表现，其计算方式为所有样本损失值的平均。
目标函数（Object Function）：这是需要进行优化的核心表达式，通常由经验风险与正则化项共同构成，即等于代价函数加上正则化项。
损失函数包括以下类型：
……0-1损失函数
……平方损失函数
……绝对值损失函数
……对数损失函数
……指数损失函数
……铰链损失函数
代价函数涵盖以下形式：
……均方误差
……均方根误差
……平均绝对误差
……交叉熵代价函数
2. 损失函数
（1）0-1损失函数（0-1 loss function） -----------感知机
还没有任何评论哟~