第7章 机器学习基础：损失函数

文章结构概述

• 关于损失函数的界定
  • 1、针对回归任务的损失函数
  • 2、面向分类任务的损失函数
  • 3、损失函数的多样化表达形式
  • • 3.1 回归任务
    • 3.2 分类任务

损失函数定义与作用

损失函数，亦称为代价函数，其本质是一种将随机事件或与之相关的随机变量取值转化为非负实数的数学表达方式，用以量化该事件所蕴含的“风险”或“损失”。此类函数通常与优化问题密切相关，在诸多领域中发挥着重要作用。例如，在机器学习算法中，损失函数被用来实现模型参数的估计；而在控制论中，则被应用于最优控制理论的构建。根据随机事件的不同类型，损失函数可分别应用于两种典型问题，即回归问题和分类问题。

1、回归问题上的损失函数

回归问题作为机器学习三大基础模型之一，其核心在于通过构建模型来探究输入变量与输出变量之间的关联性。通常情况下，该过程是通过模型对输入变量进行运算，从而得出一个具体的数值结果。由于回归问题需要对预测结果与实际观测值进行比较分析，因此其损失函数所涉及的变量主要包括模型的预测值以及真实的数据值。根据不同的需求，回归问题所采用的损失函数主要可以划分为以下两种类型，其对应的数学表达式如下：

![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/imag