常见回归和分类损失函数比较

本文内容源自知乎作者wdmad的原创文章，如需获取更详尽的信息，推荐查阅原始文献：https://zhuanlan.zhihu.com/p/36431289

本篇文章为个人阅读后的总结与思考，结合了自身的理解与见解。

损失函数设计与优化

损失函数通常表示为 L(y,f(x))，其作用是评估实际观测值 y 与模型预测值 f(x) 之间的差异程度，数值越小表示拟合效果越理想。为方便对各类损失函数进行对比分析，通常将其转化为单一变量的表达形式：在回归任务中，该变量被定义为 [y-f(x)] ，即所谓的残差表示；而在分类任务中，则采用 yf(x) 这一形式，用以体现预测结果与真实标签之间的一致性趋势。

2. 回归问题的损失函数

在回归问题中，目标变量 y 与预测函数 f(x) 均属于实数域 R，因此通常采用残差 [y-f(x)] 来衡量两者之间的差异程度。残差的绝对值越高，所对应的损失函数值也就越大，从而导致模型的学习效果越不理想（此处暂不考虑正则化因素）。

常用的回归损失函数包括：

• 平方损失 (squared loss) ：

![](https