深度学习 | 训练技巧——label smoothing（附代码）

1.背景介绍与研究基础

在多分类训练任务中，输入图像经过神经网络的运算后，将获得与各个类别相对应的置信度分数。这些分数随后会通过softmax函数进行归一化处理，从而最终得出该输入图像归属于每个类别的概率值。

随后采用交叉熵函数对损失值进行计算：

在完成网络训练的过程中，通过最小化预测概率与标签真实概率之间的交叉熵，可获得最为理想的预测概率分布。为实现最佳的拟合效果，该最优预测概率分布具体表现为：

换句话说，网络倾向于朝着正确标签与错误标签之间差异显著的方向进行学习。然而，当训练数据无法充分反映所有样本的特征时，这种学习方式极易引发网络出现过拟合现象。

2.label smooth