阅读关于Generalized Cross Entropy Loss在Training Deep Neural Networks with Noisy Labels中的应用的NIPS2018论文

论文地址：https://papers.nips.cc/paper/8094-generalized-cross-entropy-loss-for-training-deep-neural-networks-with-noisy-labels.pdf
在处理包含噪声的数据进行训练学习时，若直接采用CCE（Categorical Cross Entropy）作为损失函数，容易使模型对噪声数据产生过拟合现象。已有研究AAAI2017 Robust Loss Functions under Label Noise for Deep Neural Networks表明，选用平均绝对误差（MAE）作为损失函数能够在一定程度上缓解噪声干扰问题。然而，MAE本身存在收敛速度较慢以及训练过程较为困难的缺陷。因此，本文提出一种融合CCE与MAE各自优点、同时规避其不足的新型损失函数，在面对带噪数据的学习任务中取得了更为理想的效果；

如上图所示，CCE与MAE的梯度计算结果呈现出来，通过分析CCE的梯度可以发现，