Co-teaching-based robust training of deep neural networks under extremely noisy labels

论文地址：http://papers.nips.cc/paper/8072-co-teaching-robust-training-o

论文代码：https://github.com/bhanML/Co-teaching （PyTorch）
针对噪声数据的训练，在现有研究中主要采用以下两种策略：具体表现为两种不同的训练策略

• 训练 noise transition matrix：紧接着在 softmax 输出层之后添加一个 softmax 层
  • 先从带噪数据中筛选出纯净样本：随后用这些纯净样本进行模型训练

从带噪数据选出干净数据的两个典型网络：

基于教师模型的方法：通过训练一个辅助网络来筛选高质量的数据样本。
去耦合策略：仅在两个子网络A与B不同时才更新各自的参数；其主要缺陷在于噪声数据可能广泛存在于整个样本空间中，并非仅集中于任一特定子网络；当A与B同时运行时，在这种情况下去耦合机制无法有效区分并剔除噪声样本。
通过逐步推进训练进程，在 Mentor-Net、Decoupling 及 Co-teaching 策略中可观察到误差传递的变化情况。