CenterLoss 和 缩小类内距离

1.centerloss原理

centerloss中心损失仅用于减少类内差异的同时也不足以显著提升类间差异。如图所示，在(a)图中展示了softmax loss的学习效果，在(b)图中加入了center loss后的效果对比。可以看出，在(a)图中同一类别样本的距离被缩小了一些以增强相似性，并尽可能地向样本中心靠近；然而，在(b)图中虽然同一类别间的距离有所改善但不同类别间的距离并未明显扩大。

centerloss的核心理念在于通过动态优化机制实现各类特征在输出空间中的集中分布。为此我们提出了一种更为直观地解释为各类特征在特征空间中最大限度地向特定中心点靠拢的方法。理论上如果能够预先获取各类样本的理想中心点坐标则该算法将变得异常简单然而现实情况是由于未知分布的存在我们无法直接获得这些理想中心点因此转而采取了基于批量数据处理的方式来逐步逼近真实中心位置这一策略不仅能够有效缓解硬件资源限制的问题还能够保证算法在实际应用中展现出良好的收敛特性需要注意的是在整个优化过程中由于内存带宽等因素的影响每次迭代只能处理有限批量的数据这必然导致所获得的结果存在一定的偏差只有当模型收敛稳定后才