Decoupled Networks 的论文笔记

摘要内容提炼

卷积神经网络（CNN）中基于内积运算的卷积操作，一直以来都是其架构中的核心构成部分，同时也是获取视觉特征表示的重要手段。通过研究发现，CNN所学习到的特征本质上是类内差异（即特征幅值的变化）与类间差异（即特征之间的夹角，反映语义上的区别）相互交织的结果。为此，我们设计了一种通用的解耦学习方法，该方法能够分别对类内与类间差异进行独立建模。具体来说，我们首先将传统的内积运算拆解为一种解耦的形式，并进一步将其扩展至解耦卷积算子中，借助该算子构建出相应的解耦网络结构。我们还提出了多种具体的解耦算子实例，每种算子都具备明确的几何意义。依托这些解耦算子，所构建的解耦网络可以直接从原始数据中进行学习。大量实验结果表明，这种解耦策略在性能方面表现出较为突出的优势，并且在训练过程中收敛速度更快、模型鲁棒性也更强。

1 介绍

卷积神经网络在诸多视觉任务中发挥了关键作用，涵盖物体识别、物体检测以及语义分割等多个方面。近期的大量研究工作集中于对CNN结构的优化（例如ResNet中的short cut机制和GoogLeNet中的多分支卷积设计），其核心目标在于增强网络深度与表达能力。然而，即便取得了这些突破性进展，关于卷积网络如何生成具有区分性的表征，并实现良好的泛化能力，依然是一个值得深入探讨的问题。

当前的卷积操作定义为：f(w,x)==w^Tx，其本质是一