Understanding and Improving CNNs with Concatenated ReLU Layers Notes

摘要

本研究致力于全面探讨卷积神经网络的内在特征，并提出一种能够提升CNN结构性能的通用途径。具体来说，论文对当前的CNN模型进行了系统性分析，发现了一个引人注目的现象，即在网络低层中存在成对的滤波器，它们呈现出相反相位的特性。受此现象启发，我们设计了一种新颖且高效的激活机制——CReLU，并从理论层面对其在CNN中的重构特性进行了深入剖析。随后，我们将CReLU嵌入到多个领先的CNN架构中，并在CIFAR-10/100以及ImageNet数据集上验证了其在参数数量较少的情况下仍能保持优异识别能力的表现。实验结果进一步证明，对CNN特性的深入理解有助于推动神经网络性能的持续优化。

引言

尽管目前已提出多种旨在增强神经网络性能或提升其训练效率的途径，但对卷积神经网络（CNNs）的本质认知仍处于较为滞后的阶段。为应对这一挑战，本文致力于揭示卷积神经网络内部固有属性的深层机制。

为了深入剖析CNN的运作机制，我们选取了经典的Alexnet模型作为研究对象，并观察到在网络的前几层卷积结构中，系统学习到了具有高度负相关的滤波器组合。基于这一初步发现，我们推测Alexnet在后续的卷积层中通过学习冗余滤波器 来提取输入信号中的正负相位特征（详见第2.1节）。在此假设的基础上，我们设计了一种新颖且高效的激活函数——CReLU。该方案不仅能够同时保留正相位与