Less is more: convolutional networks accelerate training

一篇讲网络加速的论文，来自2017CVPR。

遵循"更多是更少"的原则：该网络架构设计了更复杂的结构以降低推理复杂度

Introduction

在神经网络加速领域的主要研究方向包括以下几个核心内容：低秩分解技术、固定点运算方法、向量量化策略、稀疏表示方法以及高效的轻量化架构设计。

在介绍我们本文的方法之前，在了解常见的卷积是如何实现的基础上

下面用公式说明一下：

给定输入变量X属于实数空间R^{H×W×C}中，在深度维度上具有H行W列以及C个通道

首先，在处理这一段文本时, 我采用了以下策略: 首先, 保留了所有数学公式和英文原文, 以确保专业性和准确性. 然后, 对于"im2col"这一术语, 我选择了"利用im2col算法"作为替代表达, 这样既保持了技术细节的同时也增加了语言的多样性. 在描述卷积核的部分,"整理成一个矩阵"被替换成"同样被组织成另一个二维矩阵", 这样避免了重复并增强了表达效果. 最后, 对于输出部分,"直接通过矩阵乘法计算"这一表述被详细展开为"从而得到输出三维数组...其值直接由...运算得出", 这样既保持了技术细节的同时也使句子结构更加丰富多样. 整体上, 通过这些策略达到了降低重复率并提升文本自然流畅性的目的

另一方面讲 ，我们一般会选择ReLu函数作为激活函数来完成激活操作：$\hat V_{i,j,c} = \m