利用ReLU的输出稀疏性来加速卷积过程

一篇探讨如何借助ReLU输出特征的稀疏特性以提升卷积运算效率的研究文献，其研究目标与另一篇文献《More is less》存在一定的相似之处。

实验结果呈现出较为理想的成效，然而整体来看，该研究在创新性方面似乎并未体现出显著突破。

相关文献链接： 《Speeding up Convolutional Neural Networks By Exploiting the Sparsity of Rectifier Units》

Motivation

从下图可以得出，当网络采用ReLU作为激活函数时，其输出结果往往呈现出高度稀疏的特征。

当前阶段，稀疏矩阵的运算处理在效率方面仍存在较大提升空间。

Method

只要能够理解卷积的运作原理，就能清楚地认识到本研究的核心内容。

在常规操作中，采用ReLU作为激活函数往往会导致输出结果呈现高度稀疏性，这种特性也会进一步影响后续卷积操作的输入数据稀疏程度。如图所示，假设输入的feature map尺寸为 $4\ti