渐进式剪枝及其必要性探讨

This article explores the effectiveness of an incremental pruning strategy, which is applied to CNNs, RNNs, and LSTM deep learning models.

裁剪比率逐渐减小，直至目标压缩比，曲线斜率如下：

文章基于大规模稀疏架构（large sparse structure）与小型密集型架构（small dense structure,两者计算复杂度相近）为例,研究了剪枝的重要性.研究结果表明,经过精心剪枝和微调的大规模稀疏架构能够在推理精度上超越小型密集型架构.

文章所采用的剪枝策略是基于连接元的非结构性稀疏剪枝（微粒度级别），需要所需的稀疏算法库（如cuSPARSE）及特定存储格式（CSC或CSR）的支持，并且存在一定的局限性；然而，在TensorFlow中已经获得了这一