深度神经网络剪枝算法基础理论

相较于传统方法而言，在非结构性优化方面具备更高的效率与准确性 ，然而由于其带来复杂的随机连接模式，在现有条件下难以实现有效的推理加速；另一方面，在现有的边缘设备上仍然无法满足这些算法对计算资源的需求。因此，在pruning领域内的研究主要聚焦于基于层次性的pruning技术（如图1.11所示），右侧三列均为基于层次性pruning方案的不同粒度实现。

在本文的研究中主要探讨的是滤波器(Filter)剪枝这一技术，在相关研究工作中将具有同样效果的滤波粒度被称作通道(Channel)剪枝技术。两者虽然在具体实施过程中采用了不同的评估标准作为基础依据但在最终处理后所呈现的效果是一致的。例如，在卷积核剪枝过程中我们直接评估了各个滤波器的重要性程度随后剔除了重要性较低的滤波器以及与其相关的通道；而通道剪 pruning则是先基于特定的标准筛选出不重要的通道再相应地移除这些不重要的通道所对应的滤波器工作[103] [105]以及[107]等研究均属于此类方法范畴。此外在研究过程中我们还发现滤波器剪 pruning技术不仅能够单独应用还能够与其他相关技术相互配合以达到更好的优化效果这一发现也为后续的工作提供了重要的理论依据和实践指导

在结构化剪枝方案中，默认依据评估标准来源可将两种剪枝策略划分为参数导向与数据导向两类方法。基于评估标准来源可将两种剪枝策略划分为参数导向