剪枝和再训练：稀疏化DeepID2

• • 压缩的核心剪枝再训练
  • 算法流程
  • 剪枝准则
  • 实验分析

本次介绍的是传统的压缩网络方法，并特别指出其在实际应用场景中的应用：采用DeepID2+作为模型架构。该方法起源于王晓刚及其团队与汤晓鸥研究团队合著的经典论文《2015 arxiv: Sparsifying Neural Network Connections for Face Recognition》，论文成果令人瞩目但依然鲜少对外公开细节。然而研究者们也难免存在一些未尽之处或潜在缺陷

压缩的核心：剪枝+再训练

算法流程

整个算法的流程相对简单：从网络的顶层开始按照特定规则对该层进行裁剪然后反复执行上述步骤以重新训练网络

剪枝的具体实现方法即为：对权重施加一个与之等大的Mask，在其中仅在激活位置标记为1，在其余位置标记为0。

算法流程图如下：

剪枝准则

剪枝的目标就是只保留重要的权重。

全连接层剪枝

首先，在那些不共享权值参数的全连接层和局部连接层中

如果a_i代表当前层的一个神经元