Polarization Regularizer——极化剪枝
发布时间
阅读量：
阅读量
论文获取链接：https://papers.nips.cc/paper/2020/file/703957b6dd9e3a7980e040bee50ded65-Paper.pdf
项目代码仓库地址：https://github.com/polarizationpruning/PolarizationPruning
基本原理概述
采用L1正则化器的剪枝策略中，用于生成剪枝掩码的缩放因子所呈现的数据分布特征难以被明确区分。因此，依据剪枝比例设定的阈值容易将数值较低但相对关键的神经元误判并剔除，从而影响最终的剪枝质量。本文提出的基于极化正则化器的剪枝方法，可以促使一部分缩放因子逐渐接近零，而另一部分则趋近于a，进而形成更加清晰可辨的数据分布（此时阈值可设定在零点附近），从而实现更优的剪枝效果。与之对应的极化正则项表达式如下：
在完成正则化处理之后，Scaling factors的分布情况如下（与采用L1正则化方法相比）：
还没有任何评论哟~