基于几何中位数的通道剪枝——Geometric Median Filter Pruning

论文《"Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration"》在开篇便明确指出了传统"smaller-norm-less-important"剪枝方法的局限性，即该方法通常依赖于两个关键条件：其一，要求filter norm的分布具有较大的离散性，从而保证在较广的分布范围内，通过设定阈值能够实现数据的有效分离；其二，被裁剪的filters必须具有较小的norm，并且对网络推理精度的影响也较为有限，以确保在去除这些filters后不会显著影响模型的整体性能。为了剔除真正意义上的冗余filters，本文提出了一种基于几何中位数的剪枝策略（FPGM: Filter Pruning via Geometric Median），认为那些处于或接近几何中位数位置的filters包含着冗余信息，并且具备最高的可替代性，因此可以被有效移除并由其他filters进行补偿。相较于传统的norm-based剪枝方法，在上述两个条件无法完全满足的情况下，基于几何中位数的策略依然能够实现良好的模型压缩效果。

norm-based剪枝方法与基于几何中位数的剪枝策略之间的对比情况如图所示。当两个前提条件均满足时，norm-based方法仅保留具有较大norm值的filters，并能获得较