网络压缩与量化方法的对比分析

本次介绍的是一种用于缩减神经网络模型规模的途径，源自《2014 arxiv：Compressing Deep Convolutional Networks using Vector Quantization》。该技术与此前诸多神经网络压缩方案类似，其作用范围主要局限于全连接层，因此此处仅作为参考了解。

从论文名称便可得知，其核心在于对密集权重矩阵实施量化编码以达成压缩目标。

文中对多种量化策略进行了详尽的对比实验，但所有测试均仅针对全连接层。至于为何未涉及卷积层的处理，读者可自行思考。接下来将简要阐述这些方法的具体内容。

SVD分解应用与效果分析

全连接层所对应的权重矩阵表示为 W\in R^{m\times n}，首先对 W 实施 SVD 分解，具体形式如下：

W=USV^T

为了实现以两个较小规模的矩阵来表征原矩阵的目的，可以选取奇异值中的前 K 个元素。因此，矩阵 W 可通过以下方式重新构造：

\hat W=\hat U\hat S{\hat V}^{T} ,其中\hat U\in R^{m\times k}\quad \hat V\in R^{n\times k}

在该过程中，仅需保留三个相对较小的矩阵 U,S,V。通过简单的计算可知，压缩比例可表示为