基于可训练Stepsize 的低比特量化——LSQ：学习型 Stepsize 量化

Paper地址：https://arxiv.org/abs/1902.08153

GitHub链接 (PyTorch)：

基本量化设置

• 计算结点伪量化：

1. Weight和Activation均采用Per-tensor quantization；
2. 其中Scaling factor被标记为Step size，并作为关键的量化学参量；
3. 以TensorRT和MNN为代表的推理引擎中，默认情况下Weight常采用Per-channel quantization策略而Activation则采用较为精细的Per-tensor quantization方法以提升模型性能；
4. 为了加快模型权重量化学过程中的收敛速度，在对Activation层进行量化学参量设置时可以选择KL quantization方法或是利用PyTorch提供的observer模块来进行初始化配置；而对于权重层的缩放因子则基于当前激活的最大绝对值进行在线更新以保证实时性；
5. 此外值得注意的是，在实际实现过程中需综合考虑各层节点的重要性并合理分配资源以达到最优性能表现；
6. 同时在模型优化过程中还需关注各层之间的相互影响关系以及潜在的信息损失问题从而进一步提升整体模型性能水平；
7. 最后在实验验证阶段我们发现所设计的方法在保持原有模型架构的基础上显著提升了运行