量化方法总结为第一部分

量化模型特征分析

从training与inference模型是否保持一致的角度出发，可以进一步划分为以下几种情况：

• post training quantization。在训练阶段不实施量化操作，而在推理阶段对所有需要进行量化的部分执行量化处理。此类方法通常会导致较高的精度损失
• quantization aware training。在训练过程中引入量化机制，同时保留原始精度以支持梯度更新，确保在推理阶段仅使用量化后的结果。该方法的性能通常优于前一种方式
• training与inference阶段模型保持一致。目前仅有WAGE这一实例采用这种方式。要求在梯度更新过程中能够直接对量化后的权重进行调整。

从quantization所采用的精度等级来看，可进一步划分为：

• 二值化
• 三值化
• bit-shifts。通过两个整数来表示任意精度数值，其中一个整数代表2^{n}的指数部分，另一个则是经过2^{n}倍放大的浮点数整数部分Int。最终通过\frac {Int}{2^{n}}来表达任意精度

从quantization映射特性来看，可细分为：

• 映射后与映射前的相对大小关系保持不变。若映射前有a>b，则映射后也应满足q(a)>q(b)。其中a\inWeigths,b\inactivation 。例