AdaQuant——以优化方式求解量化参数

背景

• 模型经过量化处理后不可避免地会引入量化噪声；在大多数情况下会导致推理精度下降。
  • 由于Round取整和Clip限幅等操作导致了量化误差的发生；这些误差可被归类为Activation和Weight两类。

• 为了提升量化后的精度水平，在实际应用中通常会采用以下策略：
• PTQ (Post-training Quantization)策略： 其主要方法包括校正算法的优化（例如改进KL算法以及基于直方图的非对称量化等），并可结合减少量化误差的关键技术进行叠加应用（例如ADMM、Bias Correction、AMP和Weight Adjustment等）。
• • 优势：
• 操作简便且易于实现，并能迅速评估量化效果；
• 劣势：
• 因为模型在训练过程中未充分考虑量化限制条件，在实际应用中可能无法完全消除量化误差或导致精度损失。

QAT (Quantization-aware Training)策略： 基于训练数据进行在线微调过程，在提升模型在量化环境下的性能的同时，有助于提升模型在量化环境下的性能；从而进一步优化量化效果。

• 优势：