Post-training量化策略——无需再训练或重新训练
发布时间
阅读量：
阅读量
依托于预训练模型，运用后训练量化方法，可在一定程度上缓解量化带来的精度下降问题，同时规避了耗时较长的量化感知训练或重新训练流程。
WA与BC
论文《Data-Free Quantization through Weight Equalization and Bias Correction》中提出了两种后训练策略，即权重调整（Weight Adjustment, WA）与偏置校正（Bias Correction, BC）。
论文链接：
1. 权重调整
在进行逐张量量化时，由于权重或激活值的数值分布存在异常情况，例如某些数值显著偏大的离群点，这会导致分布范围较广，对量化方法（如MAX方法）不够友好，从而造成较大的精度损失。权重调整策略通过在相邻的[权重张量, 权重张量]或[激活张量, 权重张量]之间实施均衡调节和等价变换（保证变换后的推理精度保持不变），使调整后的数值分布更有利于后续量化操作。
具体的WA策略如下所示，均衡调整通常是在W1的输出通道与W2的输入通道之间进行：
全部评论 (0)
还没有任何评论哟~