QuIP: 大语言模型的两位量化方法及其保障

引言

大语言模型（LLMs）的诞生促进了文本生成、少样本学习、推理以及蛋白质序列建模等多个领域的技术发展。此类模型的参数数量普遍高达数千亿级别，这使得高效推理算法的开发显得尤为重要。本研究聚焦于LLM参数的训练后量化技术，提出了一种创新性的量化方案——不合处理量化（QuIP），并进一步验证了该方法在大语言模型中的实际应用效果。

研究背景概述

训练后量化

Post-Training Quantization（PTQ）作为一种在模型训练结束后对参数实施量化处理的技术手段，其核心目的在于提升模型的执行效率。当前主流的PTQ方法通常通过缩减权重或激活值的取值范围来实现简化量化操作，然而此类方法在应用于大型语言模型时，往往需要额外的再训练步骤，从而导致较高的计算成本。

现有方法概述

当前已有若干技术方案，如SmoothQuant、ZeroQuant以及LLM.int8()等，均采用多样化的方式以降低量化实施的复杂性。例如，SmoothQuant通过在激活值与权重之间实施重新缩放操作，有效消除激活值中出现的极端数值，进而使量化流程更加简便。OPTQ（即GPTQ）则引入了一种创新性的舍入策略，该策略能够适用于规模最大的OPT与BLOOM模型。

QuIP方法概述

不合处理量化分析

QuIP是一种以处理不合性为核心理念的量