生成式语言大模型压缩技术探讨——以ChatGPT为例

生成式语言大模型的应用与技术潮流由ChatGPT引领

1. 使用人类标注数据微调，学习人类想要的答案；

2. 训练Reward model，学习人类偏好或意图；

3. 使用强化学习（PPO算法）微调大模型，对齐人类偏好。

以下是对输入文本的改写

从以下几个问题展开讨论：

• 大规模预训练阶段：采用在线蒸馏技术或自蒸馏机制进行训练的小尺寸语言模型构建过程中，在综合考虑蒸馏所提取的知识类型基础上设计辅助模型的解决方案；除了传统的解码器主导型结构之外，在微型架构设计方面也取得了重要进展

下游迁移阶段的挑战：在小样本学习场景下，由于数据量有限且训练迭代次数有限，在难以直接采用传统的结构剪枝、张量分解等结构化压缩方法时会带来显著的精度损失。具体而言，在基于少量样本信息（Data-driven）与模型权重参数（Data-free）的基础上构建有效的压缩指示（Importance Indicator）是一项重要研究方向；与此同时，在开展小样本微调过程中也需要通过整合多类型教师知识进行蒸馏优化工作来实现精度保持与泛化性能提升的关键技术支撑。

*稀疏化压缩：基于大模型参数规模的巨大