Improving the Robustness of Large Language Models via Consistency Alignment

本篇文章属于LLM系列论述内容，主要涉及对《Improving the Robustness of Large Language Models __ via Consistency Alignment》这一文献的译介工作。

通过一致性对齐提高大型语言模型的鲁棒性

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 指令执行的稳定性
  • 4 借助一致性修正训练大规模语言模型
  • 5 实验分析
  • 6 总结
  • 7 不足之处

摘要

大型语言模型（LLM）在遵循用户指令并生成具有实用价值的回应方面已取得显著成效。然而，其鲁棒性仍有待进一步提升，因为即使是对口头指令进行细微调整，也可能导致模型输出出现明显差异。近期的研究文献针对这一不一致性问题进行了深入探讨，并指出持续优化响应生成稳定性具有重要意义。但目前仍缺乏系统性的分析与对应的解决策略。本文中，我们从定量角度对这一不一致性问题进行了定义，并提出了一种包含指令增强、监督微调以及一致性对齐训练在内的两阶段训练框架。在第一阶段，通过扩展相似的指令内容，帮助模型更好地适应各类指令形式；而在第二阶段，则着重于提升输出多样性，并通过识别相似反应之间的细微差别，引导模型理解哪些回应更符合人类预期。整个训练流程并未依赖外部的人类偏好数据资源，而是基于第一阶段训练所得模型所推导出的自我奖励机制完成。为了