Large Language Models are Contrastive Reasoners

本篇文章属于LLM系列论述，主要涉及对《大型语言模型__作为对比推理者》这一文献的译介工作。

大型语言模型作为对比推理机

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 对比提示
  • 4 实验分析
  • 5 局限性与后续研究方向
  • 6 总结

摘要内容提炼

在提升预训练大型语言模型（LLM）性能方面，提示方法具有关键性影响。我们研究了对比提示（CP）对增强LLM处理复杂推理任务能力的显著效果。通过在LLM生成答案前添加“让我们分别给出正确和错误的答案”这一简单操作，验证了LLM具备良好的对比推理能力。针对多种大型语言模型进行的实验结果显示，零样本对比提示在多个算术、常识及符号推理任务中均能有效提升表现，且无需依赖人工设计的小样本示例。例如，在采用最先进的GPT-4模型时，GSM8K和AQUA-RAT任务的准确率分别由35.9%提升至88.8%，以及由41.3%提升至62.2%。与零样本CoT和小样本CoT方法相比，我们的方法在大部分算术及常识推理任务中表现更优，并且能够与现有提示技术兼容整合，从而获得优于或至少等同于其他方法的效果。相关代码已上传至以下GitHub仓库：https://github.com/yao8839836/cp。

1 引言

2 相关工作

对比提示设计与分析