SEED: Customize Large Language Models with Sample-Efficient Adaptation for Code Generation

本篇内容属于LLM系列文章，旨在对《SEED: Customize Large Language Models __ with Sample-Efficient Adaptation for Code Generation》这一文献进行语言转换处理。

SEED：自定义大型语言模型，并对代码生成进行高效的示例自适应

• 摘要
  • 1 引言
  • 2 动机示例
  • 3 方法
  • 4 评估
  • 5 相关工作
  • 6 对有效性的威胁
  • 7 结论

摘要内容提炼

尽管大规模语言模型（LLM）在代码生成任务上取得了显著进展，但在某些特定情境下，它们仍难以胜任相关工作。这类情境通常需要对LLM进行一定程度的调整以满足具体要求，然而实际应用中有限的训练样本却导致了代码生成效果欠佳。因此，在仅有少量训练数据的前提下，如何高效地将LLM适配至新场景，成为当前代码生成领域面临的重要难题。本研究中，我们提出了一种全新的自适应方法SEED，该方法全称为“用于代码生成的具有错误驱动学习机制的样本高效自适应”。SEED通过将LLM所犯的错误视为学习契机，并借助错误修正机制来弥补自身不足，从而实现更有效的学习过程。具体来说，SEED包含三个核心步骤：首先识别LLM所生成的错误代码；其次利用SELF-REVISE对这些错误代码进行修订；最后基于修订后的代码优化模型参