Bugs in Large Language Models Generated Code: An Empirical Study

本篇文章属于LLM系列内容，主要涉及对《大型语言模型生成代码中的缺陷：一项实证研究》这一文献的译介工作。

大型语言模型生成代码中的Bug：一项实证研究

• 摘要
  • 1 引言
  • 2 研究背景
  • 3 实验方案构建
  • 4 实验数据与分析结果
  • 5 实践过程中的经验总结
  • 6 相关研究成果综述
  • 7 对研究结论可能构成影响的因素
  • 8 总结与后续研究方向

摘要内容提炼

近期，针对代码生成的大型语言模型（LLM）受到了广泛关注。这类模型能够依据所输入的提示信息，以多种编程语言生成代码，从而实现了软件工程领域长期以来的一个目标——实现代码的自动化生成。然而，与人工编写的代码相似，由LLM生成的代码同样存在诸多错误，并且这些错误尚未被社区进行全面审查。随着在软件工程实践中越来越多地引入基于LLM的代码生成工具（如GitHub Copilot），深入理解LLM生成代码中所包含的错误特征变得尤为重要。本研究收集并分析了通过三种主流LLM（即CodeGen、PanGu Coder和Codex）生成的333个错误样本，并识别出以下10种不同的错误类型：解释性错误、语法失误、低级错误、提示偏差导致的代码问题、遗漏条件处理、输入类型不匹配、虚构对象引用、属性误用、生成内容不完整以及未考虑提示因素。这些错误模式以分类体系的方式进行呈现。通