Do Neutral Prompts Produce Insecure Code?

本篇文章属于LLM系列内容，主要涉及对《Do Neutral Prompts Produce Insecure Code? FormAI-v2 Dataset: Labelling Vulnerabilities in Code Generated by Large Language Models》这一文献的译介工作。

中立提示会产生不安全的代码吗？FormAI-v2数据集：标记大型语言模型生成的代码中的漏洞

• 摘要
  • 1 引言
  • 2 动机
  • 3 相关研究
  • 4 形式验证（FV）与有界模型检查（BMC）
  • 5 技术手段与数据集构建
  • 6 分析与探讨
  • 7 局限性及后续研究方向
  • 8 总结

摘要

本研究针对当前最先进的大型语言模型（LLM）展开了对比分析，重点探讨了这些模型在使用中性零样本提示生成基础C程序时，所表现出的漏洞生成可能性。我们填补了现有文献中关于这些模型在缺乏明确指令情况下所生成代码安全特性方面的研究空白。N.Tihanyi等人于PROMISE’23会议上提出了FormAI数据集，其中收录了112000个由GPT-3.5生成的C程序，并发现其中超过51.24%存在潜在的安全隐患。在此基础上，我们进一步拓展了相关研究，构建了FormAI-v2数据集，该数据集包含265000个可编译的C程序，涵盖多种