Automatic and Universal Prompt Injection Attacks against Large Language Models

本篇文章属于LLM系列内容，主要对《针对大型语言模型的自动且通用型提示注入攻击》这一文献进行译介。

针对大型语言模型的自动通用提示注入攻击

• 摘要
  • 1 引言
  • 2 方法
  • 3 评估
  • 4 相关研究
  • 5 结论、不足之处及后续研究方向

摘要内容提炼

大型语言模型（LLM）在处理与生成人类语言方面展现出显著优势，其对指令的理解与执行能力为其发展提供了强大驱动力。然而，这种能力也可能被提示注入攻击所利用。此类攻击通过操控LLM集成的应用程序，使其产生与攻击者注入内容相符的响应，从而偏离用户的真实需求。这些潜在威胁所带来的严重后果，凸显了深入研究和全面理解相关风险的重要性。然而，在这一领域开展研究仍面临诸多困难，主要体现在缺乏统一的评估目标，以及攻击手段依赖于人工设计的提示内容，这使得对提示注入防御能力进行全面评估变得尤为复杂。

我们提出了一种统一的框架，旨在明确提示注入攻击的核心目标，并开发出一种基于梯度的自动化方法，用于生成高效且通用的提示注入数据，即便在存在防御机制的情况下亦能保持有效性。仅使用五个训练样本（占测试数据总量的0.3%），我们的方法在性能上已显著超越基线模型。研究结果进一步表明，基于梯度的测试方式对于防止对系统稳健性的过高估计具有关键作用，特别是在评估各类防御策略时尤为重要。相关代码已发布在<https://g