Can LLMs Separate Instructions From Data? And What Do We Even Mean By That?

本篇文章属于LLM系列内容，主要对《Can LLMs Separate Instructions From Data? And What Do We Even Mean By That?》这一文献进行语言转换处理。

LLM能否将指令与数据分离？我们的意思是什么？

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 大型语言模型是否能够实现指令与数据的分离？
  • 4 数据集合
  • 5 实验分析与评估
  • 6 缓解措施
  • 7 讨论及未来发展方向

摘要内容提炼

对大型语言模型（LLM）进行指令调优后，其在多个实际应用场景中展现出了令人瞩目的表现。然而，这些模型普遍缺失了计算机科学其他领域中常见的基础安全特性，尤其是在指令与数据之间建立明确区分方面存在不足。这种缺陷使得模型容易受到诸如间接提示注入等攻击方式的影响，并且通常难以满足对安全性要求较高的关键任务需求。令人意外的是，目前尚无明确的定义或评估标准能够有效量化这一问题的严重程度。在本项研究中，我们提出了一种形式化的指令数据分离评估指标，并设计了一种可以从模型输出中计算得出的经验性变量，以弥补当前研究中的这一空白。同时，我们还构建了一个全新的数据集SEP，该数据集可用于评估现实环境中模型的相关指标。通过对多种LLM进行实验分析的结果表明，指令与数据分离的问题确实存在：所有测试模型均未能