Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models

本篇文章属于LLM系列内容，主要涉及对《基于检索增强生成的大型语言模型中的提示扰动》这一文献的翻译工作。

基于大语言模型的检索增强生成中的提示扰动

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 基于梯度引导的提示扰动方法
  • 4 对抗性前缀识别技术
  • 5 实验分析
  • 6 结论与展望

摘要内容提炼

随着大规模语言模型在多个领域的应用日益广泛，其稳定性问题逐渐引起重视。检索增强生成（RAG）被视为提升LLM文本生成可信度的一种有效方式。然而，关于基于RAG的LLM输出在面对微小输入变化时的表现，目前尚未有深入研究。本研究中，我们发现即便是在提示信息中添加一个简短的前缀，也可能导致生成内容偏离事实正确的答案。为此，我们提出了一种新的优化技术——梯度引导提示扰动（GGPP），用以系统性地分析这些前缀对RAG机制的影响。通过GGPP方法，我们成功地将基于RAG的LLM输出引导至特定错误答案的方向，并且该技术还能应对提示中要求忽略无关信息的指令。此外，我们还借助LLM在存在与不存在GGPP扰动的提示之间所表现出的神经元激活差异，设计出一种方法：通过对由GGPP触发的神经元激活模式进行高效检测器训练，从而增强基于RAG的LLM系统的鲁棒性。针对开源LLM的实验结果验证了该方法的有效性。

1 引言

2 相关工作