Duwak: Dual Watermarks in Large Language Models

本篇文章属于LLM系列内容，旨在对《Duwak: Large Language Models中的双水印技术》进行翻译 __ 。

Duwak：大型语言模型中的双重水印

• 摘要
  • 1 引言
  • 2 背景介绍
  • 3 Duwak：双重水印技术
  • 4 效果评估
  • 5 相关文献综述
  • 6 总结与归纳
  • 7 研究的不足之处

摘要

随着大规模语言模型（LLM）在文本生成任务中的应用日益广泛，对其使用情况进行审查、对其应用场景进行管理以及降低其可能带来的风险变得尤为重要。目前的水印技术在植入人类难以察觉且可被机器识别的模式方面表现良好，同时不会对生成文本的质量和语义造成明显影响。然而，关于检测水印的效率问题，即确定实现显著性检测并具备抗后编辑能力所需的最小token数量，仍存在较大争议。本文中，我们提出Duwak方法，通过在token的概率分布及采样策略中嵌入双重隐藏模式，从而显著提升水印的效率与质量。为缓解因某些token偏好所引发的表达能力下降问题，我们设计了一种对比搜索机制用于对采样方案进行水印处理，以最大程度减少token重复现象并增强输出多样性。我们从理论上阐述了Duwak中两个水印之间的相互依赖关系。我们在Llama2模型上针对四种最先进的水印技术及其组合，在多种编辑攻击场景下对Duwak进行了全面评估。实验结果表明，在确