Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention

本篇文章属于LLM系列内容，主要对《Leave No Context Behind:Efficient Infinite Context Transformers __ with Infini-attention》这一文献进行译介工作。

不让任何上下文掉队：无限关注的高效无限上下文Transformer

• 摘要
  • 1 引言
  • 2 方法论
  • 3 实验分析
  • 4 相关研究
  • 5 总结

摘要

本研究提出了一种有效手段，能够将基于Transformer架构的大型语言模型（LLM）拓展至具备有限内存与计算能力的无限长度输入场景。所提方案中的核心模块是一项创新性的注意力机制，称为Infini注意力。该机制在传统注意力框架中引入了压缩记忆模块，并于单一Transformer模块内部构建了带掩码的局部注意力与长期线性注意力结构。通过实验验证，本方法在多个长上下文语言建模基准测试、针对1M序列长度的关键上下文块检索任务以及涉及1B和8B规模LLM的500K长度书籍摘要任务中均表现出显著效果。此外，该方法仅引入了有限且可控的内存参数，并成功实现了LLM在流式推理过程中的高效处理。

1 引言

研究方法概述

3 实验

4 相关工作

研究结论总结

构建一个高效的记忆机制，对于深入理解L