Imagination Augmented Generation: Learning to Imagine Richer Context for Question Answering

本篇文章属于LLM系列内容，主要涉及对《Imagination Augmented Generation: Learning to Imagine Richer Context for Question Answering over Large Language Models》这一文献的译介工作。

想象增强生成：在大型语言模型上学习想象更丰富的问答上下文

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 技术方案
  • 4 实验分析
  • 5 总结与后续方向
  • 不足之处

摘要

为提升大型语言模型（LLM）在问题回答任务中的知识表现，已有研究提出了检索增强生成与生成增强生成两种方法。然而，前者需要借助外部资源，而两者均需将具体的文档内容整合至上下文之中，从而导致上下文长度增加，并进一步引发更高的资源消耗。近期研究表明，LLM已具备对广泛知识进行建模的能力，但这些知识尚未被有效触发或利用。受此启发，我们设计了一种新的知识增强框架——想象增强生成（IAG），该框架模拟了人类在缺乏外部信息支持的情况下，仅凭自身想象来弥补知识缺失、完成问题解答的过程。基于IAG的指导思想，我们提出了一种名为IMcQA的更丰富上下文问答方法。该方法通过两个关键模块实现语境的拓展：一是通过长文本压缩技术生成短伪文档以实现显式想象；二是借助HyperNetwork生成