Advertisement

LLM paper: ALCE (Enabling LLMs to generate and cite text).

阅读量:

该文章属于RAG研究方向的一篇论文

时间 [Submitted on 24 May 2023 (v1), last revised 31 Oct 2023 (this version, v2)]
背景 LLM在信息搜索、生成带引用的文本时存在幻觉问题,即事实准确性有待提升,而且用户难以验证准确性。
现有工作的不足 人工评估或商用搜索引擎,难以复现和比较不同模型
解决 提出A utomatic L LM C itation E valutation 自动化评估模型检索生成能力
创新点 1. 评估长文本生成 2. 自动评估引用质量 3. 允许为一个陈述引用多篇文章

具体工作内容:

数据集

有三个数据集,分别是

ALCE评估模型:

三方面评估

  • 生成质量——基于该研究提出的MAUVE指标 (Pillutla et al., 2021)
    • 定量评估方法能够有效衡量生成内容的质量
      • 根据数

全部评论 (0)

还没有任何评论哟~