英伟达采用排序模型提升LLM的RAG检索能力

📖标题：Enhancing Q&A Text Retrieval with Ranking Models: Benchmarking, fine-tuning and deploying Rerankers for RAG
🌐来源：arXiv, 2409.07691

摘要

🔸在提升文本检索系统整体精确度方面，排名模型发挥着关键性作用。这类多阶段系统通常借助密集嵌入模型或稀疏词汇索引，根据特定查询检索出相关段落，并通过排名模型依据候选段落与查询之间的关联程度调整其排列顺序。
🔸本研究对多种公开可获取的排名模型进行了性能评估，分析了其对排序精度的影响。我们聚焦于问答任务中的文本检索场景，这是检索增强生成系统中广泛存在的应用场景。所采用的评估基准涵盖了一些在实际工业应用中具备商业价值的模型。
🔸我们提出了一种先进的排名模型NV-RerankQAMistral-4B-v3，在与采用其他排序器的流程进行对比时，其准确率提升了14%。此外，我们还开展了一项消融实验，对不同规模、损