Benchmarking Long-Context Capability of Multimodal Large Language Models

本篇文章属于LLM系列内容，主要涉及对《Multimodal Needle in a Haystack: Benchmarking Long-Context Capability of Multimodal Large Language Models __ 》这一文献的译介工作。

Haystack中的多模态针：多模态大型语言模型的长上下文能力基准

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 Haystack框架内的多模态针（MMNeedle）
  • 4 实验分析
  • 5 结论部分

摘要

多模态大型语言模型（MLLMs）在各类实际应用场景中展现出广阔的发展潜力，因而吸引了众多学术界与工业界人士的关注。然而，针对其在长周期任务中的综合性能进行全面分析的工作仍较为有限。为弥补这一不足，我们提出了多模态大海捞针（MMNeedle）基准测试框架，旨在专门评估MLLM在处理长上下文信息方面的能力。除了采用多图像输入方式外，我们还引入了图像拼接技术以进一步扩展输入内容的长度，并设计了一套自动化标签生成机制，用于支持子图像级别的检索任务。本质上，MMNeedle通过模拟压力测试的方式，检验MLLMs在一组图像集合（Haystack）中依据文本指令和图像内容描述准确识别目标子图像（针）的能力。该测试环境要求模型具备对广泛视觉信息的深度理解能力，并能在较