CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models

本篇文章属于LLM系列内容，主要对《CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models》这一文献进行翻译工作。

CODIS：多模态大型语言模型的上下文相关视觉理解基准

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 CODIS
  • 4 测试与验证
  • 5 讨论与剖析
  • 6 总结
  • 不足之处

摘要内容提炼

多模态大型语言模型（MLLMs）在融合视觉与语言的各类任务中已展现出积极的效果。随着这些模型在学术探索与实际应用中的重要性日益提升，对其综合能力进行系统性评估变得愈发关键。然而，当前多数基准测试尚未充分考虑到某些场景下需要结合更广泛背景信息来解读图像的情况。在此项研究中，我们提出了一项全新的基准测试体系，命名为CODIS，其核心目标是评估模型能否借助自由形式文本所提供的上下文信息来增强对图像内容的理解能力。实验结果揭示，现有MLLMs在该基准测试中的表现仍无法达到人类水平。深入分析进一步表明，这些模型在提取并有效运用上下文信息以提升图像理解方面存在明显不足。这一发现凸显出亟需加强对MLLMs在依赖上下文进行视觉理解方面的能力提升。我们的项目网站<https://thunlp-mt.git