Plug-and-Play Grounding of Reasoning in Multimodal Large Language Models

本篇文章属于LLM相关系列内容，主要涉及对《Plug-and-Play Grounding of Reasoning in Multimodal Large Language Models》这一文献的译介工作。

多模态大语言模型中推理的即插即用基础

• 摘要
  • 1 引言
  • 2 方法论
  • 3 P2GB基准测试
  • 4 实验设计
  • 5 结果分析
  • 6 总结
  • 研究局限性

摘要

随着多模态大型语言模型（MLLMs）因其卓越的指令遵循与推理能力而受到广泛关注，视觉推理领域迎来了显著的发展机遇。然而，由于图像标记化过程所存在的固有局限性，多数MLLM在处理图像中的文本与对象细节时存在不足，尤其是在面对高分辨率图像时更为明显。为解决上述问题，我们提出了一种名为P2G的新型框架，该框架可作为即插即用的解决方案，用于增强MLLM的接地能力。P2G通过充分挖掘MLLM在工具使用方面的潜力，借助专家代理将推理过程动态地嵌入到图像的关键视觉与文本要素中，从而实现基于多模态提示的深度推理。同时，我们还构建了一个名为P2GB的基准测试平台，其主要目标是评估MLLM在理解复杂高分辨率图像中对象间关系及文本内容方面的能力水平。大量针对视觉推理任务的实验结果表明，P2G展现出卓越的表现，在基于7B主干结构的P2GB上所达到的效果已接近GPT-4V的水