Multimodal Large Language Models to Support Real-World Fact-Checking

本篇文章属于LLM系列内容，主要涉及对《Multimodal Large Language Models to Support Real-World Fact-Checking》这一文献的译介工作。

支持真实世界事实核查的多模态大型语言模型

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 评价体系
  • 4 实验配置
  • 5 实验数据
  • 6 研究限制
  • 7 总结与后续方向

摘要

虚假信息对现实世界带来了潜在危害，尤其当其与具有误导性的图像结合时更为显著。多模态大语言模型通过融合图像理解能力与语言模型所具备的丰富知识和解释能力，已成为人们处理海量信息的重要工具。然而，这些模型在作为辅助事实核查的多模态工具方面所展现出的能力及其存在的局限性，目前仍缺乏深入的研究。以下是我们旨在弥补这一研究空白的具体目标。我们提出了一种系统性的评估框架，用于全面分析当前多模态模型的实际表现，从而推动其在现实场景中的事实核查应用。本方法无需依赖外部证据，仅依靠模型自身的内在知识和推理机制进行判断。通过设计特定提示以提取模型的预测结果、解释内容及其置信度水平，我们对模型的准确性、偏差以及其他关键指标进行了深入探讨。实验结果表明：（1）GPT-4V在多个数据集上表现出超出预期的表现，准确率超过80%，并且能够生成令人印象深刻的解释；（2）即便借助提示集成