SNIFFER: Multimodal Large Language Model for Explainable Out-of-Context Misinformation Detection

本篇文章属于LLM系列内容，主要涉及对《SNIFFER: Multimodal Large Language Model for Explainable Out-of-Context Misinformation Detection》这一文献的译介工作。

SNIFFER：可解释上下文外错误信息检测的多模态大型语言模型

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 技术手段
  • 4 效果分析
  • 5 总结

摘要内容提炼

虚假信息因其可能带来的巨大危害，已成为社会中广泛存在的问题。其中，断章取义（OOC）类型的错误信息是误导公众最为直接且高效的方式之一，它通过将真实的图像与虚假的文本结合，达到传播不实内容的目的。当前的研究多集中于分析图像与文本之间的一致性，然而对于这种不一致性的判断缺乏具有说服力的说明，而这样的解释对于识别和揭露错误信息尤为重要。虽然多模态大型语言模型（MLLMs）在视觉推理及生成解释方面具备较强的能力和丰富的知识储备，但在识别和理解细微的跨模态差异方面仍存在不足。本文提出了一种新型的多模态大型语言模型SNIFFER，专门用于检测和解释OOC类错误信息。SNIFFER基于InstructionBLIP平台进行了两阶段的指令优化。第一阶段旨在增强模型在通用对象与新闻领域实体之间的概念一致性；第二阶段则借助仅由GPT-4生成