InteraRec: Screenshot Based Recommendations Using Multimodal Large Language Models

本篇文章属于LLM系列内容，主要对《InteraRec: Screenshot Based Recommendations Using Multimodal Large Language Models》这一文献进行语言转换处理。

InteraRec：使用多模态大型语言模型的基于屏幕截图的推荐

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 InteraRec架构
  • 4 实验分析
  • 5 总结

摘要

网络日志由详尽记录用户在各类网站上行为活动的信息构成，为理解用户的喜好、行为模式及兴趣特征提供了重要参考。诸多推荐系统运用协作过滤、内容过滤以及混合策略等方法，借助从这些日志中挖掘出的数据，为用户定制个性化的推荐内容。虽然这些日志蕴含着大量信息，但从中识别并提取关键特征与相关信息仍需大量工程处理。数据的复杂性也给解释带来了困难，特别是对于非专业人员而言。在本项研究中，我们提出了一种交互性强的推荐框架，名为InteraRec，该框架不同于传统上完全依赖博客内容生成推荐的方式。InteraRec框架在用户访问网站时捕捉高频出现的屏幕截图，并借助先进的多模态大型语言模型（MLLM），通过基于预设关键词生成文本摘要的方式，从这些截图中提炼出关于用户偏好的关键信息。接着，LLM集成优化模块利用该摘要生成符合用户需求的个性化建议。此外，我们还尝试将基于