PMG : Personalized Multimodal Generation with Large Language Models

本篇文章属于LLM系列内容，主要对《PMG : Personalized Multimodal Generation with Large Language Models》这一文献进行语言转换处理。

PMG：具有大型语言模型的个性化多模态生成

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 技术手段
  • 4 实验分析
  • 5 总结与后续研究方向

摘要

大型语言模型（LLMs）的诞生极大地提升了文本理解与生成的能力。多模态生成技术在工业界和学术界引发了广泛关注，然而在个性化生成方面的研究仍较为有限，而该方向在推荐系统等应用场景中具有重要价值。本研究首次提出了一种基于LLM实现个性化多模态生成的途径，并展示了其应用前景，同时通过两个数据集上的广泛实验验证了其性能表现。所提出的方案被命名为个性化多模态生成（PMG），其核心流程包括将用户行为信息，如推荐系统中的点击记录或与虚拟助手的交互对话，转化为自然语言形式，从而帮助LLM更好地理解并提取用户的偏好特征。随后，这些偏好信息被输入至生成器中，例如多模态LLM或扩散模型，以完成个性化内容的生成任务。为了更全面且精准地捕捉用户偏好特征，我们建议让LLM输出显式关键词与隐式嵌入表示相结合的形式来表征用户偏好，并将这些组合用于引导生成器的工作过程。此外，在优化过程中我们对准确性与偏好得分进行了加权处理