Towards Efficient and Effective Unlearning of Large Language Models for Recommendation

本篇文章属于LLM系列内容，主要涉及对《Towards Efficient and Effective Unlearning of Large Language Models __ for Recommendation》这一文献的译介工作。

用于推荐的大语言模型的高效遗忘

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 序言
  • 4 技术途径
  • 5 测试分析
  • 6 总结

摘要

大型语言模型（LLM）的快速发展催生了一个极具潜力的研究方向，即借助LLM作为推荐系统（LLMRec）。LLMRec之所以具备良好的性能，主要得益于LLM本身所拥有的开放世界知识和强大的推理能力。通过基于用户交互信息的指令微调，LLMRec能够获得推荐功能。然而，在保障用户隐私并提升系统效用的前提下，让LLMRec主动遗忘某些特定用户数据也显得尤为重要，这一过程通常被称作建议性遗忘。在当前LLM技术背景下，建议性遗忘为LLMRec带来了效率低下与效果不佳等新的难题。目前主流的遗忘方法需要对LLMRec中包含数十亿参数的模型进行更新，这不仅成本高昂且耗时较长。同时，在执行遗忘操作时，这些方法往往会对模型的实际应用效果产生负面影响。针对上述问题，我们提出了一种名为E2URec的高效且有效的释放方法，并成为首个应用于LLMRec领域的解决方案。E2URec仅需调