U-BERT: User Representation Pre-training for Improved Recommendation AAAI2021

腾讯

摘要

用户表示的学习在推荐系统中占据着至关重要的地位，其核心作用在于对用户个性化偏好的信息进行有效编码。通常情况下，这种学习过程依赖于行为数据，如点击行为和评论内容等。然而，在一些关注度较低的领域，由于行为数据的数量有限，难以获得准确的用户表示。针对这一问题，一个自然的解决思路是借助内容更为丰富的领域来辅助用户表示的学习。受BERT在自然语言处理领域取得的重大突破所启发，我们设计了一种全新的预训练与微调相结合的方法——U-BERT。与常规BERT的应用场景不同，U-BERT专门针对推荐任务进行了优化，并在预训练和微调阶段采用了不同的架构设计。在预训练阶段，U-BERT主要聚焦于内容丰富的领域，并引入了用户编码器和评论编码器以对用户的行为特征进行建模。同时提出了两种预训练策略，用于获取具有广泛适用性的用户表示形式。进入微调阶段后，U-BERT则专注于目标领域中内容较为匮乏的情况。除了继承自预训练阶段的用户和评论编码器之外，该方法还引入了项目编码器以对项目特征进行建模。此外，在模型结构中还设计了一个评论匹配层，旨在进一步挖掘用户与商品评论之间的语义关联性。最终，U-BERT通过整合用户的特征信息、项目的特征信息以及评论交互的相关信息来提升推荐效果。通过对六个来自不同领域的基准数据集进行实验验证，结果表明U-BERT在性能方面达到了当前最先进的水平。

问题