AAAI2020: A pre-trained personalized dialogue generation model with persona-sparse data

文章目录

• 论文研究背景
• 论文旨在解决的问题
• 本文的主要贡献
• 模型架构设计
  • 变量的详细说明
    • 框架设计
    • 编码器模块（Encoding）
    • 注意力机制（Attention）
    • 基于自动生成角色权重的机制
    • 语言模型构建（language model）
    • 最终优化的目标函数

A personalized dialogue generation model based on pre-trained and a persona-sparse dataset

基于预训练和个性化稀疏数据的个性化对话生成模型

论文背景

AAAI 2020 解析

为使对话模型输出更接近人类自然语言的回复内容，在为模型提供特定性格背景等作为辅助信息方面是必要之举。
大型预训练语言模型如GPT-2与BERT经过大规模的数据积累和学习过程，在具备高度泛化能力的同时展现出极强的语言表达能力，并能以连贯自然的方式呈现其生成内容。
尽管这些预训练语言模型未专注于某一具体领域进行专业优化，在基于目标领域数据开展二次微调后仍能取得优于单一领域微调的效果。
一种专为应对特定任务而构建的数据集合是PERSONA-CHAT。该集合通过人工构建的方式模拟真实场景中的互动过程，并要求参与者依据指定的性格特征展开对