Topic-Aware Neural Response Generation
发布时间
阅读量：
阅读量
tase2seq模型
以下为整体模型结果的可视化展示图示:
图2展示了topic aware seq2seq模型，该模型在传统seq2seq架构的基础上，引入了联合注意力机制以及用于生成偏置概率的模块，从而将主题信息整合至模型中。
topic word提取方法
通过引入Twitter LDA模型，针对每一个输入语句x，均可对应至一个特定主题z。对于该主题z，语句x中与之相关联的字数设定为n，取值为100，并将其表示为K。借助输入语句x、主题词汇K以及输出结果y，对生成模型进行训练。
在LDA模型参数估计过程中，采用collapsed Gibbs sampling算法（Zhao et al. 2011）。随后利用该模型获取输入语句x所对应的主题，并从中选取概率最高的n个字作为主题词汇。
在模型学习阶段，需要为每个主题词汇构建对应的向量表示。首先需计算主题词汇w的分布情况，其公式表达如下：
还没有任何评论哟~