文本生成（一）NLP论文复现 UnifiedLanguageModel 文本生成从未如此轻松

Unified Language Model 文本生成从未如此轻松

• 引言

  • UniLM

  • 如何构建UniLM

  • • 获取2D掩码
    • 将2D掩码传递至Bert模型

  • 借助UniLM完成新闻标题生成

  • • 数据预处理部分（略）

    • 模型训练过程

    • • 技巧1:采用自定义损失层以替代传统损失函数
      • 技巧2:融合Embedding信息以生成预测文本

    • 模型推理阶段

    • • 技巧3:运用BeamSearch解码策略

    • 简化词汇表规模

    • • 技巧4:缩减词汇表范围，从而加快模型收敛速度

  • 实验结果分析

  • 相关文献

  • 源代码链接

前言

一篇2019年微软团队发表的学术文章，按照惯例，先附上论文链接：https://arxiv.org/abs/1905.03197

近期我开始着手长文本摘要生成的相关工作，因此翻阅了几篇与Transformer架构相关的文本生成领域的重要文献。在阅读到UniLM这一基于BERT的模型（甚至严格来说，它并不能被归类为BERT的变体）时，内心不禁感慨“早知如此，何必当初”。随后回想起之前费时费力手动编写LSTM结合注意力机制的序列到序列模型时，心中不由自主地生出几分不屑。得益于自注意力机制的