文本生成二 NLP论文复现 相对位置编码突破Bert的文本长度限制！

Position-aware representations成功地超越了BERT处理超过512个词长度文本的能力。

• 引言

  • 基于相对位置表示的自注意力机制

  • NEZHA模型

  • 构建相对位置表示的方法

    • 生成相对位置嵌入
      • 将相对位置信息传递至自注意力模块

  • 使用NEZHA实现法律长文摘要生成

  • • 关键句抽取模型

    • • DGCNN
      • 代码实现

    • 生成模型

    • • BIO Copy
      • 稀疏Softmax

    • 模型创建与训练

  • 总结

  • 参考资料

  • 代码地址

前言

基于相对位置表示的自注意力机制及其应用研究

最近致力于深入探讨苏神所著《SPACES："抽取-生成"式长文本摘要（法研杯总结）》这一学术作品。
本研究聚焦于法律领域中裁判文书的长文本摘要生成技术。
该过程涉及长文本输入与输出环节。
其输入与输出总长度远超BERT预训练模型的最大序列长度（其中BERT的位置编码是在预训练阶段完成学习，并且最大支持序列长度为512）。
针对这一挑战性问题，
目前掌握的主要解决方案包括：
基于分段编码策略的方法，
基于分段式注意力机制的方法，
以及基于自适应扩