复盘比赛SDP 2021@NAACL LongSumm科学论⽂⻓摘要生成任务第一名

SDP 2021@NAACL LongSumm 科学论⽂⻓摘要生成任务 第一名

• 引言

  • 任务说明

  • • 问题阐述
    • 数据呈现

  • 模型探索

  • • 抽取模型探索

    • • DGCNN抽取模型
      • BertSumm

    • 生成模型探索

    • • End2end [PEGASUS + BIGBIRD]
      • • PEGASUS：专为摘要生成设计的预训练模型

    • BIGBIRD：具备线性复杂度的self-attention机制

    • 结果：解码重复现象严重，难以生成较长摘要

      • UniLM 抽取+生成 [2048-1024]

  • SBAS (基于会话的自动摘要模型)

  • • 基于会话的生成模型
    • 抽取模型
    • 组合方法

  • 实验结果

  • • 部分摘要示例

  • 部分参考文献

前言

失踪人口回归！
由于期末考试与春节假期的双重影响，许久未进行更新。2月份前往网易人工智能实验室进行实习，担任自然语言处理方向的实习