AdaPrompt: Adaptive Model Training for Prompt-based NLP

本篇文章属于LLM系列内容，主要涉及对《AdaPrompt: Adaptive Model Training __ for Prompt-based NLP》这一文献的译介工作。

AdaPrompt：基于提示的NLP的自适应模型训练

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 技术手段
  • 4 测试分析
  • 5 总结归纳
  • 不足之处

摘要

提示学习因其在应对零样本及小样本NLP任务方面展现出的潜力，已在学术界和工业界引起高度关注。其核心理念在于将NLP下游任务的相关信息映射至自然语言提示之中，继而借助预训练语言模型（PLM）完成内容填充，从而缩小NLP下游任务与语言建模（LM）之间的鸿沟。然而，针对提示学习方法，NLP任务与预训练阶段之间依然存在两个突出的问题。其一，在LM预训练过程中，并非所有提示信息都能得到充分覆盖；其二，在预训练阶段，特定任务的数据可能无法被准确表达。为应对上述挑战，我们提出了一种名为AdaPrompt的新方法，该方法通过自适应地结合任务与提示特征来检索外部数据，并将其用于PLM的持续预训练过程。同时，我们还借助自然语言推理模型中的知识推导出适用于不同场景的自适应动词。实验结果表明，在五个主流NLP基准测试中，AdaPrompt能够在小样本环境下有效提升标准PLM的表现；而在零样本条件下，相较于传统基于提