Distilling Named Entity Recognition Models for Endangered Species from Large Language Models

本篇文章属于LLM系列内容，主要涉及对《从大型语言模型中提炼濒危物种命名实体识别模型》这一文献的译介工作。

从大型语言模型中提取濒危物种命名实体识别模型

• 摘要
  • 1 引言
  • 2 知识蒸馏
  • 3 数据集构建
  • 4 实验设计与实施
  • 5 分析与探讨
  • 6 总结与归纳

摘要

当前自然语言处理（NLP）领域的研究者们正借助大规模语言模型（LLM），在缺乏特定领域背景知识的前提下，从专利文献、学术论文等半结构化与非结构化数据中构建出结构化的数据集。与此同时，生态学领域的专家们则致力于探索多种途径，以实现对生物多样性的有效保护。为推动相关工作的进展，我们聚焦于濒危物种的识别，并借助上下文学习的方式，从GPT-4中提取相关知识。具体而言，我们采用了一个分阶段的流程来构建命名实体识别（NER）与关系提取（RE）的数据集：第一阶段是通过GPT-4生成四类濒危物种相关的合成数据；第二阶段则是由人工对这些合成数据进行事实性验证，从而获得高质量的黄金数据。最终所构建的新数据集共计包含3.6K条句子，并平均划分为1.8K条用于NER任务和1.8K条用于RE任务的句子。鉴于GPT-4模型在计算资源方面的需求较高，我们利用所构建的数据集对通用型BERT模型及特定领域优化后的BERT变体进行微调操作，从而完成从GPT-4向BERT的知识迁移过程。实验