新手探索NLP 5

命名实体识别

简介

命名实体识别技术（NER技术），也被称作实体识别技术或信息抽取技术，在信息处理领域被视为一个重要的子任务。该技术的主要目标是从大量文本中识别出具有特定含义的命名实体，并将其归类到如个人名称、组织机构名称、地点名称等预定的类别中。具体来说，则分为两个主要环节：第一部分是确定命名实体在文本中的起止边界位置；第二部分则是通过进一步分析将这些命名实体分配到相应的类别中。

NER系统已初步搭建完成，并采用了一系列基于语言语法的方法，并运用了统计模型等技术手段。传统的手工开发的基于语法系统的开发往往能达到较高的识别精度；但这一代价表现为较低的召回率且需耗费大量时间由资深计算语言学家耗时months-long进行研发工作。构建统计NER系统的训练数据集通常需要大规模的人工标注资源以确保较高的识别准确度；为此建议采用半监督学习方法以减少人工标注的工作量

先进模型

Spacy NER模型：

作为一个免费且开放源码的Python库，在使高阶自然语言处理（NLP）更加简单方便方面发挥了重要作用

在Python编程语言中，Spacy实现了高效的命名实体识别统计系统。该系统能够对连续的令牌序列进行标记分配。它预设了基础训练模型，并能识别包括公司名称、地点信息、组织机构等在内的命名实体与数字标示项。除此之外，SPAY可以通过重新