自然语言处理(NLP)核心应用
发布时间
阅读量:
阅读量
在进行命名实体识别任务时,常常需要将BIO等标注格式或预测结果转换为brat等json格式,同时在各类竞赛中所使用的brat等json格式数据也经常需要转换为BIO格式以供模型训练使用,以下提供可以直接应用的函数工具实现这一过程。
def bio_to_json(seq, sentence):
item = {"sentence": sentence, "entities": []}
chunks = []
chunk = [-1, -1, -1]
for indx, tag in enumerate(seq):
if tag.startswith("B-"):
if chunk[2] != -1:
chunks.append_char(chunk)
chunk = [-1, -1, -1]
chunk[1] = indx
chunk[0] = tag.split('-')[1]
chunk[2] = indx + 1
if indx == len(seq) - 1:
chunks.append_char(chu
全部评论 (0)
还没有任何评论哟~
