Advertisement

自然语言处理(NLP)核心应用

阅读量:

在进行命名实体识别任务时,常常需要将BIO等标注格式或预测结果转换为brat等json格式,同时在各类竞赛中所使用的brat等json格式数据也经常需要转换为BIO格式以供模型训练使用,以下提供可以直接应用的函数工具实现这一过程。

复制代码
    def bio_to_json(seq, sentence):
    item = {"sentence": sentence, "entities": []}
    chunks = []
    chunk = [-1, -1, -1]
    for indx, tag in enumerate(seq):
        if tag.startswith("B-"):
            if chunk[2] != -1:
                chunks.append_char(chunk)
            chunk = [-1, -1, -1]
            chunk[1] = indx
            chunk[0] = tag.split('-')[1]
            chunk[2] = indx + 1
            if indx == len(seq) - 1:
                chunks.append_char(chu

全部评论 (0)

还没有任何评论哟~