Advertisement

NLP 利用kashgari和BERT进行中文命名实体识别（NER）

阅读量：

开展相关工作前，需首先搭建 Python 运行环境，并获取 BERT 语言模型资源。

  • 需要配置 Python 3.6 版本的运行环境

应完成kashgari库的安装操作

Backend pypi version desc
TensorFlow 2.x pip install ‘kashgari>=2.0.0’ coming soon
TensorFlow 1.14+ pip install ‘kashgari>=1.0.0,<2.0.0’ current version
Keras pip install ‘kashgari<1.0.0’ legacy version
  • BERT, Chinese 中文模型
    我采用的是工大开发的BERT-wwm-ext模型

对以上研究者的贡献表示诚挚的谢意

数据集准备

复制代码 
    from kashgari.corpus import ChineseDailyNerCorpus
    
    train_x, train_y = ChineseDailyNerCorpus.load_data('train')
    valid_x, valid_y = ChineseDailyNerCorpus.load_data('validate')
    test

全部评论 (0)

还没有任何评论哟~

相关文章推荐