汉伦LP 分词语具及其去停用项

阅读量：

可以参考这个GitHub
分词除了使用jieba也可以用Hanlp的这个小工具，也很方便。

HanLP词典分词实现分析

1.DoubleArrayTrieSegment结构分析

DoubleArrayTrieSegment分词器本质上是对DAT最长匹配算法的实现，其默认会加载hanlp.properties配置文件中CoreDictionaryPath参数所指定的词典资源。

复制代码

    from pyhanlp import *
    
    # 不显示词性
    HanLP.Config.ShowTermNature = False
    
    # 可传入自定义字典 [dir1, dir2]
    segment = DoubleArrayTrieSegment()
    # 激活数字和英文识别
    segment.enablePartOfSpeechTagging(True)
    
    
    
    AI写代码python

全部评论 (0)

还没有任何评论哟~