Advertisement

Python库学习JIEBA

阅读量:

jieba

  • 一,总述
    • 二,形式
    • 三,运算规则
    • 四,去除无用词

一,概述

Jieba是一款性能优异的中文分词工具库,其核心功能依赖于中文词库的支持。通过分析汉字之间的关联概率,该工具能够识别出概率较高的字组,并将其作为分词结果输出。此外,在基础分词功能之外,用户还具备扩展能力,可自行添加特定的词汇以满足个性化需求。

二,模式

*精确模式:对文本进行精准分割,确保不出现多余词汇
*全模式:识别文本中所有可能存在的词语,会出现重复内容
*搜索引擎模式:在精确模式的基础上,进一步对较长的词语进行细分

三,函数

在这里插入图片描述
复制代码
    import jieba
    
    jieba.setLogLevel(jieba.logging.INFO)
    string = """我慢慢明白了我为什么不快乐,因为我总是期待一个结果。看一本书期待它让我变深刻,吃饭游泳期待它让我一斤斤瘦下来,发 一条短信期待它被回复,对人好期待它回应也好,写一个故事说一个心情期待它被关注被安慰,参加一个活动期待

全部评论 (0)

还没有任何评论哟~