Python库学习JIEBA
发布时间
阅读量:
阅读量
jieba
- 一,总述
- 二,形式
- 三,运算规则
- 四,去除无用词
一,概述
Jieba是一款性能优异的中文分词工具库,其核心功能依赖于中文词库的支持。通过分析汉字之间的关联概率,该工具能够识别出概率较高的字组,并将其作为分词结果输出。此外,在基础分词功能之外,用户还具备扩展能力,可自行添加特定的词汇以满足个性化需求。
二,模式
*精确模式:对文本进行精准分割,确保不出现多余词汇
*全模式:识别文本中所有可能存在的词语,会出现重复内容
*搜索引擎模式:在精确模式的基础上,进一步对较长的词语进行细分
三,函数

import jieba
jieba.setLogLevel(jieba.logging.INFO)
string = """我慢慢明白了我为什么不快乐,因为我总是期待一个结果。看一本书期待它让我变深刻,吃饭游泳期待它让我一斤斤瘦下来,发 一条短信期待它被回复,对人好期待它回应也好,写一个故事说一个心情期待它被关注被安慰,参加一个活动期待
全部评论 (0)
还没有任何评论哟~
