学习笔记 - Python自然语言处理与字符串操作
发布时间
阅读量:
阅读量
字符串操作基础与应用
1.文本切分方法研究
自然语言工具包中的nltk.tokenize模块
1.1.1 将文本切分为语句
sent_tokenize()函数的作用在于生成PunktSentenceTokenizer类的一个实例对象。
import nltk
from nltk.tokenize import sent_tokenize
text = "Welcome readers. I hope you find it interesting. Please do reply."
print(sent_tokenize(text))
['Welcome readers.', 'I hope you find it interesting.', 'Please do reply.']
- 对文本进行分批切割
引入PunktSentenceTokenizer类,并执行tokenize()方法
tokenizer = nltk.dat
全部评论 (0)
还没有任何评论哟~
