Advertisement

学习笔记 - Python自然语言处理与字符串操作

阅读量:

字符串操作基础与应用

1.文本切分方法研究

自然语言工具包中的nltk.tokenize模块

1.1.1 将文本切分为语句

sent_tokenize()函数的作用在于生成PunktSentenceTokenizer类的一个实例对象。

复制代码
    import nltk
    from nltk.tokenize import sent_tokenize
    
    
      
      
    
复制代码
    text = "Welcome readers. I hope you find it interesting. Please do reply."
    
    print(sent_tokenize(text))
    
    
      
      
      
    
复制代码
    ['Welcome readers.', 'I hope you find it interesting.', 'Please do reply.']
    
    
      
    
  • 对文本进行分批切割

引入PunktSentenceTokenizer类,并执行tokenize()方法

复制代码
    tokenizer = nltk.dat

全部评论 (0)

还没有任何评论哟~