支持Tokenizer类的处理

 import jieba

    
 import keras.preprocessing.text as T
    
 from keras.preprocessing.text import Tokenizer
    
  
    
 text1='这里的风景真漂亮'
    
 text2='这件衣服很好看，我很喜欢，你觉得呢？'
    
  
    
 text1=' '.join(jieba.cut(text1))
    
 text2=' '.join(jieba.cut(text2))
    
 texts=[text1,text2]
    
  
    
 T.text_to_word_sequence(text1)
    
 T.text_to_word_sequence(text2)
    
  
    
 T.one_hot(text1,20)#（20表示数字化向量为20以内的数字）
    
 T.one_hot(text2,20)

 t