Lucene的分词实现通过Analyzer, TokenStream（Tokenizer, TokenFilter）完成

一 分清概念：

1 TokenStream是用来走访Token的iterator(迭代器) ,

Tokenizer继承自TokenStream，其输入为Reader 。

TokenFilter继承自TokenStream这一类的对象,其主要功能是执行对TokenStream执行过滤操作的任务,例如，在去除停用词方面,将其转换为小写字体形式等处理操作。

** TokenStream: 分词流（即），即将对象进行分词处理后生成的Token，在内存中持续以流的方式存在。这种设计确保了系统能够高效地处理大规模数据流，并支持在线处理模式。其中常见的应用场景包括文档文本处理和查询文本分析。为了获取这些Token信息，在实际应用中通常会从TokenStream中进行读取。同时需要注意的是，在某些复杂场景下可能会引入额外的缓存机制来优化数据访问效率。此外，在设计过程中我们充分考虑了系统的可扩展性和高并发处理能力需求。**

如果一个字段经历 token 化处理，则表示该字段的内容已被系统采用多种转换策略转化为了 tokens 串的形式。
Token 被视为构建索引的基础元素，在 token 化过程中, 分析程序会提取应包含在索引中的文本片段, 并去除与字段无关的信息。
分析程序会在执行去除非常用词、进行词干处理等操作的同时, 抽取应包含在索引中的文本