信息检索——词项词典及倒排记录表

词项词典与倒排记录表构建

本章内容

词项词典预处理的采集过程

1. 文档的获取
2. 词条的划分
3. 索引中应包含哪些词汇？

倒排索引结构

1. 高效处理：跳表机制
2. 带有位置信息的倒排索引与短语检索

分析文档

1. 每一份文件均需对其结构形式与所使用语言进行处理
2. 结构形式：包括PDF、Excel、Word、HTML等多种类型
3. 所使用语言
4. 字符编码：如UTF-8、GBK、GB2312等

索引粒度

采用一种可行的方式，即将每章或每段视为一个独立的小型文档进行索引构建，匹配单元的细粒度越高，用户在文档中定位相关段落的效率也就越高。

• 当索引粒度设置过细时，虽然正确率较高，但召回率会相应降低