嵌入模型及其在句子转换器上的应用

简单介绍

在Retrieval-Augmented Generation（RAG）模型中,为了检索与查询相关的文本片段,我们通常会采用基于两步实现策略的方法:第一步主要依赖于retriever进行初步筛选,第二步则采用reranker对初步筛选的结果进行重新排序;值得注意的是,在这种情况下,reranker不仅能够显著提升结果质量,而且这一效果能够在较高的计算成本支持下实现;然而,这种方法仅适用于初步筛选的结果,因为其较高的计算开销限制了其应用范围

该工具旨在将文本映射到连续的空间中以形成向量表示（称为嵌入），并据此计算相似性；因为它是独立存在的嵌入表示，并未整合查询与原始内容；其对立的是交叉编码器模型（CrossEncoder），即通过融合查询与原始内容来评估相似程度；这样的设计也是比较巧妙的：

• retriever单独对文本进行嵌入处理，在无需依赖查询的情况下预处理阶段完成计算，并且之后可反复利用这些嵌入结果。从而迅速筛选出大量与当前查询无关的文档。
  • reranker依赖查询，在每次处理新查询时都需要重新评估该查询与所有文档的相关性。尽管如此但这一过程的时间成本相较于前一种方法显著增加。

为了更好地开始实验流程，在我的开发环境中首先简单应用了Sentence Transformer这一工具包。具体而言，在我的开发环境中采用了精简版Sentence T