基于MinIO、Langchain和Ray Data构建分布式嵌入系统

检索增强生成技术所依赖的四个组成部分中，嵌入子系统是其中之一。其主要功能是将用户自定义的文本资料转化为具备语义搜索能力的向量数据库。除此之外，其余三个子系统分别承担着构建自定义语料库的数据处理流程、从向量数据库中检索相关信息以补充用户查询上下文的检索模块，以及负责运行大型语言模型（LLM）的服务组件，该组件能够依据用户的提问内容与在向量数据库中匹配到的相关信息生成最终答案。下图展示了这四个组成部分在检索增强生成流程中的协作方式。

本文将着重阐述嵌入子系统的相关内容。在该子系统中，组织自定义语料库中的文档首先会从原始格式转换为文本形式，随后被拆分为更小的单元，并为每个单元生成一个嵌入（即一个通常包含数百个维度的向量）。生成嵌入之后，原始文本块与对应的向量信息均会被存入向量数据库中。尽管嵌入子系统在概念层面较为直观，且实现用于处理简单文本文件的脚本也相对容易，但若要在实际组织环境中构建该子系统，则需面对