RAG——RAG的整体流程

分片什么是分片顾名思义就是把文档切分成多个片段。分片的方式按照字数按照段落按照章节按照页码…目的就是把一个文档分成多份存入向量数据库。索引通过Embedding将片段文本转换为向量向量有大小和方向的量一维向量[1.2]、[3.3]二维向量[1.59,2.25]、[2.2,3.9]三维向量[1.529,21.21,3.1]、[2.21,3.39,8.8]…Embedding就是将文本转为向量的过程Embedding是由模型完成的。将片段文本和片段向量存入向量数据库向量数据库用于存储和查询向量的数据库一般存储向量和原始文本向量文本[1.59,2.25,1.1,2,1,5…9.9,8.8]中国人[8.5,6,8.6,9.57,5.8,…96,5.5,9]这是一篇博客召回什么是召回搜索与用户问题相关片段的一个过程。向量数据库怎么查询的通过向量相似度大体流程如下先把用户问题转为向量用户问题向量用户问题文本[1.59,2.25,1.1,2,1,5…9.9,8.8]步行街怎么走目前向量数据库中片段向量片段向量片段文本[1.59,2.25,1.1,2,1,5…9.9,8.8]步行街坐20路可以到[8.5,6,8.6,9.57,5.8,…96,5.5,9]步行街坐出租可以到[5.5,6.6,9.5,…,5.6,89,99]步行街今天下雨然后通过一个公式similarity(用户向量片段向量)用户向量不变片段向量依次填入计算出向量相似度然后排序取最前面的n个向量相似度1.23.59.9向量相似度的计算方法余弦相似度欧式距离点积重排什么是重排重排就是重新排序。召回是从所有的向量相似度中挑选最与用户问题相关n个返回重排就是在这个n个中再次排序挑选前几个返回。为什么不在召回直接返回前几个省去重排步骤呢重排和召回的区别/召回重排方法向量相似度cross-encoder特点成本低、耗时短、准确率底成本高、耗时长、准确率高适用场景初步筛选精挑细选类似于简历的筛选召回≈简历初筛重排≈面试生成大模型根据用户问题和片段生成用户的答案整体流程