在信息检索系统中召回Recall和排序Ranking是两个核心环节。初检如向量相似度搜索或全文匹配通常能快速筛选出大量候选文档但往往因为模型简单相关性排序不够精细。重排序Reranking——使用更强大、计算成本更高的模型对初检结果进行重新评分和排序从而将最相关的文档推到最前面。RedisVL 提供了三种现成的重排序器分别基于 HuggingFace 的交叉编码器、Cohere 的 Rerank API 和 VoyageAI 的 Rerank API。前置准备安装 RedisVLpip install redisvl有一个正在运行的 Redis 实例Redis 8 或 Redis Cloud如需使用 Cohere 或 VoyageAI请准备好对应的 API Key本文的要点理解重排序的工作原理及其在检索流程中的位置使用 HuggingFace 交叉编码器对文档进行重排序通过 Cohere Rerank API 提升搜索结果质量通过 VoyageAI Rerank API 实现重排序控制重排序后返回的结果数量limit处理包含元数据的半结构化文档重排序的基本原理为了理解重排序我们先区分两种常见的检索模型模型类型代表方法特点双编码器向量检索如 Sentence-BERTquery 和 document 分别编码然后计算相似度如余弦。速度快适合大规模初筛但独立编码无法捕捉细粒度交互。交叉编码器重排序模型如 Cross-Encoder将 query 和 document 拼接后一起输入 Transformer通过注意力机制充分交互。精度高但计算量大只适合对小规模候选集如 1001000 条进行重新打分。重排序的典型流程如下用户查询初检阶段获得 N 个候选文档重排序阶段交叉编码器逐对打分按新分数重新排序返回 Top-K 最相关结果初检使用低成本模型如向量索引快速召回前 N 个如 100 个候选。重排序使用高精度交叉编码器对这 N 个候选逐一计算与 query 的相关性分数。截断根据新分数重新排序并只保留前 K 个K ≤ N作为最终结果。这种两阶段设计在保证精度的同时兼顾了效率是工业级搜索系统的常见架构。示例数据我们使用以下查询和文档进行演示queryWhat is the capital of the United States?docs[Carson City is the capital city of the American state of Nevada...,The Commonwealth of the Northern Mariana Islands...its capital is Saipan.,Charlotte Amalie is the capital and largest city of the United States Virgin Islands...,Washington, D.C. ... is the capital of the United States...,Capital punishment (the death penalty) has existed in the United States...]显然最相关的应该是华盛顿那段但其他段落也提到了“capital”初检时可能会混淆。重排序能有效提升正确文档的排名。一、使用 HuggingFace 交叉编码器重排序HuggingFace 提供了大量预训练的交叉编码器模型例如cross-encoder/ms-marco-MiniLM-L-6-v2和BAAI/bge-reranker-base。这些模型专为排序任务微调且可以完全离线运行。初始化fromredisvl.utils.rerankimportHFCrossEncoderReranker# 使用 BGE 重排序模型效果更优但模型较大rerankerHFCrossEncoderReranker(BAAI/bge-reranker-base)# 若未指定模型默认使用轻量级的 cross-encoder/ms-marco-MiniLM-L-6-v2执行重排序results,scoresreranker.rank(queryquery,docsdocs)fordoc,scoreinzip(results,scores):print(f{score:.4f}--{doc[:80]}...)输出示例中华盛顿段落的分数最高接近 0.08实际分数取决于模型其他段落的分数明显更低。排序后最相关的文档会出现在最前面。原理解析交叉编码器将 query 和每个 document 拼接成[CLS] query [SEP] document [SEP]输入模型通过全连接层输出一个相关性分数通常是 logit。因为需要逐个文档计算所以耗时与候选数量成正比但精度远超向量相似度。二、使用 Cohere Rerank APICohere 提供了专门的 Rerank 端点你只需传入 query 和文档列表API 会返回每个文档的相关性分数0~1 之间。这省去了自己部署模型的麻烦且模型持续更新。安装与初始化pipinstallcohereimportosimportgetpassfromredisvl.utils.rerankimportCohereReranker api_keyos.environ.get(COHERE_API_KEY)orgetpass.getpass(Enter your Cohere API key: )# limit3 表示重排序后只返回最相关的 3 个结果rerankerCohereReranker(limit3,api_config{api_key:api_key})执行重排序results,scoresreranker.rank(queryquery,docsdocs)fordoc,scoreinzip(results,scores):print(f{score:.4f}--{doc[:80]}...)Cohere 返回的分数是归一化的0~1华盛顿段落通常得分接近 1.0其他则低很多。limit参数直接控制了返回的文档数量减少下游处理量。三、使用 VoyageAI Rerank APIVoyageAI 也提供高性能的重排序 API如rerank-lite-1用法与 Cohere 类似。安装与初始化pipinstallvoyageaifromredisvl.utils.rerankimportVoyageAIReranker api_keyos.environ.get(VOYAGE_API_KEY)orgetpass.getpass(Enter your VoyageAI API key: )rerankerVoyageAIReranker(modelrerank-lite-1,# 可选模型请查阅文档limit3,api_config{api_key:api_key})执行重排序results,scoresreranker.rank(queryquery,docsdocs)VoyageAI 同样返回相关性分数0~1排序结果与其他方法一致。处理半结构化文档现实中的搜索结果往往包含额外元数据如来源、标题、时间戳等。重排序时我们可能希望模型综合考虑这些字段。RedisVL 允许你指定rank_by参数指示从文档的哪些字段中提取文本进行相关性计算。# 文档现在是字典包含多个字段docs_with_meta[{source:wiki,passage:Carson City is ...},{source:encyclopedia,passage:The Commonwealth ...},# ...]# 指定使用 passage 和 source 字段拼接后用于重排序results,scorescohere_reranker.rank(queryquery,docsdocs_with_meta,rank_by[passage,source]# 按顺序拼接这些字段)# 结果仍然返回完整的文档字典fordoc,scoreinzip(results,scores):print(f{score:.4f}--{doc[source]}:{doc[passage][:50]}...)rank_by字段会被拼接成一个长字符串作为交叉编码器的输入。这让你可以灵活地利用文档中丰富的上下文信息而不仅仅是正文。重排序的最佳实践候选集大小初检返回的候选数量如 1001000与重排序的计算成本直接相关。建议根据你的延迟要求和模型性能调整。模型选择离线场景使用 HuggingFace 交叉编码器注意模型大小和推理速度。在线服务Cohere 和 VoyageAI 提供 API无需 GPU但需要网络和费用。结合向量检索典型做法是用向量检索先召回 Top-100再用重排序取 Top-5 或 Top-10兼顾召回率和精准率。异步与批处理Cohere 和 VoyageAI 支持批量重排序可一次性处理多个 query提高吞吐量。缓存重排序结果对于高频查询可将重排序结果缓存如使用 Redis 本身避免重复计算。总结重排序器特点适用场景HuggingFace Cross-Encoder离线免费可定制模型本地运行对数据隐私敏感、有 GPU 资源Cohere Rerank API云端 API无需 GPU更新及时快速集成愿意付费VoyageAI Rerank API类似 Cohere模型针对检索优化需要多样化供应商选择通过 RedisVL 的统一接口你可以轻松在这三者之间切换让搜索结果的相关性迈上一个新台阶。
