noteReasoner读取 Query生成面向检索的 T-CoT可追溯证据推理文本提取关键词、图片定位 bbox、视频选择关键帧Embedder输入原始内容 T-CoT 关键区域/关键帧输出最终 embedding仍然用 InfoNCE 对比学习让正样本更近、负样本更远它没有直接用 RL 改 embedding而是用 GRPO 优化 Reasoner让其生成的 T-CoT 真正有助于检索。奖励包括格式奖励是否按 thinking → rethink → answer 输出过程奖励Query 和正样本的推理证据是否匹配结果奖励加入这段推理后正样本是否排得更高并与负样本拉开距离冻结 Embedder让 Embedder 充当奖励模型反过来指导 Reasoner 学会生成更有利于 embedding 的推理。测试的benchmark UVRB 把任务分成三类TXT文本 → 视频CMP文本图片等组合 Query → 视频VIS纯视觉 Query → 视频其中包含 MSRVTT-I2V图片检索视频I2V、LoVR-C2V文章目录note一、研究动机二、Embed-RL嵌入器引导的强化学习EG-RL框架可追溯思维链T-CoT高效训练与数据构建三、实验结果MMEB-V2 综合表现UVRB 视频检索表现消融实验验证必要性四、分析与讨论一、研究动机Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal EmbeddingsECCV 2026这篇论文《Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings》arXiv:2602.13823由清华大学深圳国际研究生院与快手科技Kling团队提出聚焦于用强化学习优化推理驱动的多模态嵌入。当前通用多模态嵌入UME依赖多模态大语言模型MLLM的生成式思维链CoT来提升表征但存在明显短板推理与检索脱节现有CoT多局限于对查询的文本分析未结合目标检索需求易引入噪声甚至幻觉无法充分利用MLLM处理图像、视频等多模态信号的潜力。目标冲突与梯度干扰同时优化生成式推理next-token prediction与判别式嵌入contrastive loss会导致梯度冲突性能受限已有解耦范式如TTE的推理器未与嵌入器联合对齐推理轨迹与检索任务不匹配。细粒度与泛化不足纯文本推理难以捕捉视觉空间线索、视频时序信号跨模态语义一致性弱在复杂场景泛化能力差。二、Embed-RL论文提出Embed-RL框架核心是嵌入器引导的强化学习EG-RL可追溯思维链T-CoT的解耦设计主要包含三点创新嵌入器引导的强化学习EG-RL框架解耦设计将系统分为推理器Reasoner与嵌入器Embedder。先以InfoNCE对比损失充分训练并冻结嵌入器再用嵌入器作为稳定奖励模型通过GRPO算法优化推理器生成与检索对齐的CoT避免生成与嵌入目标冲突。双奖励机制设计三重奖励函数格式奖励确保T-CoT遵循thinking→rethink→answer结构化模板包含多模态线索结果奖励基于嵌入器计算的检索准确率与正负样本相似度间隔衡量CoT对嵌入对齐的提升过程奖励用独立预训练VLM判别器对齐查询与目标的T-CoT逻辑保证推理过程一致。可追溯思维链T-CoT突破纯文本推理限制T-CoT结构化提取多模态关键线索thinking提取文本关键词text_keywords、图像2D边界框bbox_2d、视频关键帧key_framesrethink精炼推理逻辑聚焦检索相关要素answer总结核心检索信息。T-CoT与原始输入拼接后送入嵌入器并基于边界框/关键帧裁剪多模态内容过滤冗余增强细粒度对齐。高效训练与数据构建构建182万高质量多模态数据集图像/视频/视觉文档经T-CoT标注与相关性过滤保留率约80%20%过滤难例用于RL探索嵌入器用Qwen3-VL-2B/4B对比训练推理器用Qwen3-VL-8B经GRPO微调计算资源显著低于同类方法如TTE批次8192本文仅256–512。三、实验结果在MMEB-V278项图文/视频/视觉文档任务与UVRB16项视频检索任务基准上验证效果MMEB-V2 综合表现Embed-RL-4B总体得分68.1超越最强基线UME-R1-7B64.53.6分Embed-RL-2B得66.8同样优于所有基线。细分模态图像指代定位GD达91.44B/90.42B视频总体52.1/53.0视觉文档域外OOD达67.1/65.7显著优于此前方法。UVRB 视频检索表现粗粒度CG检索4B60.7、2B 59.1细粒度FG4B55.6长上下文LC2B86.9均居SOTA。平均R1指标上Embed-RL-4B达60.2、2B达58.7优于GVE-7B57.3、Unite-7B53.8等大模型。消融实验验证必要性移除EG-RL阶段总体得分从66.8降至65.3↓1.5移除过程奖励/结果奖励分别降0.8/1.0分视频任务受影响更显著移除T-CoT仅用原始输入得分骤降至60.2↓6.6视频从52.1降至43.7证明T-CoT对细粒度对齐至关重要移除多模态线索边界框/关键帧降1.0分验证多模态证据的价值。四、分析与讨论优势解耦设计规避梯度冲突嵌入器引导的RL让推理轨迹检索导向化T-CoT引入空间/时序多模态证据提升细粒度匹配与OOD泛化CoT可离线生成、向量缓存推理延迟低适合工业部署。局限奖励权重系数靠经验设定无自适应优化部分分类任务因负样本噪声被排除分类性能偏弱未引入难负样本挖掘与课程学习仍有提升空间。启示证明定向推理优化检索对齐能显著提升多模态嵌入质量为推理驱动的通用多模态嵌入提供了可落地路径也可扩展到RAG、推荐系统等下游场景。
