结构感知微调：VLM奖励模型摆脱表面打分的关键

做过多模态模型训练的人大概都有过这种感受模型在指令微调阶段看起来什么都会一点可一旦放到真实场景里去用不是答非所问就是把图里的关键信息无视掉。于是大家开始把目光从有监督微调SFT转向强化学习对齐而对齐链路上一个经常被低估的组件——VLM 的奖励模型reward model往往决定了整个流程能不能收敛、会不会越学越偏。最近我关注比较多的一类工作是给 VLM 奖励模型做结构感知微调structure-aware fine-tuning。这个术语听起来像论文里的概念黑话但它真正想解决的问题其实很具体奖励模型在判断这段回答好不好的时候不应该只看表面文字是否流畅还应该看到图像里有什么、回答有没有忠实于图像内容、推理步骤合不合理。如果奖励模型看不到这些结构那么用它去引导语言模型最后训练出来的 VLM 很容易学会正确的废话而不是真正的视觉理解能力。这篇文章我会尽量把一个研究题目拆成工程语言来写先说清楚奖励模型为什么会变成 VLM 对齐的瓶颈再拆解结构感知微调到底在做什么然后给出从实验设计到落地验证的完整链路。如果你也在做多模态模型的对齐、数据构建或者只是好奇强化学习阶段到底在优化什么这篇文章应该能帮你节省不少试错时间。1. 奖励模型为什么成了 VLM 对齐的隐形瓶颈1.1 对齐链条里的那个裁判角色先回到强化学习对齐的基本链条。现在训练一个多模态模型通常不是只做预训练加指令微调就结束而是会考虑让模型的输出更符合人类偏好。做法一般是训练一个奖励模型让它对模型的输出打分再用这个分数作为强化学习的优化信号一步步引导策略模型往高分方向更新。在纯文本场景里这套机制已经被验证过很多次。奖励模型可以近似理解成批改作业的老师输入一段问题和一段回答输出一个分数分数越高说明回答越符合偏好标准。到了 VLM 场景事情复杂了很多。因为输入变成了图像加文本输出也是文本奖励模型需要判断的不只是这句话通不通顺还包括这句话有没有准确描述图片里的物体回答里的结论是否由图像证据支撑如果要求分步骤推理步骤之间有没有逻辑断裂回答是否避开了与问题无关的干扰区域。这里的核心难点在于视觉信息不是天然的文本序列模型需要理解图像结构、物体关系、空间位置、图文对应关系而这些都很难用一条简单的打分规则去刻画。1.2 表面打分为什么会失效如果你去看早期不少多模态奖励模型的做法会发现很多是从文本奖励模型直接改过来的用图像编码器提取视觉特征拼上文本特征最后过一个回归头输出标量分数。在简单场景下这种做法确实能跑通。但任务稍微复杂一点问题就暴露了奖励模型可能因为训练数据里存在偏置学到了一些表面信号。举一个很常见的例子。训练数据里高分回答往往更长、包含更多专业术语低分回答往往更短、更随意。奖励模型经过拟合会倾向于给长得像高分的回答打高分而不去真正检查回答内容是否和图片吻合。这种情况在领域任务里尤其明显因为文本表面特征和分数的相关性很高模型不费力就能把训练集损失降下去但到了真正打分时判断力非常弱。再举个例子。图像里经常有大量和问题无关的区域比如一张街景照片里既有行人又有路牌但问题问的是路牌上的字。如果奖励模型没有学会关注问题所涉及的局部区域它就可能被整张图的整体信息带偏给一个完全忽略路牌的回答打了高分。表面打分失效的本质原因不是模型容量不够而是监督信号里没有把结构这个维度显式地放进去。模型当然可以靠自己从数据里隐式学习一部分结构但在多模态场景下这个结构太复杂纯粹靠隐式学习样本效率和泛化能力都不够。1.3 从拟合分数到理解结构所以结构感知微调这个方向的出现本质上是对奖励模型做了一次方法论层面的升级不再把奖励模型当作一个黑盒打分器来拟合而是主动设计训练目标让模型在训练过程中学会关注那些对判断真正有用的结构信息——图像里的显著区域、文本里的关键实体、回答和图像之间的对应关系、推理步骤之间的依赖链条。这个转变相当于把奖励模型从只知道高低分的裁判变成能追溯为什么高分的裁判。一旦裁判能理解结构它打出的分数才更有信息量下游模型也才可能学到真正可泛化的行为。2. 结构感知微调到底在微调什么2.1 结构的三层含义通常提到结构感知很多人第一反应是给模型加一个注意力机制。其实这里说的结构更多是指数据本身蕴含的组织关系。在多模态任务里常见的结构至少有三层第一层是图像内的视觉结构。图像不是一堆像素的随机排列它包含物体、区域、空间关系、层次关系。例如桌子上有一杯咖啡涉及物体桌子、咖啡杯和空间关系在……上面。奖励模型如果忽略这些关系就无法判断回答里描述的物体位置是否和图中一致。第二层是图文之间的对齐结构。文本里的每个实体或描述都应当能在图像中找到对应区域。图中的猫是什么颜色这个问题的答案必须指向图像里猫的局部区域而不是画面背景。这种一一对应关系是判断回答是否忠实于视觉输入的基础。第三层是回答内部的结构。很多任务要求模型分步骤推理比如先描述整体场景再说明细节最后给出结论。每一步都有逻辑依赖如果推理链条断裂哪怕最终结论碰巧正确这份回答也不应该是高分。2.2 结构感知微调的核心机制明白了结构是什么再来看结构感知微调怎么把结构注入训练过程。一个典型的做法是在奖励模型的训练过程中不只用最终分数作为监督信号还把结构信息作为辅助监督信号。具体来说可以把这个过程拆成几个部分用视觉编码器提取图像中的区域特征并使用目标检测或区域标注数据让模型知道哪块区域对应哪个语义概念用文本编码器解析回答中的实体和关键短语建立文本到图像区域的注意力映射在打分头之外增加辅助预测头例如区域对齐预测头、关系预测头、推理步骤一致性预测头最终损失由打分损失和辅助结构损失共同组成。用伪代码表示这种常见的训练结构大概长这样# 示例结构结构感知奖励模型的前向与损失计算 def structure_aware_forward(image_features, text_features, structure_labels): # 基础打分分支 score reward_head(concat(image_features, text_features)) # 辅助结构分支区域对齐预测 region_logits region_alignment_head(image_features, text_features) # 辅助结构分支推理步骤一致性预测 step_logits step_consistency_head(text_features) # 打分损失 辅助结构损失的加权组合 loss score_loss(score, human_scores) loss lambda_1 * region_loss(region_logits, structure_labels[region]) loss lambda_2 * step_loss(step_logits, structure_labels[steps]) return score, loss注意这只是一个通用示例结构不同工作的具体实现差别会很大。有的做法会把结构约束放进注意力矩阵有的会通过对比学习拉近正确图文对、推远错误图文对。但共同点是一致的让奖励模型在打分的同时被迫学会理解结构而不是只拟合分数。2.3 和普通微调的本质差异普通微调奖励模型优化的是一条单一目标函数让预测分数逼近人类标注分数。它的隐含假设是人类标注分数里已经包含了一切判断信息。但现实是人类标注分数是很稀疏的监督信号一个 1 到 5 的分值无法覆盖所有对错维度而且标注者之间还可能有主观差异。结构感知微调相当于把分数背后的理由也拆解成了可学习的监督信号。这样做最直接的好处是模型在每个样本上获得的信息量更大不会只盯着分数高低辅助结构任务天然具有正则化效果减少表面偏置带来的过拟合分数具有更强的可解释性模型更容易知道扣分是因为没看图还是因为逻辑断了。当然代价也很明显数据标注成本上升、训练流程变复杂、多目标之间可能需要调权重。这些我在后面会细说。3. 结构感知奖励模型的实验与评估怎么设计3.1 数据侧结构标注从哪里来如果要在自己的数据集上复现或验证这类方法第一个逃不开的问题是结构标注从哪来一个现实的路径是分层做。对于已经有人类偏好标注的数据可以额外补充结构标注。常用思路包括利用现成的目标检测或分割模型自动生成图像区域标签再把这些区域标签和问题、回答中的关键实体做匹配利用大语言模型对回答做 step-by-step 拆解标注推理步骤及其依赖关系人工抽检修正保证自动标注的可靠性。这里要特别提醒一个容易被低估的问题自动标注是有噪声的。目标检测模型本身可能有漏检和误检大语言模型拆解推理步骤也可能拆错。如果结构标注质量太差辅助监督信号不但不会帮助奖励模型反而会把模型带偏。根据这类任务的常见实践经验建议在自动标注后至少做一轮人工抽检统计结构标注的准确率。如果准确率低于某个可接受阈值就要考虑调标注策略而不是直接用。3.2 评测侧不只看最终分数评估结构感知奖励模型最大的陷阱是只看打分准确率这个单一指标。打分准确率只能说明模型在训练分布上的表现接近人类评分并不能说明模型真的学会了结构。更合理的评估至少应该包含三个维度第一偏序准确性。给定两份回答模型能否判断出哪一份更好这个指标比绝对分数回归更贴近实际使用场景因为在强化学习里奖励模型真正需要做的往往是排序而不是给绝对分。第二结构敏感度。故意构造一些包含表面高分、实际错误的负样本比如答案语言流畅但在物体颜色、位置关系上有明显错误看模型会不会扣分。这个指标能直接检验结构感知是否真的起作用。第三下游对齐效果。用训练好的奖励模型去跑一轮强化学习看策略模型生成的回答是否在人工评估中有提升。这一步成本最高但是也是真正能证明奖励模型价值的环节。3.3 基线对照要对比什么实验设计里一个常见的误区是把结构感知奖励模型只和随机初始化或无奖励模型对比这是不够的。至少要设置这几组基线普通偏好微调的奖励模型不引入任何结构信息用更大规模数据训练的奖励模型用来对比结构感知方法是否在样本量有限时更有优势引入结构信息但去掉辅助损失只靠数据增强等方法用来判断结构感知方法里哪些增益来自辅助任务哪些来自额外的结构信息本身。只有把这几组基线控制好才能回答结构感知微调到底比普通微调强在哪里。否则即使实验显示效果提升也可能是其他因素带来的而不是结构感知的功劳。4. 把结构感知思路落地到真实工作的三步路径4.1 第一步先梳理你任务里的结构是什么很多人在尝试这类方法时第一反应是直接找代码、改模型。但更稳妥的做法是先停下来想清楚你的任务里什么样的结构是判断答案好坏的必要信息。比如你做的任务是图像描述生成那么结构信息主要是图文对齐也就是描述中的名词短语是否能对应图像中的物体区域。又比如你做的是图表问答那么结构信息还包括表格里的行列关系、坐标轴含义、数据趋势。再比如你做的是视觉推理那么回答内部的推理步骤结构就非常重要。一个实用的梳理方法是拿到 20 条失败样本找 2 到 3 个人分别分析为什么这个回答应该被扣分然后把扣分原因归类。如果大多数原因都能归到某几类结构上那这几类结构就是值得建模的。如果失败原因五花八门很难形成一致的结构性解释那就说明当前任务可能不适合引入结构感知微调。4.2 第二步选择结构注入方式梳理清楚结构之后再考虑怎么把结构注入到训练流程里。有三条路径可以参考辅助损失方式添加额外的结构预测头和打分头联合训练。改动较小适合快速验证。输入增强方式把结构信息例如检测到的区域框、实体关系三元组拼接到模型输入里让模型在打分时可以直接参考。更直观但需要提前准备好结构特征。对比学习方式构造正负图文对让模型学会把正确的图文匹配关系与其他关系区分开。适合数据多样性较高、但结构标注不完全精确的场景。从工程经验上看可以先从辅助损失方式入手因为它的侵入性小保留原模型的其他能力。如果效果不够再叠加输入增强。不要一上来就所有招都上否则出了问题很难定位。4.3 第三步小规模验证再逐步扩展这类方法的验证路径最好遵守先小后大的原则。我一般建议这样推进先准备 1000 到 2000 条高置信度的结构标注数据用小模型跑通整个训练和评估流程检查结构辅助任务是否收敛确认它不是学了但没用用 10 到 20 条人工构造的表面高分、实际错误样本测试奖励模型的敏感度如果结构敏感度提升明显再扩大数据规模进入正式训练。一定不要跳过第二步。结构辅助任务是很容易出现损失下降但没有实际贡献的情况的。如果辅助头在训练集上损失低了但在构造样本上依然给错误答案高分那说明结构信息并没有真正影响打分决策。关于辅助损失的权重常见做法是给一个小权重例如 0.1 到 0.5 之间的系数然后通过验证集调优。权重如果过大会让奖励模型过度关注结构预测而忽视最终打分质量过小则结构信号起不了作用。5. 适用边界和那些容易踩的坑5.1 什么时候结构感知并不划算先给一个明确的判断结构感知微调不是万能的也不适合所有 VLM 任务。以下情况里它的收益可能会很低任务本身对结构不敏感。比如只需要判断这段描述是否语气友好不涉及视觉细节这时候引入结构感知属于过度设计。结构标注成本过高且无法自动化。如果你的任务结构非常复杂人工标注成本远超收益那不如直接在数据量和模型容量上下功夫。已有打分和结构高度一致。比如数据里的低分回答大多数都是语义完全不搭边普通奖励模型已经能轻松学对增加结构信息带来的增益有限。5.2 结构标注噪声是最大隐患结构感知微调最大的坑不是模型调参而是结构标注的噪声问题。设想一种情况自动检测模型把图里的猫漏检了于是结构标注显示图像中没有猫而回答里写了图中有一只猫。奖励模型看到这个样本会学习到提到不存在的物体应该扣分——但这是一个错误的结构约束因为猫确实存在只是漏检了。长期累积下来这类错误信号会削弱奖励模型对真实视觉内容的信任甚至让模型变得保守宁可少描述细节也不冒被扣分的风险。这正好和奖励模型的目标背道而驰。缓解方式主要有两种一是对低置信度的自动标注做过滤拿不准的样本不加入训练二是通过多模型投票来生成结构标注降低单模型偏差。5.3 过拟合结构本身也是一种风险还有一个容易被忽略的问题奖励模型可能过拟合结构标签而不是真正理解结构。比如某个数据集中所有推理步骤完整的回答都恰好比较长模型学到的是长回答推理更完整而不是真正学会检查步骤之间的逻辑。当遇到一个逻辑断裂但文本较长的回答时模型依然会打高分。所以在处理这类问题时需要额外构造结构正确但表面一般和表面很好但结构错误这两类对抗样本放进验证集里定期测试。只有当模型能对这两类样本都做出正确判断时才能说结构感知真正产生了效果。6. 一个可复用的判断框架要不要采用结构感知微调如果你在读到这里时正在犹豫自己的项目要不要走这个方向可以按下面这张表做一个快速判断判断维度适合采用结构感知不建议采用任务核心判断是否需要理解视觉细节是必须结合图像区域才能判断对错否只看文本风格就能判断结构类型是否清晰可定义明确比如物体关系、空间位置、步骤依赖模糊难以用规则或标签界定是否有自动化结构标注手段有检测/分割/大语言模型可辅助完全依赖人工成本极高现有奖励模型的主要问题表面偏置强、误导下游模型分数本身已足够准确团队是否有足够调试时间有愿意做多轮标注抽检和调优需要快速上线时间紧迫这个框架的核心逻辑只有一句话结构感知微调的价值取决于你的任务里是否存在可定义、可标注、必要的结构信息。三者缺一不可。如果判断结果是适合再从辅助损失方式起步做小规模验证逐步扩大如果判断结果是不适合也不用觉得可惜老老实实把偏好数据质量做好、把普通奖励模型的数据多样性做上去效果往往就已经比盲目上复杂度要好。奖励模型这个东西最容易犯的错误就是把它当成一个简单的回归器来训练。而结构感知微调提醒了我们一件事在 VLM 对齐里模型真正需要学习的不是打分的规律而是判断的根据。谁先把这个观念转过来谁后续训练出的模型才更值得在真实场景里被使用。如果你接下来要做实验我的建议是先不要急着复现完整论文而是拿你手上最典型的失败样本试着把失败原因拆成结构标签。这一步做完你对这个方向适不适合自己心里应该就有答案了。