这项由印度理工学院海德拉巴分校计算机视觉与智能技术中心CVIT, IIIT Hyderabad完成的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.03738有兴趣深入了解的读者可通过该编号查询完整论文。当你向一个多模态AI助手提问图片里是什么水果顺便帮我算一道数学题AI是怎么完成这件事的它是同时盯着图片和文字还是先看图再看字在回答草莓的那一刻它的注意力是不是真的集中在图片上在切换到数学题之前它是不是回头重新读了一遍你的指令这些听起来像是在问一个人你做题的时候眼睛看哪儿的问题实际上在AI研究领域几乎没有人认真追问过。过去的研究更多关注模型内部的哪个零件负责什么——哪一层处理视觉信息哪些神经元对文字敏感——却很少有人关注在模型逐字生成回答的过程中注意力是如何随时间动态流转的。这正是这篇论文想要填补的空白。研究团队把这个新的分析视角命名为OTaT即One Token at a Time一次一个词。他们的核心主张是理解一个能飞翔的系统不能只解剖翅膀的结构还要观察它飞翔时翅膀如何运动。对多模态AI的理解亦然——不仅要知道哪里处理了什么更要知道什么时候处理了什么。一、谁在看图谁在看字——拆解AI的注意力地图要理解这项研究需要先了解多模态大模型是如何工作的。以Qwen2.5-VL和LLaVA-OneVision这两个主流模型家族为例一个这样的模型大致由三部分组成一个视觉编码器负责把图片压缩成一串数字向量一个对齐模块把这些视觉向量翻译成语言模型能读懂的语言最后是一个自回归语言模型负责逐字生成回答。自回归是理解这项研究的关键词。这意味着模型生成回答的方式和人类打字一样是一个字一个字往外蹦的而且每生成一个字都要把之前所有的上下文——包括图片、用户问题、已经生成的部分回答——通通再看一遍才能决定下一个字是什么。这个再看一遍的过程就是注意力机制在工作的时刻。研究团队设计了一种方法专门追踪每生成一个词的瞬间模型的注意力分别分配给了哪些内容。他们把整个输入上下文划分为几个有意义的语义块图片、文字比如数学题、指令比如先识别水果再答数学题、以及已经生成的那些词。然后对于每个正在被生成的词他们计算模型在所有层、所有注意力头上对各个语义块的平均注意力分数。这就像是在观察一位厨师在做菜的每个步骤中视线分别在菜谱、食材、炉火上各停留了多久。通过这种方式他们能够绘制出一张随时间动态变化的注意力地图。为了让不同样本、不同长度的回答之间能够横向比较团队还引入了一个聪明的归一化处理把每个语义块在所有时间步上的平均注意力值作为基准减掉这样剩下的就是相对于平均水平的偏差能更清晰地看出什么时候注意力异常集中。这就好比不问你今天喝了几杯水而是问你今天喝水比平时多了多少后者更能反映行为的变化规律。为了使数据集层面的分析有意义他们还设计了一套语义标注方案把生成的每个词按照在回答中的功能角色打上标签比如水果介绍词、水果概念词、任务切换词、数学答案词等等再把同一角色的所有词的注意力分数平均起来这样就能在整个数据集上做稳健的统计分析了。二、诊断实验室——Fruit-Math任务的设计哲学为了让注意力的分析不受无关因素干扰研究团队自己设计了一个叫做水果数学Fruit-Math的诊断任务。这个任务的设计思路相当精妙每道题包含一张水果图片和一道数学文字题两者之间完全没有关联。图片里的水果和数学题里的人物、物品毫无交集。这种强制解耦的设计是为了消除一个研究上的麻烦如果图片和文字内容有关联模型在生成苹果这个词的时候到底是因为看了图片还是因为文字里提到了苹果你根本分不清。把两者完全分开就像是把两种颜料分装在不同的瓶子里这样你才能准确知道画布上的颜色来自哪个瓶子。数据集共涵盖11种水果类别图片来自OpenImages数据集数学题来自GSM-8K两者随机配对。模型被要求按照固定格式回答图片中的水果是[水果名]。数学题的答案是[数字]。除了这个自制的诊断任务研究团队还在两个真实基准数据集上验证了他们的发现。一个是视觉空间推理任务VSR来自Mixed Signals基准这个任务给模型看一张图片同时提供一段与图片内容在空间关系上存在矛盾的文字描述要求模型同时识别图片中的空间关系和文字中的空间关系。另一个是ChartQA要求模型回答关于图表的两道问题。这两个任务都要求模型在一次回答中同时处理视觉和语言信息是对诊断结论的重要外部验证。三、注意力会择时而动——三个核心发现通过对四个不同规模的模型LLaVA-OneVision-0.5B、LLaVA-OneVision-7B、Qwen2.5-VL-3B、Qwen2.5-VL-7B的系统分析研究团队发现了三个跨模型、跨任务高度一致的规律。第一个规律是注意力在需要的时候才集中到对应的信息源上。在水果数学任务中当模型正在生成水果名称那个词比如草莓时对图片的注意力会明显攀升而在生成数学答案时对图片的注意力下降对文字数学题的注意力则显著升高。这个模式在所有四个模型上都成立无论模型大小、来自哪个家族都呈现出相同的规律。有一个细节特别有意思在归一化的注意力曲线中某些时间点的注意力峰值不是在生成该概念词的时刻而是在生成该词之后的下一步。这是因为模型的运作机制是把上一个词作为输入来生成这个词。所以当草莓这个词被生成后下一步的输入就是草莓而这个词本身与图片高度相关会触发更强的图片注意力——即使这一步生成的是句号或者EOS结束符。换句话说注意力同时受到当前要生成什么和上一个词是什么的双重影响。为了进一步确认这不是偶然现象研究团队做了一个逆序实验保持输入完全一样但把指令改成先答数学题再识别水果。结果非常干净注意力的峰值位置完全翻转——生成数学答案时看文字生成水果名时看图片。这说明模型确实是根据任务指令动态调度注意力的而不是随机或固定地分配注意力。第二个规律是每次任务切换前模型都会回头看一眼指令。在水果数学任务的注意力曲线中指令块的注意力出现了两次明显的峰值一次是在生成的最开始另一次是在完成水果识别、准备切换到数学题的交接时刻。ChartQA任务中也观察到了类似的模式在回答第一道问题结束后切换到第二道问题时对指令的注意力会明显增强。这就像是一个员工在做完第一项任务后抬起头重新看一眼工作单确认下一步该做什么。第三个规律是对已生成词的注意力随着生成进程持续递增。随着回答越来越长模型对自己已经生成的那些词投入的注意力越来越多。这在直觉上也说得通——当你已经写了一大段文字为了保持语言连贯、格式统一你确实需要不断回看自己写的内容。这三个规律在用于文字任务的纯语言模型上也得到了验证。研究团队用LLaVA-OneVision的基础语言模型Qwen2-7B测试了一个数学-体育文字任务同时回答一道数学题和识别一段体育文字描述对应的运动项目发现完全相同的注意力模式出现了。这意味着这种动态调度能力很可能是从基础语言模型中继承来的多模态训练只是在此基础上扩展了视觉处理的能力。四、拔掉插头实验——阻断注意力会发生什么发现规律是第一步证明这些规律真的重要是第二步。研究团队设计了一系列注意力阻断实验在模型生成某个特定词的时刻强行切断信息从某个语义块流向模型的通路然后观察模型的反应。阻断方式有两种。一种叫懒惰阻断只切断当前生成步骤中对某个块的直接注意力另一种叫彻底阻断不仅切断当前步骤还切断之前所有已生成词从该块获取信息的通路相当于从根源上切断信息流动。两种方式对比下来彻底阻断通常效果更明显但某些小模型对懒惰阻断的反应反而更剧烈原因后面会解释。第一组实验是在模型要生成水果名的时刻阻断图片信息。结果所有模型的水果识别准确率大幅下降。具体数字如下LLaVA-OneVision-0.5B在懒惰阻断后准确率从65.1%跌至6.4%彻底阻断后跌至31.1%LLaVA-OneVision-7B在懒惰阻断后跌至33.4%彻底阻断后跌至15.0%Qwen2.5-VL-3B和7B也有类似的大幅下降。作为对照如果在生成水果介绍词图片中的水果是这几个字阶段阻断图片信息准确率几乎不变甚至略有提升。这完美印证了之前的发现图片注意力对于生成水果名这一步至关重要但对于生成前面那些铺垫性的文字毫无影响。阻断之后模型的反应相当多样可以分为四类。小模型LLaVA-OneVision-0.5B表现出强烈的跨模态信息泄漏它会把数学题里出现的名词直接当成水果来输出比如数学题里有猫模型就说图片中的水果是猫数学题里有椅子模型就说水果是椅子甚至有出口C这样的短语也被输出成水果名——这种结果相当荒诞但也说明小模型在缺少图片信息的情况下会把注意力漂移到其他显著的文字内容上。大模型LLaVA-OneVision-7B则更多表现为语言先验它特别偏爱说苹果或香蕉因为这是语言模型见过最多的水果名称在没有图片信息的情况下它会凭经验猜测。Qwen2.5-VL-7B则主要表现为否认大量回答变成图片中没有水果或没有提供图片说明这个模型在训练中可能学会了在不确定时拒绝回答。还有一种相对罕见但特别有趣的行为在Qwen2.5-VL-3B中出现叫做自我修复模型会先说不是橙子是一个橙子的特写先否认再给出正确答案最终仍被评分系统计为正确。这说明较强的模型即使在某个时间步被阻断了信息后续生成中仍有机会补救。第二组实验是在任务切换时刻交接词阻断指令信息。结果水果识别完全不受影响但模型几乎完全停止回答数学问题。在LLaVA-OneVision-7B上数学答题率从83.9%骤降至0.2%在Qwen2.5-VL-3B上从84.2%降至1.2%。模型的回答在识别完水果之后就戛然而止不再有数学答案。这直接验证了第二个规律的功能重要性切换任务时回看指令不是可有可无的行为而是完成多任务回答不可缺少的步骤。第三组实验是全程阻断对已生成词的注意力。结果最为戏剧性LLaVA-OneVision-7B的水果答题率从93.8%暴跌至25.9%模型陷入重复循环不断生成图片中的水果……图片中的水果……图片中的水果……这样的死循环永远无法完成一个完整句子。Qwen2.5-VL系列在这组实验中表现出更强的鲁棒性答题率下降幅度相对较小但数学部分同样完全崩溃。这说明对已生成词的注意力是模型维持语言连贯性、按格式推进回答的记忆锚点一旦被切断模型就失去了前进的方向。还有一组实验作为对照全程阻断对im_start_0这个占位符的注意力结果模型表现不仅没有下降反而略有提升。这印证了归一化分析的结论——这个符号虽然原始注意力分数看起来很高但它本质上不携带有效信息阻断它反而减少了注意力资源浪费。五、精准助推——在对的时间推一把阻断实验证明了注意力的功能重要性。那么反过来如果模型的注意力分配本来就不对能不能通过人为加强正确的注意力来提升表现研究团队以视觉空间推理VSR任务为试验场。他们先分析了LLaVA-OneVision-7B在这个任务上为什么比Qwen2.5-VL-7B差很多21.3%对50.7%的综合准确率。注意力分析给出了清晰的答案在回答图片空间关系的时候LLaVA-OneVision-7B的注意力主要集中在文字上而不是图片上而Qwen2.5-VL-7B则正好相反在答图片部分时看图片答文字部分时看文字。这种注意力错位直接导致了性能差距。于是研究团队设计了一个简单的测试时干预在模型即将生成图片空间关系词的那一步人为放大对图片的注意力分数在即将生成文字空间关系词的那一步人为放大对文字的注意力分数。这个干预方式在技术上很简单对post-softmax的注意力张量进行乘法重加权然后重新归一化。具体来说把选定语义块的注意力分数乘以一个放大系数β然后让所有分数重新加和为1。实验时对所有层、所有注意力头同等施加这个干预不做任何针对特定层或特定头的精细化调整。效果相当显著。LLaVA-OneVision-7B的综合准确率从21.3%跃升至49.8%提升了28.5个百分点Qwen2.5-VL-3B从28.5%升至37.1%提升8.6个百分点Qwen2.5-VL-7B从50.7%升至53.4%提升2.7个百分点。作为反面对照研究团队还测试了全程放大图片注意力的策略——即不管模型当前在生成什么词都持续增强对图片的注意力。结果是一场灾难所有模型的准确率大幅下滑文字空间关系的准确率尤其惨烈LLaVA-OneVision-7B的文字部分从54.1%跌至12.9%Qwen2.5-VL-7B从81.4%跌至30.7%。这个对比非常清晰地说明注意力的调度必须是时间敏感的一刀切的干预不仅无效反而适得其反。在放大系数的调参实验中研究团队发现对LOV系列模型放大系数β在20到100之间的宽泛区间内综合准确率的波动不超过1.1个百分点显示出方法对超参数的低敏感性。当β极高时性能才开始逐渐下滑。这意味着这种干预方式在实际应用中无需精细调参具有相当的实用性。六、这一切在更大图景中意味着什么把上述所有发现放在一起这项研究描绘出一幅多模态大模型在生成回答时的动态工作图景模型并不是在整个生成过程中均匀地消化所有输入信息而是根据当前正在生成的内容动态调度注意力资源——需要图片时看图片需要文字时看文字需要搞清楚下一步做什么时看指令需要保持连贯时回看自己写过的内容。这种动态调度的能力在大模型中比小模型更加精准这与模型在各任务上的性能表现高度一致。注意力分配错位往往直接对应着任务性能的下降。反过来修正注意力分配可以在不做任何训练的情况下显著提升模型在多模态任务上的表现。此前的多模态可解释性研究主要关注静态的在哪里哪一层处理视觉特征哪些神经元对语言敏感哪些电路负责跨模态对齐。这项研究则补充了动态的什么时候注意力在整个生成过程中如何随语义角色的变化而流动。这两个维度就像是既了解心脏的解剖结构又了解血液的循环规律缺一不可。当然这项研究也存在一些坦诚承认的局限性。注意力分析需要在急切注意力模式下运行无法使用FlashAttention等优化实现这使得分析过程比正常推理慢得多也占用更多显存。研究目前只覆盖了视觉和语言两种模态音频等其他模态尚未探索。对于不同模型在阻断后表现出不同行为泄漏、否认、修复等的深层原因研究也尚未给出完整解释这可能与具体的训练数据和训练策略有关但追溯起来并不容易。说到底这项研究做的事情是给AI阅读时的眼球运动拍了一部纪录片。它告诉我们那些看起来流畅输出的文字背后是一套精心编排的注意力调度机制在每个词语被生成的瞬间模型都在做一次快速的看哪儿决策。这套机制大部分时候运作得相当合理但在模型较弱或任务较难时可能出现注意力错位——而我们现在已经知道这种错位是可以被检测、被纠正的。对于那些希望让AI助手在看图答题、图文结合任务上表现更好的人来说这无疑提供了一条不需要重新训练模型就能改善性能的新思路。QAQ1多模态大模型的注意力动态调度是什么意思A多模态大模型在逐字生成回答时不会始终均匀地关注图片、文字和指令而是根据当前正在生成的内容动态调整注意力分配。比如生成水果名称时模型对图片的注意力会明显升高生成数学答案时注意力则转移到文字数学题上。这种择时而动的注意力调度行为在多个不同规模和家族的模型上都被验证是普遍规律。Q2Fruit-Math任务为什么要把图片和数学题设计成完全无关的内容A这是为了消除实验中的混淆因素。如果图片内容和文字内容有关联研究者就无法判断模型生成某个词时到底是因为看了图片还是因为读了文字。通过强制让两者完全无关就能像分开两种颜料一样准确追踪每个词的生成究竟依赖了哪个信息来源从而得出干净可信的结论。Q3测试时注意力放大干预为什么不能全程增强图片注意力A全程增强图片注意力会破坏模型在生成文字相关内容时本该关注文字的自然调度。实验表明这种无差别干预反而导致性能大幅下滑尤其是文字部分的准确率崩溃。正确的做法是根据当前生成的词的语义角色在需要看图片时才增强图片注意力需要看文字时才增强文字注意力时间敏感的精准干预才能带来性能提升。
