AAAI 2026 | 蚂蚁虽小也能搬山:西南科大提出 AIDFusion 让轻量融合网络不再 “躺平”

发布时间:2026/7/9 3:23:10
AAAI 2026 | 蚂蚁虽小也能搬山:西南科大提出 AIDFusion 让轻量融合网络不再 “躺平” 学术速递 | AAAI 2026 Accepted Papers For Image Fusion 请选出你心中的最佳论文点击跳转阅读本文为 AAAI 2026 图像融合方向中最受读者欢迎论文投票排名第二名共计 28 票占比为 28.28%。导读红外和可见光图像融合的目的就是将红外图中的明显目标以及可见光图中的纹理细节合并到一幅图像里来。现有的方法一般都依靠更加复杂化的网络结构来提高性能但是本文认为网络越大并不意味着学习得越充分。在训练到中期以后的时候大部分模块的权重更新速度就会变得很慢了有的还会停止下来作者把这种情况叫做网络懒人。本文提出AIDFusion不再单纯堆叠复杂网络而是通过动态抑制网络惰性让轻量模型也能充分发挥融合能力。一句话理解AIDFusion 的核心不是把网络做大而是让轻量网络真正“动起来、学起来、用起来”。核心信息论文题目Revisiting Network Inertia: Dynamic Inertia Inhibition Coupled Multidimensional Periodicity for Infrared and Visible Image Fusion | 重审网络惯性动态惯性抑制耦合多维周期性用于红外与可见光图像融合作者Yufeng Chen、Yuan Sun、Hao Pan、Xujian Zhao、Jian Dai、Zhenwen Ren**、Xingfeng Li**单位西南科技大学、四川大学和西南自动化研究所代码https://github.com/YufengChen1113/AIDFusion发表AAAI 2026关键词红外和可见光融合、轻量化的网络结构、网络的惰性、多维度特征融合以及傅里叶卷积01 问题轻量级网络弱复杂的网络也会变得“懒惰”如图1 所示的网络惰性现象轻量网络计算量小但是表达能力差复杂的网络表达能力强但是会带来大量的参数和计算量在训练过程中后期会出现权重更新速度减慢的情况。即有很多网络虽然在训练中但是实际上已经处于“惰性状态”所以模型的潜力没有得到充分挖掘。关键矛盾图像融合除了要有一个好的网络之外在训练的过程中还要不断地进行有效的学习。图2 设计意图以及性能对比左边两种情况分别是普通的轻量级网络参数少、计算低但是表达能力差复杂的网络虽然强一些但是参数和计算量都很大在训练过程中容易出现“网络惰性”。本文的方法用到了DIILS和MMFM来使轻量网络里的每个模块一直有效地进行学习这就相当于蚂蚁虽然少但是很努力。右边的雷达图表示在MSRS数据集上AIDFusion的综合指标更优并且参数数量、GFLOPs和显存占用也较小说明了在性能和效率之间有一个更好的平衡。02 DIILS使网络在后期阶段仍然可以进行学习图3 AIDFusion 整体结构为了减小网络延迟的影响本文提出了动态惯性抑制学习方法。一般的方法只是对最后的结果进行监督在AIDFusion中加入了在各个解码层之后的预测分支使每一层都可以参与到监督当中来。但是多层监督不能一开始就全部加入进来否则会使得训练变得不稳定。所以本文采取了渐进的方式在前面阶段进行正常的训练在后面阶段逐渐增加更多的层次监督。一句话理解DIILS就是当网络快要“躺平”时候逐步给在各个层次上加入监督并把它们再激活起来。MMFM低预算实现多种方式融合图4 MMFM模块结构只让网络继续学习是不够的还要加强轻量网络的特征融合能力。本文提出MMFM 多维调制融合模块主要包括MPSA 多角度稀疏注意同时用H-W、H-C、W-C三种方式来建立模型并且捕捉到更加完整空间和通道的关系。MSRT 多尺度循环Transformer用较小的计算开销来获取不同尺度上的特征并且加强了红外和可见光之间相互补充的信息。一句话理解MMFM 并不是简单的把两种模态拼接在一起在轻量化的前提下使网络能够从多方面去理解这两种图像应该如何融合。04 FAConv利用周期性先验来帮助恢复图5 普通卷积和FAConv比较本文还提出FAConv 傅里叶分析卷积在解码过程中加入Sine和Cosine周期函数来利用周期性进行特征恢复。普通的卷积可以看作是局部映射但是FAConv给网络加入了一个明显的周期性建模先验使得融合后的特征被还原成最终图像的过程更加有效。一句话理解FAConv 采用傅里叶周期性特征来辅助解码器快速稳定地还原出融合后的图像。05 实验效果很好计算量也很小图6 定性比较的结果表 1 MSRS 数据集上量化的比较结果表 2 在M3FD、FMB两个数据集上进行量化的比较结果论文在MSRS、M3FD、FMB在三个公开的数据集上做实验并和SwinFusion、LRRNet、CDDFuse、DATFuse、CrossFuse、EMMA、SAGE、GIFNet等方法比较一下。在MSRS数据集上AIDFusion在CC、SCD、MS-SSIM得到最好的结果在SSIM得到次好的结果。而且它的体积很小参数为 0.247MGFLOPS: 1.85内存占用为 0.83G与之相比SwinFusion 是 118.53GFLOPs、CDDFuse 是 220.92GFLOPs但是 AIDFusion 只有 1.85GFLOPs。一句话理解AIDFusion 优势并不是通过增加计算量来实现的在很小的成本之下就得到了很好的融合效果。06 消融三部分均有效图7 消融实验定性结果表3 消融实验量化的结果消融实验证明在去掉DIILS、MMFM或者FAConv之后模型的表现都变差了。其中DIILS 用来减小网络的惰性MMFM 用来加强跨模态交互的效果FAConv 用来提高解码和还原的能力。一句话理解DIILS使网络继续学习MMFM使网络学习更加全面FAConv使得结果恢复得更好。07 一句话总结AIDFusion 的主要贡献并不是提出了一个更大型的融合网络而是在于从“网络利用率”的角度来解决轻量网络在训练过程中后期会变得“懒惰”的问题。它通过抑制网络惰性的DILS通过MMFM加强了多种模式下的融合再通过FAConv 采用周期性恢复先验最后实现了一个比较好的性能和效率之间的平衡。要记住的是轻量级模型并不一定差主要看有没有把网络的优势发挥出来。对图像融合的研究有帮助未来的方法不一定要用到更大的模型上在训练动态、网络利用效率以及轻量化模块的设计方面也存在新的突破点。END往期推荐