相关驱动的双分支特征分解多模态图像融合一、摘要多模态Multi-modalityMM图像融合的目的是使融合后的图像保持不同模态的优点功能亮点和细节纹理。为了解决建模跨模态特征和分解期望的模态特定和模态共享特征的挑战我们提出了一种新的相关驱动特征分解融合CDDFuse网络用于端到端MM特征分解和图像融合。在两阶段架构的第一阶段中CDDFuse使用Restormer块来提取跨模态浅层特征。然后我们引入了一个双分支Transformer-CNN特征提取器其中Lite TransformerLT块利用远程注意力来处理低频全局特征而Invertible Neural NetworksINN块专注于提取高频局部信息。在嵌入语义信息的基础上低频特征应该相关而高频特征应该不相关。因此我们提出了一个相关驱动的损失更好的特征分解。在第二阶段基于LT的全局融合和基于INN的局部融合层输出融合图像。实验结果表明CDDFuse算法在红外-可见光图像融合和医学图像融合等多种融合任务中取得了良好的融合效果.在一个统一的基准测试中CDDFuse还可以提高下游红外-可见光语义分割和目标检测的性能。二、存在的问题1、CNN的内部工作机制难以控制和解释导致跨模态特征提取不足。例如在图1a中I和II中的共享编码器无法区分特定于模态的特征而III中的私有编码器忽略模态共享的特征。2、上下文无关的CNN结构只能在相对较小的感受野中提取局部信息这很难处理全局信息提取以生成高质量的融合图像[31]。因此目前还不清楚CNN的归纳偏差是否足以提取所有输入模态的特征。3、融合网络的前向传播通常会导致高频信息的丢失[3874]。三、主要贡献1、我们提出了一个双分支Transformer-CNN框架来提取和融合全局和局部特征它更好地反映了高频/低频特征中包含的不同语义信息。2、我们改进了CNN和Transformer块以便更好地适应MMIF任务。具体来说我们是第一个利用INN块的无损信息传输和LT块的权衡融合质量和计算成本。3、我们提出了一个相关性驱动的分解损失函数来执行模态共享/特定特征分解这使得跨模态的基本特征相关而在不同的模态详细的高频特征去相关。4、我们的方法实现了领先的图像融合性能IVF和MIF。我们还提出了一个统一的测量基准以证明IVF融合图像如何促进下游MM对象检测和语义分割任务。四、方法在本节中我们首先介绍了CDDFuse的工作流程和各个模块的详细结构。为了简单起见在下面的讨论中我们将低频长范围特征表示为基本特征将高频局部特征表示为细节特征。1、回顾我们的CDDFuse包含四个模块即用于特征提取和分解的双分支编码器用于重建原始图像在训练阶段I中或生成融合图像在训练阶段II中的解码器以及分别用于融合不同频率特征的基础/细节融合层。详细的工作流程如图2所示。请注意CDDFuse是一个通用的多模态图像融合网络我们仅以IVF任务为例来解释CDDFuse的工作原理。2、编码器该编码器有三个组件基于Restormer块[66]的共享特征编码器SFE基于Lite TransformerLT块[57]的基本Transformer编码器BTE和基于可逆神经网络INN块[12]的详细CNN编码器DCE。BTE和DCE共同构成长短程编码器。首先我们定义了一些符号以使表述清楚。输入的成对红外和可见光图像表示为和。SFE、BTE和DCE分别由S·、B·和D·表示。1、共享功能编码器SFE的目标是从红外和可见光输入{IV}中提取浅层特征即我们在SFE中选择Restormer块的原因是Restormer可以通过在特征维度上应用自注意力来从高分辨率输入图像中提取全局特征[67]。因此该方法可以在不增加太多计算量的情况下提取跨模态浅层特征。我们使用的Restormer块的结构可以在补充材料或原始论文中参考[67]。2、基本Transformer编码器BTE用于从共享特征中提取低频基本特征其中和分别是I和V的基本特征。为了提取长距离依赖特征我们决定使用具有空间自注意的Transformer。考虑到平衡性能和计算效率这里我们使用LT块[57]作为BTE的基本单元。LT模块通过Flattened前馈网络结构克服了Transformer模块的瓶颈在保证性能不变的前提下缩小了嵌入量减少了参数个数满足了我们的需求。3、详细CNN编码器与BTE相反DCE从共享特征中提取高频细节信息其公式为考虑到细节特征中的边缘和纹理信息对于图像融合任务非常重要我们希望DCE中的CNN架构可以保留尽可能多的细节信息。INN [12]模块通过使其输入和输出特征相互生成来更好地保留输入信息。因此它可以被视为一个无损的特征提取模块非常适合在这里使用。因此我们采用具有仿射耦合层的INN块[1277]。在每个可逆层中变换是其中是Hadamard积是第k个可逆层k 1· · ·K的输入特征的第1个到第c个通道CAT·是通道级联操作是任意映射函数。计算细节见图2d和补充材料。在每个可逆层中Ii可以被设置为任何映射而不影响该可逆层中的无损信息传输。考虑到计算消耗和特征提取能力之间的权衡我们采用MobileNetV2 [45]中的瓶颈残差块BRB块作为。最后和可以以相同的方式获得通过替换等式4中的下标从I到V。3、融合层基本/细节融合层的功能是分别融合基本/细节特征。考虑到基础/细节特征融合的感应偏差应该类似于编码器中的基础/细节特征提取我们将LT和INN块用于基础和细节融合层其中FB和FD分别是基础和细节融合层。4、解码器在解码器DC·中分解的特征在信道维度上被级联作为输入并且原始图像训练阶段I或融合图像训练阶段II是解码器的输出其被公式化为由于这里的输入涉及交叉模态和多频特征因此我们保持解码器结构与SFE的设计一致即使用Restormer块作为解码器的基本单元。5、两阶段训练MMIF任务的一个巨大挑战是由于缺乏基础事实高级监督学习方法是无效的。在这里受[27]的启发我们使用两阶段学习方案来训练我们的CDDFuse端到端。1训练阶段1在训练阶段I将成对的红外和可见光图像{IV}输入到SFE中以提取浅层特征。然后分别采用基于LT块的BTE和基于INN的DCE提取两种不同模态的低频基本特征和高频细节特征。然后将红外或可见光图像的基本特征和细节特征进行拼接并输入解码器重构出原始的红外图像或可见光图像。2训练阶段2在训练阶段II中将成对的红外和可见光图像{IV}输入到接近良好训练的编码器中以获得分解特征。然后将分解的基本特征和细节特征分别输入到融合层和中。最后将融合后的特征输入解码器得到融合图像F。3训练损失在训练阶段I中总损失为其中和是红外和可见光图像的重建损失是特征分解损失α1和α2是调谐参数。重建损失主要保证图像中包含的信息在编码和解码过程中不丢失即其中且。SSIM··是结构相似性指数[55]。Lvis可以通过相同的方式获得。此外我们提出的特征分解损失Ldecomp为其中CC··是相关系数运算符并且这里的ω被设置为1.01以确保该项始终为正。该损失项的动机是根据我们的MMIF假设分解的特征将包含更多的模态共享信息如背景和大规模环境因此它们往往是高度相关的。相比之下在V中表示纹理和细节信息在I中表示热辐射以及清晰的边缘信息这是模态特定的。因此特征图的相关性较低。实验结果表明在梯度下降的指导下逐渐趋近于0逐渐变大满足了我们对特征分解的直觉。分解效果的可视化如图5所示。图5随后在训练阶段II由[47]得出总损失变为其中且。表示Sobel梯度算子。α3和α4是调谐参数。五、红外与可见光图像融合在这里我们详细阐述了我们的网络的实施和配置细节用于IVF任务。通过实验验证了模型的有效性和网络结构的合理性。1、开始1数据集和指标IVF实验使用三个流行的基准来验证我们的融合模型即[48][49]我们在MSRS训练集1083对上训练我们的网络并使用RoadScene中的50对进行验证。采用MSRS测试集361对、RoadScene测试集50对和TNO测试集25对进行测试对融合性能进行了全面验证。请注意未对RoadScene和TNO数据集进行微调以验证融合模型的泛化性能。采用熵EN、标准差SD、空间频率SF、互信息MI、差异相关性和SCD、视觉信息保真度VIF、QAB/F和结构相似性指数测度SSIM等8个指标对融合效果进行定量度量。较大的度量表明融合图像更好这些度量的计算细节可以在[37]中找到。2实施细节我们的实验是在一台装有两个NVIDIA GeForce RTX 3090 GPU的机器上进行的。在预处理阶段训练样本被随机裁剪成128×128个小块。用于训练的时期的数目被设置为120其中在第一和第二阶段中分别为40和80个时期。批大小设置为16。我们采用了Adam优化器初始学习率设置为10 - 4每20个时期减少0.5。对于网络超参数设置SFE中的Restormer块的数量为4具有8个注意头和64个维度。BTE中LT块的尺寸也是64具有8个注意头。解码器的配置与编码器相同。对于损失函数(7)和10中α1至α4被设置为1、2、10和2以便对于每个项保持相同的量级。由于空间限制超参数的选择和分析放在补充材料中。2、与SOTA方法的比较在本节中我们在三个测试集上测试CDDFuse并将融合结果与最先进的方法进行比较包括DIDNet [73]U2Fusion [60]SDNet [68]RFNet [62]TarDAL [33]DeFusion [32]和ReCoNet [18]。1定性比较我们在图中给出了定性比较。3和4可见该方法较好地融合了红外图像中的热辐射信息和可见光图像中的纹理细节信息。暗区域中的对象被清晰地高亮显示以便可以轻松地将前景目标与背景区分开来。另外由于光照不足而难以识别的背景细节具有清晰的边缘和丰富的轮廓信息有助于我们更好地理解场景。2定量比较最后采用八个指标对上述结果进行了定量比较并以Tab.1.该方法在几乎所有的度量指标上都有很好的性能证明了该方法适用于各种光照和目标类别。3特征分解的可视化。图5显示了分解的特征。显然基本特征组中更多的背景信息被激活被激活的高亮区域也是相关的。而在细节特征组中红外特征更关注于物体的高光部分可见光特征更关注于细节和纹理部分说明模态特征提取得较好。可视化结果与我们的分析是一致的。3、消融实验通过消融实验验证了不同模块的合理性。采用EN、SD、VIF和SSIM对融合效果进行了定量验证。实验组的结果见表2。1实验中的分解损失我们改变方程中的定义。(9)从除法到减法的过程为Ldecomp LD CC2 − LB CC也可以增加LB CC减少LD CC2。我证明虽然新的损失可以产生勉强满意的结果但与公式中的定义相比它产生的结果很差。九、在实验中II、我们没有使用相关性驱动的损失Ldecomp并且结果表明Ldecomp对于特征分解是非常重要的。如果没有它就不能保证BTE和DCE能够学习到我们需要的不同频率特征。2LT和INN模块然后我们验证了LT块和INN块在长短程编码器中的必要性。在实验中三、我们将LT区块改为INN即基本特征和细节特征都由INN块提取。同样在Exp.四、用LT块提取不同模态的特征。实验结果表明尽管LT块的特征提取能力略强于INN块但不如LT和INN块协同工作的CDDFuse。随后在ExpV将INN模块改为由INN块中参数相近的BRB组成的CNN模块其融合效果略差于单独的LT模块证明了采用CNN进行融合时信息损失严重。3两阶段训练最后如果我们放弃两阶段的训练直接同时训练编码器、解码器和融合层结果会很不理想。实验证明两阶段训练能有效降低训练难度提高训练鲁棒性。总之消融结果见表2。论证我们的网络设计的有效性和合理性。4下游IVF应用为了进一步研究高级MM计算机视觉任务中的融合性能本节应用了SOTA方法的红外、可见光和融合图像。4.2 MM目标检测和语义分割并研究信息融合对下游任务的好处。由于篇幅限制定性结果见补充材料。可见光目标检测MM对象检测在M3 FD数据集[33]上执行该数据集具有4200对红外/可见光图像和六类标签即人、汽车、公共汽车、摩托车、卡车和灯。按照811的比例将其划分为培训/确认/测试集。YOLOv 5 [22]是一种SOTA检测器用于评估检测性能度量为mAP0.5。训练时期、批处理大小、优化器和初始学习速率分别设置为400、8、SGD优化器和1 e-2。表3结果表明CDDFuse算法具有最好的检测性能尤其是在人员类和卡车类目标上CDDFuse算法通过融合热辐射信息和突出难观测目标提高了检测精度。红外可见光语义分割MM语义分割是在MSRS数据集[48]上进行的具有九个对象类别的语义信息即背景、凹凸、彩色锥体、护栏、曲线、自行车、人和汽车。数据集的划分遵循原始论文[48]。我们选择的主干是DeeplabV 3 [9]我们通过交并IoU来比较模型的有效性。所有的模型都是由交叉熵损失监督和SGD训练的批量为8超过340个epoch其中前100个epoch通过冻结骨干网络进行训练。初始学习速率为7 e-3并通过余弦退火延迟而减小。分割结果见表4。CDDFuse较好地融合了源图像中的边缘和轮廓信息增强了模型感知目标边界的能力使分割更加准确。结论为此本文提出了一种基于双分支Transformer-CNN的多模态图像融合算法。在此基础上提出了一种基于双分支Transformer-CNN的图像融合算法。利用Restormer、Lite Transformer和可逆神经网络模块较好地提取了模态特征和模态共享特征提出的相关驱动分解损失法使模态特征分解更加直观有效。实验表明CDDFuse的融合效果较好并能提高下游多模态模式识别任务的准确率。
