CVPR 2026｜分而治之，熵引择路！解耦·感知·择路：SEGD 破解红外图像复合退化困局

标题Breaking Degradation Coupling: A Structural Entropy–Guided Decoupled Framework and Benchmark for Infrared Enhancement打破退化耦合面向红外图像增强的结构熵引导解耦框架与基准作者Pu Li, Huafeng Li, Yafei Zhang, Yu Liu, Wen Wang*1. 昆明理工大学 信息工程与自动化学院2. 合肥工业大学 生物医学工程系3. 云南大学 数学与统计学院代码https://github.com/Kust-lp/SEGD下载https://arxiv.org/abs/2604.2288601 论文摘要热红外TIR成像在真实场景下常同时受到噪声、模糊、低对比度等多种退化因素的复合影响——它们物理机制各异、非线性耦合严重给图像增强带来巨大挑战。现有的all-in-one方法大多采用单一共享主干来统一处理所有退化类型忽视了不同退化之间的内在差异容易引发梯度冲突与参数竞争同时退化之间还存在潜在的顺序依赖——错误的恢复顺序会扭曲后续退化分布造成误差累积与伪影放大。针对上述问题本文提出结构熵引导的解耦框架 SEGDStructural Entropy–Guided Decoupled Framework遵循退化解耦—先验引导—顺序自适应的设计哲学将三种思想统一在一个可优化的信息论建模范式中通过退化特异性残差模块DRMs把复合退化拆解为相互独立的子过程以分而治之的方式分别建模缓解参数竞争通过退化感知证据网络DENet联合估计退化的类型与强度并以不确定性感知的方式提供可靠先验动态调节各 DRM 的恢复力度通过结构熵引导的恢复顺序选择SE-ROS以二维结构熵2D-SE最小化为准则自适应选择信息量最大的恢复路径并完成特征聚合从根本上避免误差传播。作者同时构建了面向真实低光条件的夜间红外评测基准 Night-TIR。在 HM-TIR 与 Night-TIR 上的实验表明SEGD 在更少参数、更快推理的前提下性能全面超越当前 SOTA 方法。02 关键创新① 解耦DRMs分而治之的退化残差建模为噪声、模糊、低对比度三类退化分别构建独立参数、共享结构的残差模块基于 RestormerBlock。每个 DRM 只负责估计自己对应退化的残差分量各分支独立参数、联合训练从根本上缓解跨退化的梯度冲突与参数竞争。② 感知DENet证据学习驱动的可靠先验DENet 内含两个头部协同工作——DAH 头预测退化类型未出现的退化分支被显式抑制以避免过度恢复DEH 头基于证据深度学习EDL输出 Beta 分布联合估计退化强度 p与置信度 S。二者被编码为通道调制参数动态注入到编码器特征中按病情轻重精细调节各 DRM 的恢复力度。③ 择路SE-ROS信息论视角下的顺序自适应枚举三种退化的全部恢复顺序共 6 条路径将候选特征建模为相似度图并以二维结构熵2D-SE最小化为准则进行编码树划分量化每条路径对全局结构信息的贡献。在无需额外监督的前提下将恢复顺序选择与特征聚合统一为一个可解释的信息论优化问题。④ 基准Night-TIR面向真实低光的夜间红外测试集构建包含 647 张图像的夜间 TIR 评测基准覆盖物理一致的复合退化噪声 模糊 低对比度弥补现有红外增强评测在真实夜间场景下的空白为社区提供一个更具挑战性的测试床。03 方法详解️ 整体框架从一锅烩到分诊—会诊—择路的协同流水线SEGD 的整体架构如下图所示由三大核心组件构成三者环环相扣、协同优化DENet分诊先判断得了什么病、病得多重→DRMs专科治疗让三位专科医生分别对症下药 →SE-ROS会诊择路用信息论标准选出最优的治疗顺序最终由解码器输出高质量红外图像。整个过程把退化解耦—先验引导—顺序自适应统一在一个可端到端训练的框架中。① 解耦Degradation Residual ModulesDRMs分而治之的残差建模▍设计动机噪声、模糊、低对比度三种退化在物理机制和特征分布上差异显著。让一个共享主干通吃所有退化本质上是在让网络同时优化几个相互冲突的目标——梯度方向打架、参数被反复争夺最终谁也学不好。▍核心设计作者为三类退化分别构建一个独立的残差模块C-DRM 对比度、B-DRM 模糊、N-DRM 噪声三个 DRM结构相同、参数独立均基于RestormerBlock构建每个 DRM 只学习一类退化对应的残差分量你可以理解为针对某种病的解药剂量由 DENet 输出的二值因子 控制分支的开关。更新规则非常直观其中 是输入特征来自编码器或上一个 DRM 是第 类退化对应的 RestormerBlock。▍效果当某类退化不存在时对应分支被显式关闭从根本上避免过度恢复存在时则在独立参数空间内精细补偿。各分支独立参数、联合训练——这正是分而治之但不各自为政的精髓。② 感知Degradation-Aware Evidence NetworkDENet证据学习驱动的可靠先验▍设计动机病情不只有有没有还有多严重。直接给模型一个 one-hot 的类别标签远远不够——网络还需要知道每种退化的强度以及这个判断本身有多可信。这正是 DENet 要解决的问题。▍核心设计DENet 由特征提取器、DAH退化感知头和DEH退化证据头组成分别承担两类任务**▶ DAH判断有没有**通过 MLP 预测三类退化的 logits 再经 Sigmoid 与阈值 二值化为开关因子训练时使用BCE Loss且对阈值 鲁棒除非取极端值如 0.9。▶ DEH判断多严重且这个判断可不可信这是 DENet 最具创新性的部分。基于证据深度学习EDLDEH 输出 Beta 分布的两个参数 其中 是退化强度 是模型对自己判断的置信度——、 分别可理解为该退化存在与不存在的证据量。强度标签由 SSIM 自然定义损失函数为Beta–EDL LossNLL 拟合项 KL 正则项KL 项的作用是惩罚过度自信避免模型嘴硬地给出不可靠估计。▶ 先验注入把病情诊断变成治疗指令将 与 拼接后经全连接层生成通道调制参数 对编码器特征做强度感知调制这样DRMs 拿到的不只是做什么还有做多少、有多大把握。▍效果DENet 让恢复过程从盲目硬上变成按病情轻重精准开方——病轻则轻治病重则重治把握不足则保守治。③ 择路SE-ROS结构熵引导的恢复顺序自适应选择▍设计动机复合退化的恢复顺序很关键。论文给了一个非常形象的例子“在强噪声下先做去模糊会让噪声污染模糊核估计产生伪纹理在重模糊下先去噪又会削弱边缘一致性。”固定顺序如 CBN无法适配所有图像随机采样路径不稳定简单平均又会被次优路径拖后腿。能不能让模型针对每张图像自适应地选最优路径▍核心设计把选路径转化为信息论优化问题▶ 第一步枚举所有候选路径三种退化的全部排列共 6 条每条路径就是一种 DRM 的串联顺序对应一个候选特征。▶ 第二步构建特征相似度图将 6 个候选特征作为顶点构造全连接图 边权为非负余弦相似度▶ 第三步以 2D 结构熵最小化划分编码树二维结构熵 衡量在划分 下图的信息不确定性通过近线性时间算法最小化 2D-SE得到最优编码树与划分——高内聚、低耦合的特征自然聚成簇。▶ 第四步基于顶点贡献度选择并聚合特征对每个顶点 计算其结构熵贡献——即把它从当前簇中移除会造成多大的熵增。 越大说明该路径越能维持全局信息秩序即在每个簇内选出贡献最大的代表路径再用 softmax 权重做加权聚合得到送入解码器的最终特征 。▍效果SE-ROS 把选哪条路这件主观的事转化成了一个有显式数学准则、可解释、不需要额外监督的优化问题。它同时完成顺序优化与特征聚合从机制上抑制了多阶段误差传播与伪影放大。④ 基准Night-TIR面向真实低光场景的评测床现有红外增强评测多在常规场景下进行难以反映夜间低光这一红外成像的核心应用场景。作者按照 HM-TIR 的退化合成协议构建了包含647 张夜间红外图像的 Night-TIR 数据集覆盖物理一致的单一/双重/三重复合退化情形为社区提供了一个更贴近真实部署条件的挑战性测试床。训练目标整体训练目标由三部分组成端到端联合优化其中 监督最终重建图像 与 分别约束 DAH 和 DEH 的输出。无需额外监督的 SE-ROS 则在前向传播中无声地完成路径选择与特征聚合。一句话总结方法的精髓 SEGD 把红外图像增强这件原本被当作端到端黑箱的任务拆解为分诊 → 治疗 → 择路 三个具有清晰物理/信息论含义的子问题并用一套优雅的数学语言残差学习、证据学习、结构熵把它们重新缝合起来——既有可解释性又有 SOTA 的性能。04 实验评估数据与设置实验在三套数据上展开HM-TIR1,503 张红外图像按 8:2 划分测试集涵盖 20%/30%/50% 的单/双/三重退化、本文新构建的Night-TIR647 张夜间红外图像相同退化协议、以及用于真实场景泛化测试的 AWMM300 张未施加任何合成退化的真实红外图像。前两者用 PSNR/SSIM 评测AWMM 采用 NIMA、MUSIQ、NIQE 三项无参考感知指标。对比方法涵盖红外专用方案WFAF、LRSID、TSIRIE、PPFN和可见光通用 all-in-one 方案DACLIP、DiffUIR。所有实验基于 PyTorch RTX 4090AdamW 优化器训练 100 epochs。定量实验结果表 1 显示SEGD 在 HM-TIR 和 Night-TIR 上几乎全面登顶平均 PSNR/SSIM 较强基线提升 4.90% / 3.73%尤其在三重退化场景下HM-TIR 上 PSNR 从 PPFN 的 18.20 dB 跃升至 20.31 dB——退化越复合SEGD 优势越明显这正是分而治之 顺序自适应设计理念的有力佐证。图 7 进一步对比不同恢复路径策略固定顺序受限于误差传播随机采样不稳定等权平均在三重退化下被次优路径稀释而 SE-ROS 在双重和三重场景下均最优验证了基于 2D 结构熵的自适应择路机制。定性实验结果图 3 给出 HM-TIR 与 Night-TIR 上三重复合退化的可视化对比WFAF、LRSID、TSIRIE、DACLIP、DiffUIR 普遍存在伪影残留和背景噪声未清除的问题PPFN 虽更稳定但仍有细节丢失与对比度不足SEGD 则在对比度增强、细节保真、伪影抑制三者间取得最佳平衡。图 4 在 AWMM 真实红外图像上的结果同样令人信服——SEGD 在行人轮廓、地面纹理等高频区域呈现更清晰的边界有效抑制背景噪声且避免过度增强证明模型学到的是红外退化的本质规律而非过拟合合成数据。参数分析表 2 揭示了一个相当反直觉的结果SEGD 参数量仅 2.268M比 PPFN26.60M少 91.5%比 DACLIP233.14M少 99%推理时间 0.19s/张比 PPFN 快 3.4×比 DACLIP 快 80×。性能 SOTA 的同时还是几乎最轻量、最快——证明解耦设计 信息论引导带来的不只是性能提升更是结构性的效率优势。消融实验表 3 验证 DENet 的设计必要性同时移除 DAH 和 DEH 时 PSNR 跌至 22.728 dB最严重的退化只保留任一头部都性能受损移除置信度 后小幅下降证实其用于抑制不可靠的强度估计——“类型 强度 置信度三位一体每一项都不冗余。图 5 显示 DENet 对阈值高度鲁棒除非取 0.9 这类极端值性能几乎不受影响说明该设计在实际部署中无需精细调参。图 6 则展示了各 DRM 的专科特异性”对比度 DRM 仅对低对比度退化有效噪声/模糊 DRM 同理——各司其职、合作互补移除全部 DRMs 会导致 PSNR 骤降 6.045 dB是整个框架的结构基石。05 总结与展望总结本文提出SEGD——一个面向红外图像复合退化增强的结构熵引导解耦框架。不同于传统共用骨干处理一切退化的范式SEGD 遵循解耦—感知—择路的设计哲学通过DRMs以独立参数、共享结构的方式分而治之缓解跨退化的梯度冲突与参数竞争通过DENet基于证据深度学习联合估计退化类型、强度与置信度提供可靠先验通过SE-ROS以 2D 结构熵最小化为准则无需额外监督即可自适应选择最优恢复路径并完成特征聚合。同时作者构建了夜间红外评测基准Night-TIR。实验证明SEGD 在三个数据集上全面 SOTA退化越复合优势越明显且参数量仅 2.268M、推理时间 0.19s——性能与效率兼得。展望SEGD 的设计思想为复杂退化场景下的图像增强开启了新的可能。短期来看该框架在夜间安防监控、自动驾驶辅助感知、无人机遥感、红外医学影像等场景具备直接落地价值长远而言解耦—择路的范式可进一步推广至 RGB-T、深度-红外等多模态联合增强任务DENet 的证据建模也有望扩展到处理训练集未见过的未知退化类型。更值得期待的是基于结构熵的择路过程为深度模型的可解释性提供了天然抓手——让黑箱开始讲出可被理解的信息论语言这或许是该工作之于整个图像恢复领域最具启发性的贡献。往期推荐