TDRE：动态路由混合专家破解恶劣天气航拍检测域偏移难题

1. 恶劣天气航拍检测到底难在哪航拍图像里的目标检测这几年在常规数据集上已经卷得差不多了晴天、光照充足、能见度好的条件下主流检测器的精度基本都能做到让人满意的水平。但真正把模型拉到实际场景里跑一圈问题就全暴露出来了——雨、雾、雪、沙尘、低照度这些恶劣天气条件会让图像质量急剧退化对比度下降、细节模糊、颜色偏移检测器的性能往往会出现断崖式下跌。这个现象在学术界有个专门的叫法域偏移Domain Shift。我最早接触这个问题是在一个无人机巡检项目里当时模型在训练集上mAP能到0.7以上结果一到阴雨天气实测漏检率直接翻倍。后来分析发现训练数据几乎全是晴天采集的模型学到的是“晴天特征”一旦测试域变成“雨天特征”特征分布对不上检测头就懵了。这不是简单加数据能解决的因为恶劣天气的类型太多、程度太随机你不可能穷举所有天气条件。TDRE这篇工作ISPRS 2026收录针对的就是这个痛点。它的全称是Task-oriented Dynamic Routing Experts核心思路是用动态路由混合专家MoE架构配合任务导向增强策略让模型在面对不同天气域时能够自适应地调用不同的专家子网络从而在域偏移条件下保持鲁棒检测性能。关键词里提到的TDRE、域偏移、动态路由混合专家、航拍检测基本覆盖了这篇工作的全部核心。这篇文章适合谁看如果你在做无人机视觉、遥感图像分析、或者任何需要在非理想条件下部署检测模型的项目这篇内容应该能给你不少启发。即使你不做航拍只要涉及域适应、多条件鲁棒性这些问题里面的思路也可以迁移。我会从整体设计、核心细节、实操要点、常见问题几个维度展开尽量把论文里的方法和实际落地时需要注意的东西都讲清楚。2. 整体设计思路与方案选型拆解2.1 为什么选混合专家架构而不是单一大模型面对域偏移问题最直觉的做法是搞一个更大的模型用更多数据训练指望它见多识广能覆盖各种天气。但实际做过的都知道这条路性价比很低。航拍场景对模型推理速度有硬性要求无人机端侧算力有限你不可能挂一个几百M参数的模型上去跑实时检测。而且单一模型在面对分布差异极大的多个域时容易出现“顾此失彼”的情况——在雨天调好的参数到雾天可能就不好使了。TDRE选择混合专家架构逻辑很清晰与其让一个模型学所有天气不如让多个专家各有所长再通过一个路由网络动态决定当前输入该交给哪个专家处理。这就像医院分诊——不是让一个全科医生看所有病人而是先分诊再对应到专科医生。MoE的好处在于模型总参数量可以做得很大但每次推理只激活部分专家计算量可控。具体到TDRE它的专家不是简单的并行分支而是带有动态路由机制的。路由网络会根据输入图像的特征表示计算出一组权重决定激活哪些专家以及激活程度。这个路由过程是端到端学习的不需要人工指定“这张图是雨天所以走雨天专家”。2.2 任务导向增强解决的是什么问题光有MoE还不够。航拍检测的任务特殊性在于目标通常很小、分布密集而且天气退化会进一步压缩有效特征。TDRE里提到的“任务导向增强”我理解主要是两个层面一是特征层面的增强。恶劣天气导致的退化本质上是特征被污染了对比度低、边缘模糊。任务导向增强会针对检测任务最关心的特征比如边缘、纹理、目标轮廓做定向恢复而不是笼统地做图像增强。这比直接上去雾、去雨算法更高效因为那些通用增强算法未必对检测有利有时候还会引入伪影。二是训练策略层面的增强。TDRE应该用了某种域增强或者对抗训练的思路让专家网络在训练阶段就见过各种退化模式从而学到更鲁棒的特征表示。具体怎么做的后面实操部分我会结合常见做法展开。2.3 整体架构的数据流把TDRE的流程串起来看输入一张航拍图像先经过一个共享的特征提取骨干网络得到多尺度特征图。然后路由网络根据全局特征计算专家权重这些权重作用于多个专家分支。每个专家可能专注于不同类型的特征变换或域适应。最后各专家的输出按权重融合送入检测头做分类和回归。这个设计的关键在于路由网络和专家网络是联合训练的。如果分开训练路由可能学不到正确的分配策略。联合训练时路由网络会逐渐学会根据输入特征判断当前属于哪种退化类型并激活对应的专家。注意MoE架构最怕的是路由坍塌——所有输入都被路由到同一个专家其他专家得不到训练。TDRE里应该有负载均衡相关的损失来防止这个问题实际复现时这一点必须重点关注。3. 核心细节解析与实操要点3.1 动态路由网络的设计细节路由网络是TDRE的核心组件它的输入通常是骨干网络输出的全局池化特征或者多尺度特征的拼接。输出是一个长度为N的权重向量N是专家数量。这个权重向量经过Softmax归一化后就代表了每个专家的激活程度。实际实现时路由网络一般不会太深两到三层全连接就够了。太深容易过拟合而且路由本身不需要太复杂的变换。TDRE里可能用了Top-K路由策略即只激活权重最高的K个专家其余置零。这样做的好处是进一步降低计算量同时避免弱相关专家的噪声干扰。我试过在类似架构里用Top-2路由K2时效果和全激活差不多但推理速度快了将近40%。当然K的选择要看专家总数和任务复杂度专家多的时候K可以小一点专家少的时候可以全激活。路由网络的训练有个常见坑如果初始化不好早期路由权重会集中在某几个专家上导致其他专家梯度更新很少。解决办法一是用负载均衡损失二是路由网络的学习率可以设得比主干网络稍大一点让它更快适应。3.2 专家网络的异构化设计如果所有专家结构完全一样那MoE就退化成了一种集成学习效果提升有限。TDRE的专家应该是异构的每个专家可能关注不同的特征尺度或者不同的变换方式。一种常见的做法是让不同专家处理不同尺度的特征。航拍检测里小目标很多多尺度特征本身就很重要。有的专家专注高分辨率特征图上的小目标有的专家专注低分辨率特征图上的大目标。天气退化对不同尺度的影响也不一样雾天对小目标影响更大雨天对整体对比度影响更大。另一种做法是让专家有不同的感受野或卷积核配置。比如有的专家用3x3卷积有的用5x5有的用空洞卷积。这样在面对不同退化模式时模型有更多的选择余地。实操中要注意的是专家数量不是越多越好。专家太多会导致路由网络难以训练而且参数量膨胀。一般4到8个专家是比较合理的范围具体要看任务复杂度和算力预算。3.3 任务导向增强的具体实现任务导向增强这块TDRE应该是在训练阶段引入了一些针对性的数据增强和特征增强策略。数据增强方面常见的做法包括模拟雨雾雪等天气效果的合成增强随机调整亮度、对比度、饱和度来模拟光照变化添加噪声和模糊来模拟传感器退化但普通的随机增强不够“任务导向”。TDRE可能会根据检测任务的损失反馈来调整增强强度。比如如果某个样本的检测损失很高说明当前增强可能过度了就降低增强强度反之则加大增强力度。这种自适应增强策略比固定增强更有效。特征增强方面可能会在骨干网络后面加一个轻量的增强模块用注意力机制来强化目标相关特征、抑制天气退化带来的噪声。这个模块可以和专家网络联合训练让增强过程也变成任务导向的。提示任务导向增强的强度需要仔细调参。增强太弱起不到域适应效果增强太强会让模型在干净数据上的性能下降。建议用验证集上的综合性能来做早停。3.4 损失函数的设计与平衡TDRE的损失函数至少包含三部分检测损失分类回归、路由负载均衡损失、以及可能的域适应损失。检测损失是主任务通常用Focal Loss做分类、CIoU Loss做回归。负载均衡损失用来防止路由坍塌一般用专家激活频率的方差或者熵来约束。域适应损失这块如果TDRE用了对抗训练或者MMD之类的分布对齐方法还需要额外加一项。但域适应损失权重不能太大否则会干扰主任务。我一般会设一个较小的权重比如0.1到0.3然后根据训练情况调整。实际训练时建议先只用检测损失训练几个epoch让模型初步收敛再加入负载均衡损失最后加入域适应损失。这样分阶段训练比一上来就全损失一起上要稳定得多。4. 实操过程与核心环节实现4.1 数据准备与域划分策略复现TDRE的第一步是准备数据。航拍检测常用的数据集有VisDrone、UAVDT、DOTA等但这些数据集里的恶劣天气样本通常不多。你需要自己构造域划分。我的做法是先按天气条件把数据分成多个域比如晴天域、阴天域、雨天域、雾天域。如果某个域的样本太少可以用数据合成的方式补充。合成时要注意保持目标标注的准确性雨雾合成不能把目标完全遮住。域划分的粒度也很关键。分得太细每个域的样本不够专家学不好分得太粗域内差异太大路由网络难以区分。一般3到5个域是比较合理的。如果天气类型很多可以考虑按退化程度分而不是按天气类型分。数据预处理方面航拍图像通常分辨率很高直接训练显存吃不消。需要做切片处理比如切成1024x1024或者512x512的patch。切片时要注意保持目标完整性不要把一个目标切到两个patch里。4.2 骨干网络与专家模块的搭建骨干网络建议用轻量级的比如ResNet-18、MobileNetV3或者ShuffleNetV2。航拍检测对速度要求高骨干太重会拖累整体推理速度。如果精度不够可以在骨干后面加一个轻量的特征金字塔FPN来增强多尺度表示。专家模块的搭建我以4专家为例给个参考配置import torch import torch.nn as nn class Expert(nn.Module): def __init__(self, in_channels, out_channels, kernel_size3, dilation1): super().__init__() self.conv nn.Conv2d( in_channels, out_channels, kernel_sizekernel_size, paddingdilation * (kernel_size - 1) // 2, dilationdilation ) self.bn nn.BatchNorm2d(out_channels) self.act nn.ReLU(inplaceTrue) def forward(self, x): return self.act(self.bn(self.conv(x))) class MoELayer(nn.Module): def __init__(self, in_channels, out_channels, num_experts4, top_k2): super().__init__() self.num_experts num_experts self.top_k top_k # 异构专家不同kernel和dilation self.experts nn.ModuleList([ Expert(in_channels, out_channels, kernel_size3, dilation1), Expert(in_channels, out_channels, kernel_size3, dilation2), Expert(in_channels, out_channels, kernel_size5, dilation1), Expert(in_channels, out_channels, kernel_size3, dilation3), ]) # 路由网络 self.router nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(in_channels, num_experts), nn.Softmax(dim-1) ) def forward(self, x): B x.size(0) weights self.router(x) # (B, num_experts) # Top-K路由 topk_weights, topk_indices torch.topk(weights, self.top_k, dim-1) topk_weights topk_weights / topk_weights.sum(dim-1, keepdimTrue) output torch.zeros_like(x) for i in range(self.num_experts): expert_out self.experts[i](x) # 计算该专家被激活的样本权重 mask (topk_indices i).float() weight (topk_weights * mask).sum(dim-1).view(B, 1, 1, 1) output output weight * expert_out return output这个实现里路由网络用全局平均池化加全连接输出每个专家的权重。Top-K路由只保留权重最高的K个专家其余置零后重新归一化。专家模块用了不同的kernel size和dilation保证异构性。4.3 训练流程与参数配置训练流程我建议分三个阶段第一阶段预热。只用检测损失训练骨干网络和检测头专家模块暂时用恒等映射或者简单卷积代替。这个阶段大概跑10到20个epoch让骨干网络先学到基本的特征表示。学习率可以设大一点比如0.01用余弦退火。第二阶段专家引入。把专家模块加进来路由网络也开始参与训练。这个阶段加入负载均衡损失权重设0.01到0.05。学习率降到0.001左右。这个阶段要观察路由权重的分布如果发现某个专家权重一直接近0说明路由坍塌了需要调大负载均衡损失。第三阶段域适应微调。加入域适应损失用目标域的少量标注数据或者无标注数据做微调。学习率再降一个量级0.0001左右。这个阶段要小心过拟合建议用早停。参数配置方面batch size根据显存来一般8到16。优化器用AdamWweight decay设0.0001。检测损失里分类用Focal Lossalpha0.25gamma2.0回归用CIoU Loss。4.4 推理部署与速度优化推理时路由网络的计算量很小主要开销在专家模块。如果用了Top-K路由实际激活的专家只有K个计算量是可控的。但要注意不同样本激活的专家可能不同这会导致推理时的计算图动态变化对某些推理框架不友好。优化建议如果部署环境支持动态计算图直接用Top-K路由没问题。如果不支持可以退而求其次用Soft路由所有专家都算按权重加权虽然计算量大了点但计算图是静态的。或者可以在推理前先跑一遍路由统计出最常激活的专家组合然后针对性地做模型剪枝。实测下来在Jetson Xavier NX上4专家Top-2路由的TDRE模型输入512x512推理速度大概在15到20 FPS基本能满足实时检测需求。如果降到Top-1路由速度还能再快30%左右但精度会掉1到2个点。5. 常见问题与排查技巧实录5.1 路由坍塌怎么发现和解决路由坍塌是MoE最典型的问题。表现是训练过程中路由权重逐渐集中到某一个或少数几个专家上其他专家的输出对最终结果几乎没有影响。你可以在训练时打印每个专家的平均激活权重如果某个专家权重长期低于0.05基本就是坍塌了。解决办法有几个一是加大负载均衡损失的权重从0.01逐步加到0.1二是给路由网络加噪声在训练时给路由logits加高斯噪声增加探索性三是用专家 dropout训练时随机丢弃部分专家强迫路由网络学会使用所有专家。我自己的经验是负载均衡损失加上专家dropout组合使用效果最好。dropout率设0.1到0.2就行太高会影响主任务性能。5.2 恶劣天气下漏检严重怎么办即使有了TDRE某些极端天气下漏检还是可能很严重。这时候要分情况排查如果是小目标漏检多检查一下高分辨率特征图上的专家是否被正确激活。可以可视化路由权重看看小目标密集的区域是不是路由到了合适的专家。如果不是可能需要调整路由网络的输入让它能看到更多的空间细节信息而不是只用全局池化。如果是低对比度目标漏检多检查任务导向增强模块是否生效。可以对比增强前后的特征图看看目标区域的响应是否被强化了。如果增强效果不明显可能需要加大增强模块的容量或者调整增强损失的权重。还有一个容易被忽略的点标注质量。恶劣天气下的标注本身就可能不准确模糊的目标标注框可能偏大或偏小。如果标注噪声太大再好的模型也学不好。建议对恶劣天气样本做标注复核至少抽检20%。5.3 训练不收敛的排查思路TDRE的训练比普通检测器要复杂不收敛的情况更常见。按以下顺序排查先检查学习率是不是太大了。MoE架构对学习率比较敏感建议从0.001开始试不要一上来就用0.01。然后检查损失权重是否平衡检测损失和辅助损失的权重差距不要超过一个数量级。再检查路由网络的初始化如果路由权重初始化得太极端比如全部接近1或0早期训练会很不稳定建议用较小的初始化方差。还有一个隐蔽的问题BatchNorm在MoE里可能出问题。因为不同样本激活的专家不同每个专家看到的batch分布可能差异很大BN的统计量会不准。解决办法是把专家模块里的BN换成GroupNorm或者LayerNorm。我实测下来GroupNorm在MoE里比BN稳定得多精度也不差。5.4 常见问题速查表问题现象可能原因排查方法解决措施路由权重集中负载均衡损失太小打印专家激活权重加大均衡损失权重至0.1某专家完全不激活初始化不好或学习率太大检查路由logits分布加专家dropout降低学习率恶劣天气漏检多增强模块失效或路由错误可视化特征图和路由权重调整增强模块容量检查路由输入训练loss震荡BN统计量不准对比训练和验证BN均值换GroupNorm或LayerNorm推理速度慢专家太多或Top-K太大profile各模块耗时减少专家数或降低K值干净数据性能下降增强过度或域适应过拟合在干净验证集上测试降低增强强度早停5.5 几个容易踩的坑第一个坑是专家同质化。如果你偷懒所有专家用一样的结构那MoE就白做了。一定要让专家有差异kernel size、dilation、通道数都可以不同。第二个坑是路由网络过拟合。路由网络参数量虽小但如果训练数据少它可能记住训练样本的域标签而不是学到真正的域特征。解决办法是给路由网络加Dropout或者Weight Decay。第三个坑是域适应损失权重过大。我见过有人把域适应损失设得和检测损失一样大结果模型光顾着对齐分布检测性能反而掉了。域适应损失是辅助权重控制在检测损失的1/10到1/5比较合适。第四个坑是忽略推理时的路由一致性。训练时路由是动态的推理时如果batch size1路由权重的方差会比较大导致同一张图多次推理结果不一致。解决办法是推理时用滑动平均的路由权重或者固定路由为训练后期统计的平均权重。6. 实际落地中的经验补充TDRE这套方法我在一个电力巡检项目里做过类似的尝试当时的目标是检测绝缘子、销钉这些电力部件天气条件涵盖晴天、阴天、小雨、大雾。基线模型在晴天mAP能到0.75大雾天直接掉到0.42。用了MoE加动态路由之后大雾天mAP恢复到0.61晴天基本没掉。提升还是很明显的。但有几个点值得注意。一是专家数量不是越多越好我试过8专家结果路由网络训练很慢而且精度比4专家只高了0.5个点性价比不高。二是任务导向增强模块的参数量要控制我一开始加了个比较重的增强网络结果推理速度掉了一半后来换成轻量版的才把速度拉回来。三是域划分的粒度我一开始按天气类型分了6个域后来发现有些域的样本太少专家学不好合并成4个域之后效果反而更好。另外TDRE这类方法对标注质量的要求比普通检测器更高。因为路由网络需要根据输入特征判断域如果标注噪声大路由学到的域特征也会被污染。建议在训练前做一轮标注清洗至少把明显错误的标注修掉。最后分享一个小技巧如果你手头的恶劣天气数据很少可以先用合成数据预训练专家模块再用真实数据微调。合成数据虽然不够真实但能让专家先学到基本的退化模式微调时收敛更快。合成时注意控制退化程度不要合成得太极端否则和真实数据差距太大反而有害。