官方网站-首页
2026-07-27 13:51:21
（来源：计算机视觉研究院）
计算机视觉研究院
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
https://pmc.ncbi.nlm.nih.gov/articles/PMC12568217/pdf/sensors-25-06478.pdf
计算机视觉研究院专栏
Column of Computer Vision Institute
本文提出了面向恶劣天气的增强型 YOLOv11 框架 ——DFA-YOLO。它通过可变形空间注意力、分层多尺度融合与改进 Wasserstein 损失三大核心创新，针对性解决复杂天气下的特征退化问题。在雾天 RTTS 数据集上，mAP50 相比原生 YOLOv11n 提升 3.4%；在暗光 ExDark 数据集上同样实现全指标上涨，同时保持了轻量高效的推理速度。
PART/1
痛点
现有目标检测模型大多在晴天、光照充足的理想数据集上训练，一旦进入真实复杂环境，性能会出现显著衰减：
浓雾会大幅降低画面对比度，远处目标与背景融为一体；
雨天的运动模糊、积雪的遮挡噪声，会破坏目标的纹理与边缘特征；
低光环境信噪比极低，小目标细节几乎完全丢失。
早期方案多采用 “图像预处理 + 检测” 的两段式思路，先去雾、去雨再做检测，但不仅计算成本高，修复过程还容易引入伪影，反而误导检测模型。后续的多任务联合优化、域适配等方法，又存在结构复杂、训练难度大的问题。
DFA-YOLO 选择从检测网络本身入手，在 YOLOv11 的基础上对骨干、颈部、损失函数进行全链路优化，在可控的计算增量下，大幅提升恶劣天气下的检测鲁棒性。
PART/2
创新
【DFA-YOLO 整体网络结构图】DFA-YOLO 沿用单阶段检测架构，由轻量化骨干网络、带多尺度融合的颈部网络与三个检测头组成，三个创新模块分别嵌入对应位置，形成协同优化。
1. 骨干升级：C3k2-DSA 模块，动态适配目标形变
YOLOv11 原生的 C3k2 模块效率很高，但固定网格的卷积采样方式，在目标遮挡、几何形变、雾天模糊的场景下，很难精准捕捉有效特征。
团队将可变形空间注意力（DSA） 嵌入 C3k2 的瓶颈结构中，放在第二层卷积之后，让每个卷积块都能通过可变形卷积核动态调整采样点，自适应聚焦信息最丰富的关键区域。
【C3k2-DSA 模块结构图】该模块的核心设计是将传统可变形卷积拆解为 x 轴、y 轴两个独立的条形可变形卷积，配合空间门控机制：
沿水平、垂直两个方向自适应学习采样偏移，灵活适配目标的形状与位置；
两路特征通过逐元素相乘融合，生成空间注意力图，再通过残差连接保留底层信息。
最终模块几乎不增加参数量与计算量，却能让骨干网络突破固定感受野的限制，在复杂场景下提取出更具判别力的特征。
2. 颈部增强：HMFM 分层多尺度融合，大小目标全覆盖
恶劣天气下，大目标的全局语义、小目标的局部细节会同时被噪声削弱。传统单尺度注意力机制，很难兼顾从行人到大巴车的巨大尺度差异；固定膨胀卷积也无法适配复杂天气下不规则的目标尺度分布。
为此团队设计了分层多尺度融合模块（HMFM），用四条并行分支构建从局部到全局的感受野金字塔，让不同尺寸的目标都能匹配到最合适的特征提取尺度。
【HMFM 模块结构图】模块的核心设计包括：
四档尺度分支：小目标用 (1,5)/(5,1) 异构核捕捉边缘细节，中目标用 (1,9)/(9,1) 核扩展语义范围，大目标与超大目标通过膨胀卷积捕捉全局轮廓；
轻量门控机制：在小、中尺度分支后加入门控，避免恶劣天气下小目标细节被过度平滑；
自适应加权融合：通过权重生成器根据输入内容动态调整各尺度的融合权重，再结合通道注意力、全局上下文增强与多统计量空间注意力，进一步强化特征区分度。
3. 损失优化：SWAWIoU 损失，小目标定位更精准
恶劣天气下目标边界模糊，传统 IoU 类损失容易出现梯度消失或震荡，对像素占比极低的小目标尤其不友好，经常出现定位不准、漏检的问题。
团队基于 Wasserstein 距离，结合小目标自适应加权与 WIoU 的动态梯度调制，提出了小目标 Wasserstein 自适应 WIoU 损失（SWAWIoU）：
将检测框建模为二阶高斯分布，用 Wasserstein 距离衡量框的相似度，相比 IoU 梯度更平滑稳定，更适合模糊目标的回归；
加入尺度敏感增强因子与面积惩罚项，自动提升小目标的损失权重，引导模型关注易被忽略的小目标；
引入 WIoU 的动态非单调聚焦机制，降低低质量锚框带来的有害梯度，提升训练稳定性。
PART/3
实验
团队在两类典型恶劣天气数据集上完成了充分验证：雾天场景的 RTTS 数据集（4322 张图像，5 类交通目标）、暗光场景的 ExDark 数据集（7363 张图像，12 种光照条件），所有实验均基于 YOLOv11n 基线，训练配置完全一致。
1. 消融实验：每个模块都带来实打实的提升
【RTTS 数据集消融实验结果表】在 RTTS 雾天数据集上，三个模块独立加入均能带来稳定增益：
仅加入 C3k2-DSA：mAP50 从 72.3% 提升至 73.1%，参数量基本不变；
仅加入 HMFM：mAP50 提升至 73.8%，计算量小幅上涨，收益最高；
仅替换 SWAWIoU 损失：mAP50 提升至 73.5%，推理速度甚至略有提升。
三者结合的完整 DFA-YOLO，最终 mAP50 达到75.7%，相比基线提升 3.4%；mAP50-95 达到 50.8%，提升 2.8%。
【ExDark 数据集消融实验结果表】在暗光 ExDark 数据集上，完整模型 mAP50 从 56.0% 提升至 59.6%，mAP50-95 从 34.4% 提升至 36.4%，证明了方法跨场景的泛化能力。
2. 损失函数横向对比：SWAWIoU 全面胜出
【不同损失函数性能对比表】和 CIoU、EIoU、SIoU、WIoU、ShapeIoU 等 7 种主流损失函数相比，SWAWIoU 在 mAP50 和 mAP50-95 两项核心指标上均排名第一，相比基础 Wasserstein 损失，mAP50 提升 1.8%，验证了小目标加权与动态梯度机制的有效性。
3. 与 SOTA 模型对比：轻量量级精度领先
【RTTS 数据集与主流检测模型对比表】和 SSD、Faster R-CNN、YOLO 全系列、RT-DETR 等主流检测模型相比，DFA-YOLO 仅用 6.6 GFLOPs 的计算量，就取得了 RTTS 数据集 75.7% 的最高 mAP50，精度显著优于同量级的 YOLOv11，也超过了不少计算量更大的模型。
【ExDark 数据集与主流检测模型对比表】在 ExDark 暗光数据集上，DFA-YOLO 同样表现优异，mAP50 达到 59.6%，在轻量检测模型中处于第一梯队。
4. 可视化效果：漏检显著减少，注意力更聚焦
【YOLOv11 与 DFA-YOLO 检测效果对比图】从实际检测样例可以直观看到：原生 YOLOv11 在雾天、暗光下容易漏检远处车辆、小尺寸行人；而 DFA-YOLO 能更稳定地识别出各类目标，边界框也更贴合目标实际轮廓。
【Grad-CAM 热力图对比图】Grad-CAM 热力图进一步验证：DFA-YOLO 的注意力更集中在目标本身的关键区域，受雾气、暗光等环境噪声的干扰明显更少。
当然研究团队也指出了当前方案的局限：极端小目标在严重天气退化下依然存在漏检风险，这也是后续研究将重点突破的方向。
【极端小目标失败案例对比图】PART/4
总结与展望
DFA-YOLO 针对恶劣天气下目标检测的核心痛点，从三个维度完成了系统性优化：
：C3k2-DSA 模块实现可变形自适应采样，让骨干网络灵活适配形变与遮挡；
：HMFM 分层多尺度融合，兼顾大目标全局语义与小目标细节；
：SWAWIoU 损失适配模糊边界与小目标，让定位更精准、训练更稳定。
在雾天、暗光两类典型恶劣场景下，模型均实现了显著的精度提升，同时保持了轻量高效的推理特性，为自动驾驶、智能交通在复杂真实环境下的落地提供了更可靠的感知方案。
有相关需求的你可以联系我们！
400-86503662
分类、检测还是分割？一文读懂计算机视觉三大核心任务
