TPAMI 2025 | 国防科大提出RGBT-Tiny数据集与SAFit指标,推动小目标检测技术发展

点击上方“小白学视觉”,选择加"星标"或“置顶

重磅干货,第一时间送达图片

以下文章转载自我爱计算机视觉

在无人机监控、自动驾驶、夜间搜救等场景中,小目标检测(如远处行人、微型无人机)一直是技术难点——目标尺寸小、背景干扰多、光照条件复杂。

现有数据集多聚焦单一模态(可见光或红外成像),且目标尺寸偏大、场景单一,难以满足实际需求,针对可见光-红外双模态(Visible-Thermal, RGBT)小目标检测的研究却鲜有突破。

为了填补这一空白,国防科技大学团队最新发布RGBT-Tiny基准数据集SAFit评价指标,填补领域空白,为RGBT小目标检测提供了一个全新的基准和评估工具。

  • 项目地址:https://github.com/XinyiYing/RGBT-Tiny

  • 论文链接:https://doi.org/10.1109/TPAMI.2025.3544621

  • 论文标题:Visible-Thermal Tiny Object Detection: A Benchmark Dataset and Baselines


RGBT-Tiny:首个大规模RGBT小目标检测数据集

图1 RGBT-Tiny数据集示例
图1 RGBT-Tiny数据集示例
  • 丰富多样:115组对齐序列、9.3万帧图像、120万标注,覆盖7类目标(如船舶、汽车、行人等)和8种场景(如海洋、湖泊、城市道路等)。

  • 极致挑战:81%目标小于16×16像素,包含极端光照(白天高光、夜间低光/不可见光)和高密度场景(单帧最多161个目标)。

  • 精准对齐:通过专业校准和图像裁剪,解决可见光与热成像镜头的视场和分辨率偏差,确保跨模态数据精准匹配。

  • 应用广泛:提供双光匹配的边界框标注和跟踪ID,支持多模态融合、目标检测和跟踪等多种任务。


SAFit:适应不同目标尺度的鲁棒评价指标

图2 不同评价指标的量化结果对比
图2 不同评价指标的量化结果对比

传统基于IoU(Intersection Over Union)度量的小目标检测评价指标对小目标的位置偏差敏感,难以准确评估检测性能。

为此,研究团队提出了一种新的评价指标SAFit(Scale Adaptive Fitness),通过Sigmoid加权IoU和NWD(Normalized Wasserstein Distance),能够根据目标的尺寸动态调整评估权重:

  • 对于小目标,SAFit更关注位置偏差的鲁棒性;

  • 对于大目标,SAFit更注重边界框的精确度。

实验表明,SAFit能够实现可调控多尺度目标鲁棒评估,配套设计的SAFit损失函数优化检测模型的训练收敛。


实验验证:30种算法全面评测

表1 不同算法检测性能量化结果对比

基于RGBT-Tiny数据集和SAFit指标,研究团队对30种主流目标检测算法进行了全面评估,包括:

  • 可见光通用目标检测(如YOLO、Faster R-CNN);

  • 可见光小目标检测(如RFLA、QueryDet);

  • 热红外小目标检测(如ACM、DNA-Net);

  • RGBT目标检测(如UA-CMDet、CMA-Det)。

研究团队总结跨模态语义冲突等核心挑战和跨模态语义调制等有效方案,为该领域提供了重要数据基准与方法论参考。

对更多实验结果和文章细节感兴趣的读者,可以阅读论文原文~

下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

猜你喜欢

转载自blog.csdn.net/qq_42722197/article/details/147056565
今日推荐