文章目录
适用于算法训练的免费FLIR热数据集
前言
FLIR热数据集于2018年7月发行，帮助开发人员开发并训练卷积神经网络，使汽车行业能够使用FLIR的高性价比热像仪，开发新一代更安全、更高效的ADAS和无人驾驶汽车系统。
为何ADAS要使用FLIR热传感技术？
在ADAS环境中，感知热红外辐射或热量的能力为可见光相机、激光雷达和雷达系统等现有传感器技术提供了独特的互补优势：
凭借在汽车领域15年以上的服务经验，FLIR打造了唯一一款与汽车完美匹配的热传感器，目前已在超过50万辆汽车的驾驶员预警系统中部署。
FLIR热传感器通过提供激光雷达、雷达和可见光相机之外的补充数据集，在完全漆黑、烟雾、恶劣天气和眩光等具有挑战性的天气条件下，可检测并区分行人、骑行者、动物和机动车辆。检测范围是普通前大灯的四倍。
在与可见光数据和从激光雷达和雷达获得的距离扫描数据相结合时，热数据配上机器学习功能，打造更全面的检测和分类系统。
数据集详解
| 项目 | 注意 |
|---|---|
| 内容 | 同步注释热图像和无注释RGB图像供参考。热像仪中心线相距大约2英寸并且经校准以最大限度地减小视差 |
| 图像 | 共14,000张图像，其中10,000张来自短视频片段，另外4,000张BONUS图像来自一段140秒视频 |
| 图像捕获刷新率 | 以30Hz帧率记录。数据集序列以2帧/秒或1帧/秒速率采样。视频注释以30帧/秒记录。 |
| 帧注释标签总数 | 共计10,228帧，其中9,214帧带边界框。 |
| 1.人（28,151） | |
| 2.汽车（46,692） | |
| 3.自行车（4,457） | |
| 4.狗（240） | |
| 5.其它车辆（2,228） | |
| 视频注释标签总数 | 共计4,224帧，其中4,183帧带边界框。 |
| 1.人（21,965） | |
| 2.汽车（14,013） | |
| 3.自行车（1,205） | |
| 4.狗（0） | |
| 5.其它车辆（540） | |
| 驾驶环境 | 11月至5月期间日间（60%）和夜间（40%）晴到多云天气行驶在加利福尼亚州圣巴巴拉市街道和公路上。 |
| 捕获热像仪技术参数 | IR Tau2 640×512，13mm f/1.0（HFOV 45°，VFOV 37°）FLIR BlackFly（BFS-U3-51S5C-C）1280×1024，Computar 4-8mm f/140-1,600万像素镜头（视场角设置为匹配Tau2） |
| 数据集文件格式 | 1.14位TIFF热图像（无AGC） |
| 2.8位JPEG热图像（应用AGC），图像中未嵌入边界框 | |
| 3.8位JPEG热图像（应用AGC），图像中嵌入边界框便于查看 | |
| 4.RGB - 8位JPEG图像 | |
| 5.注释：JSON（MSCOCO格式） | |
| 示例结果 | 通过利用本数据集微调RefineDetect512获得的mAP得分为0.587（50% IoU），并使用保持验证集进行测试。 |
标记注释：
注解者被要求使边界框尽可能紧。省略物体的小部分(如肢端)的紧边界框比宽边界框更受欢迎。个人用品不包括在人身上的包裹盒里。当发生遮挡时，只标注对象的非遮挡部分。对于人和狗来说，头和肩膀比身体的其他部位更容易被包含在这个包里。当遮挡只允许部分肢体或物体的其他次要部分可见时，它们没有被标注。车轮是自行车类别的重要组成部分。通常被车手遮挡的自行车部件，如车把，并没有包含在这个包裹盒中。骑自行车的人和自行车分开标注。当一个对象被一个遮挡分割时，对对象的两个可见部分给出两个单独的注释。
仅为热图像创建注释。热成像相机和RGB相机在车辆上的位置不相同，因此具有不同的观察几何形状，因此热注释不能代表物体在RGB图像中的位置。你无法使用该数据集下的RGB图像进行训练，因为没有Ground True标签。
文件格式：
- train（8862张图像）序号：1-8862
Annotated_thermal_8_bit: 该文件夹包含经过处理的8位热数据，以便将来自ground true文件夹的注释边界框覆盖在这些数据上。thermal annotations.json: 这些ground true标签通常以MSCOCO注释风格格式化。thermal_8_bit8位，AGC应用，.jpeg格式的图像，否则与thermal_16_bit文件夹中的图像相同。RGB: 8位RGB(三通道)图像。注意，Training中的499张图像、Validation中的109张图像和Video中的29张图像没有RGB对应图像。图像分辨率一般为1600 X 1800，也有480 X 720、1536 X 2048、1024 X 1280等不同分辨率的图像。- val（1366张图像）序号：8863-10228
- video（4224图像）序号：1-4224
数据集下载
官网链接：https://www.flir.com/oem/adas/adas-dataset-form/
链接：https://link.zhihu.com/?target=https%3A//pan.baidu.com/s/1yJ5LDpvuj4M27MLmD9OsJw
提取码: 9il7
目标检测网络
目前，看到大家的训练多数是在yolov3, yolov4, yolov5中，Yolo系列我也进行了训练在yolov5上，整个调试过程还较为简单，当然，如果大家需要的话，我也可以写一个新的博客来为大家讲解yolov5上的训练过程。需要的话可以评论区见=_=||。
先暂时附一张训练结果图：
图片有点小，左下角是val-loss，能看到后期有点过拟合了，训练到150epoch其实就差不多了，检测结果也可以露出两张供大家参考！
也强调一下，对于这样的检测结果，确实是让我出乎意料，能够有效的在夜间行车，检测效果相比RG图像有很不错的提升，从结果中也可以看出网络是深入地进行了单通道图像的学习，也将我的顾虑给打消掉了。
Faster RCNN训练FLIR数据集
YOLOV5 训练FLIR数据集
写的比较简单，重点内容写了，一些内容可以参考Faster RCNN