论文阅读笔记——YOLOP: You Only Look Once for Panoptic Driving Perception

  针对自动驾驶领域的全景驾驶感知系统而设计的网络,能够同时实现交通目标检测、可驾驶区域分割、车道检测。能够做到高精度和实时性,可在嵌入式设备Jetson TX2上运行。
  多任务网络的优势:①速度快,可以同时并行处理多个任务,而不是串行地一个一个任务去完成。②可在不同任务之间共享信息,通常多任务网络共享相同的特征提取主干。
  网络结构:一个轻量级CNN用于提取特征 + 三个解码器用于完成三个任务
  检测解码器使用one-stage检测网络:①one-stage网络比two-stage网络速度快,更能适应实时性的要求。②one-stage的预测机制更适合语义分割任务,编码器输出的feature map融合了不同尺度的语义信息,分割分支可利用这些特征图完成像素级的语义预测。
  Grid-based 的检测任务预测机制与语义分割任务的预测机制更相关。

在这里插入图片描述

  Encoder:编码器包括backbone和neck
  Backbone:用于提取图像特征,选用CSPDarknet,解决了优化过程中的梯度复制问题,支持特征传播和特征重用,从而减少了参数和计算量,利于保证网络的实时性能。
  Neck:用于融合主干生成的特征,由空间金字塔池化(Spatial Pyramid Pooling,SPP)模块和特征金字塔网络(Feature Pyramid Networks)模块组成。SPP生成并融合不同尺度的特征,FPN融合不同语义层次的特征,使得生成的特征包含多尺度和多语义层次的信息。
  Decoder:解码器包括Detect Head、Drivable Area Segment Head、Lane Line Segment Head

猜你喜欢

转载自blog.csdn.net/python_plus/article/details/130605231