目标跟踪还有哪些可以优化的方向?多传感器融合跟踪100问!

点击下方卡片,关注“自动驾驶之心”公众号

ADAS巨卷干货,即可获取

最近很多小伙伴对多传感器融合与跟踪相关的内容表现出较大兴趣,也向我们提出了很多问题,为了方便大家学习,自动驾驶之心在这里做好了整理,暂定100问,后面将持续更新,主要是学术界和工业界最常遇到的问题,希望能够帮助到大家!

所有内容出自:自动驾驶之心多传感器融合与目标跟踪课程

f885838bf593b4149ec7a62d755b0a8b.jpeg

1)车道线跟踪的话,一般用哪种关联匹配方式,或者有没有相关资料论文推荐的?

车道线跟踪我不太了解,我自己主要是做MOT相关领域的,是针对前景目标级的跟踪任务。不过相近的,如果将每一条车道线实例当做一个目标的话,大致思路应该差不多。能想到的有: 位置,曲率,或者根据拟合曲线预测的重叠面积之类的

双节全部课程8折优惠!

cd4acb341202e2712ecf98e0ce57d23d.png

扫码领取优惠券

2)面试会不会手撕卡尔曼滤波啊?

面试具体内容跟公司和面试官个人喜好关系比较大。不过,coding这方面,对于应届生应该大多数还是LeetCode类的题目比较多,因为比较容易量化评估和测试。对于具体类似手撕卡尔曼滤波算法,应该不会说直接上手实现,毕竟朴素的卡尔曼滤波就5个公式,脱离具体应用谈实现没有意义,更多的应该还是问原理性的东西,以及对算法本身的理解。

3)哪里可以找到3D目标跟踪MOTA计算的代码吗?

可以参考下面几个仓库:

https://github.com/xinshuoweng/AB3DMOT/blob/master/scripts/KITTI/evaluate.py

https://github.com/ifzhang/ByteTrack/blob/d1bf0191adff59bc8fcfeaa0b33d3d1642552a99/tools/interpolation.py#L14

https://github.com/cheind/py-motmetrics

4)如果是面有相关实习经历的学生,一般会问啥?

一般比较关注几个方面:

  1. 基础知识:包括语言类,算法类等

  2. 工程业务:类似性能优化,算法实现,编程技巧

  3. 扩展发散:设计场景和Corner case,关注候选人如何思考和解决问题

  4. 最后是沟通表达等一些软实力

5)老师请教下,航迹管理的逻辑是怎样的,比如航迹的生成和消除这些,有没有资料可以参考下?

文献资料里的都大同小异,可以看SORT/DeepSORT,我记得讲的稍微细致点。

6)在自动驾驶中,什么场景会用到粒子滤波?感觉跟踪用EKF,UKF比较多吧?

粒子滤波处理非线性过程的效果大大优于卡尔曼滤波系列,因此适用于强非线性的问题。自动驾驶感知里面强非线性的问题较少,对精度要求不像定位那么严格,用粒子滤波不太划算。

7)目前量产的项目上,雷达与摄像头数据融合的关联匹配用的是哪种算法呢,km还是匈牙利匹配?

KM和匈牙利都是常用的指派匹配算法,在目标关联的指派环节的算法很多,km只是带权的最优匹配,也可以用贪婪指派等,具体可以根据使用的相似度metric特性来选取。你说的KM和匈牙利有什么不同吗?课程里面提到过,这两个算法的名称在业界有混用的现象,但本质上做数据关联都是一个二部图最大/最小权匹配问题,不管叫KM还是匈牙利指的都是同一个问题。不带权的最大匹配问题在感知场景里应该用不上。

8)我们现在的单Vision的速度预估很不准,也不太稳定!动不动就给障碍物预估出一个负向速度。之前用的是LSE现在正在往KF方法切换

还是要先看下位置观测的质量,比如它如果连续几帧都在反向运动,那估计出反向速度是正确的。如果是偶尔的误差,那可能是滤波参数太敏感了。如果它完全是随机跳动,那可能要用很长的时间窗口去平滑了。观测数据质量太差的话,巧妇难为无米之炊。

9)只基于 radar 的 点云数据 做车辆的多目标追踪应该是一个什么样的流程呢?这是不是在工业界有一套很成熟的方案,没有找到相关的开源代码

可能因为传统方法在工业界成熟所以没有具体开源的代码 一般是传统Tier1做的比较多,先是目标检测,有传统的聚类方法,也有DL方法,得到目标后就是单传感器多目标跟踪了,我们后面的课程会涉及到。

10)请问数据关联这一节有参考的书吗?

可以参考一些MOT的paper,在目标关联环节有一些综述性质的分析,书我不太了解,据我所知应该没有直接相关的书籍。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾,如果您希望分享到自动驾驶之心平台,欢迎联系我们!

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合多传感器标定多传感器融合多模态3D目标检测点云3D目标检测目标跟踪Occupancy、cuda与TensorRT模型部署协同感知语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频(扫码即可学习

7837deaba13e3749c57656d4ae906961.png 视频官网:www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区,涉及30+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!

fd9e67c4cd82d31aaacbba4ecf3c477f.png

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)

e8de556de48b0b83038bad0eb073a223.jpeg

④【自动驾驶之心】平台矩阵,欢迎联系我们!

988575d33c70865c324bde5178faa212.jpeg

猜你喜欢

转载自blog.csdn.net/CV_Autobot/article/details/133398649