基于点云曲率的图像特征提取方法

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

引子

在无人驾驶领域，车子的实时精确定位是至关重要的。相机由于其成本低、体积小、视觉信息丰富，在无人驾驶的感知、定位系统中被广泛使用。

基于特征点法的视觉里程计方法，关键就在于特征点的选取与匹配。而传统的图像特征提取与匹配算法虽然能提取到具有尺度不变性、旋转不变性甚至光照不变性的特征点，并根据计算的特征描述子精确地匹配，但是算法性能的提升的同时，计算量也在增加。无人驾驶汽车上配备有多种传感器，传感器数据处理过程、感知过程、规划过程、决策过程、控制过程都会占用系统计算资源，因此一种快速准确的特征提取方法是非常有必要的。

算法原理

• 点云相对图像来说，是非常稀疏的，借助点云的稀疏性加速特征提取过程

• 场景中物体的轮廓边缘部分往往具有不错的梯度特征

• 光流法可以用来替代特征匹配的过程

算法流程

扫描二维码关注公众号，回复： 11441041 查看本文章

1. 使用LOAM中提出的点云曲率提取方法提取曲率点

2. 将曲率点投影到图像上

3. 判断投影点的梯度是否明显，如果明显则认为是特征点；如果不明显，检测投影点邻域像素点的梯度，将梯度明显的像素点作为特征点

4. 使用LK光流法对特征点进行跟踪

5. 当特征点数目小于阈值时，回到１

实验结果与分析

在KITTI Raw Data上进行实验，使用KITTI中的点云数据和单目图像。首先在点云中提取曲率点并投影到图像上，KITTI中提供的激光雷达和相机的外参感觉并不是很准确，于是重新进行了标定：

标定前曲率投影

标定后曲率投影

在每帧点云中提取曲率点，投影到图像上

可以看到，LOAM中的方法可以提取到物体的轮廓边缘，但是同样也存在一些噪点，需要进一步考虑排除。

0095_Shi-Tomasi_光流

0095_曲率投影_光流

通过设置对照实验，对基于点云曲率的特征提取方法进行评估。一组实验是提取Shi-Tomasi角点+光流的特征提取与匹配方案，另一组是曲率投影点+光流的特征提取与匹配方案，通过对比，可以发现基于点云曲率的特征点具有以下特点：

1. 特征点集中在物体轮廓边缘附近

2. 不会提取到远处的特征点，保证特征点具有较大的视差

3. 光流跟踪的效果没有Shi-Tomasi角点的效果好（不能较长时间的跟踪）

4. 经过验证，基于曲率的特征提取算法在运行时间上大概是Shi-Tomasi的四分之一

最后，在0061序列上进行了里程计实验（没有优化），结果表明基于点云曲率的特征提取方法可以提高里程计的定位精度：

0061里程计结果

关于本次推送的代码部分，主要基于LOAM的ScanRegistration.cpp部分进一步修改，特征提取的代码部分见：

https://github.com/LeisureLei/VLO

以上就是本次的全部推送内容，主要介绍了一种基于点云曲率的特征提取方法并对实验结果进行分析。

本文仅做学术分享，如有侵权，请联系删文。

推荐阅读：

• 专辑|相机标定
  

• 专辑|3D点云
  

• 专辑|SLAM
  

• 专辑|深度学习与自动驾驶
  

• 专辑|结构光
  

• 专辑|事件相机
  

• 专辑|OpenCV学习
  

• 专辑|学习资源汇总
  

• 专辑|招聘与项目对接

• 专辑|读书笔记

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题