机器人抓取中物体3D定位算法介绍

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/dsoftware/article/details/97048746

引言

常见的目标检测方法能够获得物体的2D包围盒(Bounding Box),然而这对于机器人抓取任务是不够的。机器人抓取需要知道物体的准确朝向,进而确定抓取点。针对纹理丰富的物体,可以使用SIFT等特征点与模板图像匹配进行定位;对于弱纹理或无纹理物体,可以使用稳定的梯度或者深度图法向进行匹配,进而恢复位姿;一些基于parts进行投票的方法也取得了很好的效果;然而,这些方法对于光照和杂乱场景效果很不好;因此,在实际应用中,仍然主要采用基于Depth图像的方法,先进行全局配准,再基于ICP等方法细配准。

配准方法介绍

当两片点云已有一个较好的初始姿态(close alignment)时,可以不使用全局配准,只使用局部配准(Local Registration)方法refine姿态,局部配准方法包括ICP(point-to-point,point-to-plane),Sparse-ICP,以及其他变种;

当两片点云处于任意姿态(in arbitrary initial poses),需要使用全局配准(Global Registration)方法;最早可以采用RANSAC方法随机选择3对点计算变换T,但复杂度最高O(n3);其后,一类方法(4PCS等)使用各种优化方法降低RANSAC的复杂度;一类方法根据点云的局部特征描述符(SpinImage,FPFH,SHOT等)寻找点与点之间的对应得到T;全局配准方法可以使用局部配准方法优化结果;

最新论文中采用方法

在AmazonPickChallenge2016冠军的论文《2016-Team Delft’s》中,他们使用了Super 4PCS《2014-Super 4PCS》,这是进行全局配准中较好的方法,与ICP,Sparse-ICP,4PCS等方法相比,在精度、速度和鲁棒性上都有极大提升;4PCS使用共面4点集合表示一个候选匹配,Super 4PCS改进了4PCS,首先解决了初始配对选择问题,并且使用了一种索引数据结构有效去除了冗余配对,速度得到了极大提升;

在2016年AmazonPickChallenge的三四名论文《2017-Multi-view Self-supervised》中使用的配准方法为ICP,不过他们融合了多个细节:

  • 多视角采集:由于相机和触手紧密连接,单个视角下触手的可操作范围有限,因此通过借助机械臂精确姿态融合多个视角下的数据,可以得到相对全局的画面,增大了可操作范围;

  • 去除噪声:噪声是由于传感器误差,或者由于分割引入;首先,去除传感器噪声带来的空间离群点,即去除所有距k最近邻点距离大于一定值的点;其次,消除分割带来的噪声(主要在边界上),去除距其他已分割物体较近的点;最后,根据PCA计算出主轴,得到最大连续点集合,去除与该集合不相交的点;

  • 去除重复物体:已知具有N个物体实例,对于分割至同一label下的点云,进行k-means聚类N簇,每一簇单独处理即可;

  • 对数据进行均匀采样:垂直于传感器光轴的方向扫描的点数目多,平行的点少,这对于ICP有极大影响,因此,可以对3D空间进行均匀采样,使3D点均匀分布;

  • 位姿初始化:ICP对于初始位姿敏感,PCA能够给出初始物体朝向的近似;同样可以使用点云的重心作为物体的几何重心,但是,由于观测的点云只是部分数据,这两个中心具有偏差。因此,他们将初始位置沿光轴方向平移半个物体包围盒长度,这种操作实测后非常有效;

  • 由粗到细ICP:设置ICP中的内点阈值,首先设置90%的内点阈值,能够将完整模型向部分视角的正确点云部分更接近;其次设置较低的内点阈值45%,忽略掉点云的噪声部分,得到一个更精确的阈值;

Seg-ICP[2017-SegICP] 提出了一种Multi-Hypothesis Object Pose Estimation方法,能够实时精确估计物体的姿态;初始位姿获取部分能够寻找到最佳的对齐位置以及模型的裁切部分。首先,通过在多个方位和倾斜角渲染物体的可见部分,只保留前面得到多个候选的裁切点云;其次,每一个候选的裁切点云在场景物体部分点云的中值点进行初始化,这样能有效避免ICP陷入错误的局部最优;最后,提出一个model-to-scene对齐度量作用于所有候选裁切点云上,选择具有最高对齐评分的裁切点云作为最终结果;

2017年Princeton团队又提出了基于深度学习特征描述符的方法[2017-3DMatch],该特征描述符吊打了之前手动设计的描述符,在APC配准任务上,比《2017-Multi-view Self-supervised》效果又得到了提升;文中也提到了基于SpinImages、FPFH的方法与《2017-Multi-view Self-supervised》效果接近;

总结

不使用深度学习的方法中,可测试方法包括Super 4PCS,《2017-Multi-view Self-supervised》中ICP方法,SegICP中方法,SpinImages,FPFH等。使用深度学习的方法可以采用[2017-3DMatch]方法。

参考文献

2014-Super 4PCS Fast Global Pointcloud Registration via Smart Indexing

2016-Team Delft’s Robot Winner of the Amazon Picking Challenge 2016

2017-SegICP Integrated Deep Semantic Segmentation and Pose Estimation

2017-Multi-view Self-supervised Deep Learning for 6D Pose Estimation in the Amazon Picking Challenge

2017-3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions

猜你喜欢

转载自blog.csdn.net/dsoftware/article/details/97048746
今日推荐