点云配准国内外研究现状、发展动态

在这里插入图片描述

爬虫网站自重。

  点云融合一般也称点云配准或点云拼接。多期车载点云的融合,其本质是通过点云数据中配准基元的选取、同名基元的匹配等操作,消除因GNSS定位、IMU姿态估计等系统误差及众多偶然误差导致同一区域在不同时期获取点云中的位置不一致问题。
  城市道路场景点云数据配准研究中,主要分为不同测站的固定站(terrestrial laser scanning,TLS)点云配准、多期MLS点云的两两配准、TLS点云与MLS点云的配准。其主要的方法包括如下几种:

1. TLS点云数据的配准

(1)两站TLS点云粗配准
  根据配准基元的不同,TLS点云自动化粗配准方法可以分为基于线特征的方法、基于面特征的方法和基于点特征的方法。直线和平面是城市中最常见的几何基元,被广泛应用于城市TLS点云粗配准。2003年Stamos等[7]提出一种基于线特征的大范围城市场景点云配准算法,首先提取点云中的平面及相邻平面的交线,然后利用同名直线计算两站点云之间的变换矩阵。2006年Dover等[8]利用区域生长策略提取点云中的平面,然后利用平面的面积、周长、外接矩形等作为约束条件计算同名平面,最后利用至少三对相互正交的同名平面计算两站点云之间的变换矩阵。2013年Liang等[9]利用多尺度金字塔的RANSAC方法提取点云中的平面,并计算任意三个非平行平面的交点作为配准基元;然后提取平面间的夹角、平面尺寸、平面粗糙度等特征作为约束条件计算同名配准基元,并利用配准基元之间欧氏距离一致性原则剔除错误同名配准基元;最后利用剩余的同名配准基元计算两站点云之间的变换矩阵。2016年杨必胜[10]等提出一种融合线特征和面特征的大范围城市场景点云自动配准方法,首先利用点云高程切片的方式提取点云中的平面交线和杆特征,并计算特征与地面的交点作为配准基元;然后利用任意相邻三个配准基元点组成特征三角形,并通过同名三角特征计算两站点云之间的变换矩阵。2017年Xu等[11]首先把点云体素化为规则格网,并利用平面拟合方法提取点云中的平面;然后利用基于RANSAC的策略选择最佳匹配同名平面集合;最后利用同名平面集合计算两站点云之间的变换矩阵。
  由于点特征对多场景的适用性,基于点特征的两站点云粗配准方法受到更多研究者的青睐。2010年Zhong等[12]首先提取待配准点云的ISS关键点并计算ISS描述子,然后根据每一个同名特征对计算源点云与目标点云之间的变换矩阵。2013年Guo等[13]首先利用RoPS描述子欧氏距离最小作为约束条件计算源点云与目标点云之间的同名特征点集,并利用同名特征计算源点云和目标点云的变换矩阵;然后对变换矩阵进行聚类,同名特征对数量最多的聚类被认为是正确同名特征对集合,并利用此同名特征对集合重新计算源点云与目标点云之间的变换矩阵。2015年Weber等[14]首先利用源点云和目标点云的FPFH描述子互为最优匹配且最优匹配显著优于次优匹配的策略计算同名特征对集合;然后利用RANSAC方法随机选取三个同名点对用于计算源点云与目标点云的变换矩阵,并计算转换后点云之间的重叠度;迭代计算选择重叠度最大的一次结果作为最终转换参数。2016年杨必胜[15]等利用源点云与目标点云中语义三角形互为最优匹配的原则,利用几何一致性对同名特征对进行聚类,把同名特征对数量最多的聚类作为正确同名特征对集合,并利用此同名特征对计算变换矩阵。2017年Zai等[16]融合特征相似性和几何一致性构建全局能量方程,把点云配准配准转化为能量最优问题,利用博弈论方法优化求解获得全局最优的同名特征对集合。
(2)多站TLS点云粗配准
  对多站TLS点云粗配准而言,点云之间的重叠度和相对位置关系都是未知的,这使得多站TLS点云配准的难度显著高于两站配准[17]。多站点云粗配准算法涉及三个相关联的任务:①恢复多站点云之间的重叠信息或相对位置关系;②估计两站重叠点云之间的变换矩阵;③将所有输入点云统一到相同坐标系下。为解决多站点云粗配准难题,国内外学者提出大量的多视匹配策略。这些算法大致可分为:基于最小生成树的方法[18]、基于能量优化的方法[19]、基于形状生长的方法[20]。
(3)点云精配准
  精配准使用最广泛的方法是Besl等[21]提出的ICP算法及其众多改进算法,它们都执行非凸误差函数的局部最小化。与基于特征的配准不同,ICP算法是通过迭代修正两个原始点集的刚体变换,以最小化所有点对之间的距离。ICP的主要缺点是①算法容易陷入局部最优,对点云的初始位置要求较高,②最近邻点存在多对一的问题导致算法效率不高。一般而言,基于ICP的精配准算法包括选择代表性子集、最近点对应估计、错误匹配剔除、误差度量和转换估计等步骤。针对ICP算法的各个步骤,国内外学者提出大量的优化改进方法。
A.抽样代表性子集
  根据应用和传感器的不同,获取的点云可能很大。对于配准任务来说,原始点云往往存在大量冗余点。因此,只配准原始点云的子集可以产生足够的结果,同时节省计算时间。原则上,可以区分两种数据简化方法:①自动提取一小组独特的和可重复的关键点[22],②对原始数据进行采样,以获得所需的目标分布[23]。
B.最近点对应估计
  对应估计是将来自源点云的点配对到它们在目标点云中的最近邻居的过程。这是寻找两个云之间的理想对应的贪婪近似。寻找最近邻的一种简单方法是对所有目标点进行彻底搜索,寻找每个源点的最近邻。由于这对于使用数百万个点的应用程序来说是极其昂贵的,所以已经提出了用于快速搜索的各种数据结构,由Bris等[24]提出的KD-tree数据结构是提高最近邻搜索的效率的有效方式。
C.错误匹配剔除
  由于无效的对应关系会对配准结果产生负面影响,因此需要剔除错误的对应。常用剔除错误对应点对的方法有:

  1. 基于距离的对应剔除[25]:该方法过滤掉距离大于给定阈值的点对。
  2. 基于中值距离的对应剔除[26]:该方法不使用固定的阈值,而是将其计算为输入的对应关系集中所有点到点距离的中值。因此,中值距离考虑了点之间的距离分布,随着两个点云在ICP迭代期间越来越近,中值距离会变得越来越小。与基于平均值的自适应阈值相比,中值在减少异常值的影响方面通常更有效。
  3. 剔除具有重复目标匹配的对应[27]:通常,源点云中的每个采样点被分配给目标点云中的一个对应关系。然而目标点云中的一个点可能会被分配多个对应的源点。该剔除对应匹配的方法只保留所有对应点中距离最小的一个对应点对。
  4. 基于RANSAC的对应剔除:Chen等[28]提出应用RANSAC来估计给定对应集子集的变换,并在计算的变换应用于源点云之后,基于点之间的欧几里德距离来消除异常对应。该方法在防止ICP算法收敛到局部极小值方面非常有效,因为它总是产生稍微不同的对应关系,并且擅长过滤异常值。此外,它还为转换估计提供了良好的初始参数。
  5. 基于法线兼容性的对应剔除:孙文潇[29]使用点的法线信息,对匹配点对的法线之间的角度设置阈值,剔除大于给定阈值的匹配点对。

D.误差度量和转换估计
  多年来,已经有许多数学方法来求解刚性变换 ,以最小化点对的误差。ICP算法中使用的点对点误差度量,最早由Arun等[30]提到的;研究人员提出了各种最小化的方法,随后引入了ICP。Eggert等[31]从数值稳定性和准确性的角度对这些方法进行了评估,得出的结论是,它们的表现都非常接近。其他常用的误差度量标准还有:

  1. 点到面误差度量:Chen等[32]介绍了点到面度量并证明它比点对点的方法更稳定收敛更快。点到面的误差度量使用源点 和目标点 及其局部表面法线 描述的平面之间的距离。与点对点度量不同,点到面没有封闭形式的解,所以最小化是用非线性解算的Levenberg-Marquadt方法[33]或在小旋转角的假设下,即 和 ,将非线性问题转化为线性优化[34]。
  2. 线性最小二乘点到平面:将矩阵 中所有对应点的点到平面约束累加起来,并通过求解一个形式为 的线性系统来估计最小二乘意义下的旋转和平移, 是最小化变换的六维参数化表示。
  3. 加权点到平面误差度量:为每个对应关系分配不同的权重可以提高收敛性。点对的加权可以调整最小化过程中有噪声的对应点的影响,被视为软对应拒绝。权重可以是点与点之间的点到点或点到平面的距离的函数,是对应于点的法线之间的角度的函数,或者是已经使用的传感器的噪声模型的函数。
  4. 加权线性最小二乘点到平面:与前一个类似,线性最小二乘点到平面变量可以用于非常规权重。
  5. 广义误差度量和广义ICP:Segal等[35]提出了一个误差度量,它在点到点和点到平面上进行推广,使用局部点邻域的协方差来对齐基础表面而不是点本身。

2. MLS点云数据的两两配准

  针对道路同向或往返不同时期MLS点云的自动配准,现有方法可分为数据驱动和传感器驱动两类[4]。数据驱动方法:假设点云数据在一定范围内满足刚性变换,利用同名特征之间的一致性关系,基于ICP及其改进算法直接进行配准;传感器驱动方法:假设短时间内,组合导航的位姿误差很小,通过改正车辆轨迹的位置、姿态,重新解算点云数据。
对于数据驱动方法,文献[36]首先对点云进行分块,然后在每个分块内采用点到面的ICP完成分块内点云的配准,最后将分块合并实现全部点云的配准,该方法会造成相邻分块之间出现缝隙;文献[37]首先根据强度信息从点云数据中提取高反射强度的交通标志,然后基于ICP对交通标志进行配准,最后使用变换矩阵完成全部点云的配准,该方法配准的精度取决于交通标志的提取质量,对采集数据的强度特征要求较高;文献[38]首先以时间间隔对点云进行分段,然后提取分段内的固定地物并结合法向量夹角与LSP关键点检测法提取地物的特征点,最后结合4PCS和ICP算法完成点云配准,该方法的道路分段策略及特征点分布存在不足。
  对于传感器驱动方法,文献[39]提出误差时变模型,首先假设位姿误差在短时间内是连续变化的,然后按时间间隔对点云分段,通过改进的ICP算法得到准确对应点对,建立轨迹误差随时间变化的模型进而改正车辆轨迹的位姿;文献[40]根据车辆行驶的加速度和角速度获取分段的关键点对点云进行分段,应用点到面与点到点相结合的ICP算法进行分段点云的配准,然后利用配准结果计算轨迹关键点的位姿,最后通过线性内插的方式获得每个轨迹点改正后的位姿;文献[41]首先根据测量车的轨迹检测点云中的闭合环,然后用GICP配准闭合环内的点云,最后基于闭合环的结果将全局配准转化为具有封闭形式解的最小二乘优化。
  由以上分析可知,当前同向或往返不同时期MLS点云的自动配准存在以下问题:①数据驱动的方法难以解决偏差较大的非刚性形变,满足刚性变换的范围难以确定,同名特征的选取要求较高,数据的质量对配准精度影响较大;②传感器驱动的方法需要使用轨迹信息,基于一定的先验条件,存在控制点依赖等。

3. MLS与TLS点云数据的配准

  TLS与MLS不同平台点云的配准,主要是采用数据驱动的方法,目前总体研究较少,尚未形成成熟的方法体系。文献[42]和文献[6]首先根据TLS系统内置GPS获取TLS点云与MLS点云的对应区域,然后通过法线空间采样获取用于配准的点云,最后采用改进的遗传算法和ICP算法实现TLS与MLS点云的配准,该方法未考虑MLS点云数据中非刚性变化对配准结果的影响。

4. 参考文献

[1] 方莉娜,卢丽靖,赵志远,王昀昀,陈崇成.车载激光点云道路边界提取的Snake方法[J].测绘学报,2020,49(11):1438-1450.
[2] 刘华.车载激光点云地物提取与分类研究[J].测绘学报,2020,49(11):1506.
[3] YAN L, TAN J X,LIU H, et al. Automatic non-rigid registration of multi-strip point clouds from mobile laser scanning systems[J]. International Journal of Remote Sensing, 2018,39(6)1713-1728.Yang B , Dong Z , Liang F , et al. Automatic registration of large-scale urban scene point clouds based on semantic feature points[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2016, 113(Mar.):43-58.
[4] 邹响红,杨必胜,李健平,等.城市场景重访车载点云位置一致性改正[J].测绘科学技术学报,2019,7(2):101-111.
[5] 杨必胜.点云智能处理[M].北京:科学出版社, 2020:24-28.
[6] 闫利,谭骏祥,刘华,陈长军.融合遗传算法和ICP的地面与车载激光点云配准[J].测绘学报,2018,47(04):528-536.
[7] STAMOS I,LEORDEANU M. Automated feature-based range registration of urban scenes of large scale[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Madison, WI, USA,2003:555-561.
[8] Dover. Registration of terrestrial laser scanning data using planar patches and image data[J]. International Archives of Photogrammetry & Remote Sensing, 2006, 36:25–27.
[9] Liang Y B, Zhan Q M, Che E Z, et al. Automatic Registration of Terrestrial Laser Scanning Data Using Precisely Located Artificial Planar Targets[J]. IEEE Geoscience & Remote Sensing Letters, 2013, 11(1):69-73.
[10] Yang B, Dong Z, Liang F, et al. Automatic registration of large-scale urban scene point clouds based on semantic feature points[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2016, 113(Mar.):43-58.
[11] Xu Y, Boerner R, Wei Y, et al. Automated coarse registration of point clouds in 3D urban scenes using voxel based plane constraint[J]. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017,4:185-191.
[12] Zhong Y. Intrinsic shape signatures: A shape descriptor for 3D object recognition[C]// IEEE International Conference on Computer Vision Workshops. IEEE, 2010.
[13] Guo Y, Sohel F A, Bennamoun M, et al. RoPS: A local feature descriptor for 3D rigid objects based on rotational projection statistics[C]// International Conference on Communications. IEEE, 2013.
[14] Weber T, Hansch R , Hellwich O. Automatic registration of unordered point clouds acquired by Kinect sensors using an overlap heuristic[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2015, 102:96-109.
[15] Yang B, Dong Z, Liang F, et al. Automatic registration of large-scale urban scene point clouds based on semantic feature points[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2016, 113(Mar.):43-58.
[16] Zai D, Li J, Guo Y, et al. Pairwise Registration of TLS Point Clouds using Covariance Descriptors and a Non-cooperative Game[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 134(dec.):15-29.
[17] Huber D F, Hebert M. Fully automatic registration of multiple 3D data sets[J]. Image & Vision Computing, 2003, 21(7):637-650.
[18] Kelbe D, JV Aardt, Romanczyk P, et al. Multiview Marker-Free Registration of Forest Terrestrial Laser Scanner Data With Embedded Confidence Metrics[J]. IEEE Transactions on Geoscience and Remote Sensing. 2017, 55(2):729-741.
[19] Theiler P W, Wegner J D, Schindler K. Globally consistent registration of terrestrial laser scans via graph optimization[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2015, 109(NOV.):126-138.
[20] Guo Y, Bennamoun M, Sohel F , et al. 3D Object Recognition in Cluttered Scenes with Local Surface Features: A Survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(11):2270-87.
[21] Besl P J, Mckay H D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1992, 14(2):239-256.
[22] Gelfand N, Ikemoto L, Rusinkiewicz S, et al. Geometrically Stable Sampling for the ICP Algorithm[C]// 3-D Digital Imaging and Modeling, 2003. 3DIM 2003. Proceedings. Fourth International Conference on. 2003.
[23] S. Rusinkiewicz and M. Levoy, “Efficient variants of the ICP algorithm,” Proceedings Third International Conference on 3-D Digital Imaging and Modeling, Quebec City, Quebec, Canada, 2001, pp. 145-152.
[24] Bris R L, F Paul. An automatic method to create flow lines for determination of glacier length: A pilot study with Alaskan glaciers[J]. Computers & Geosciences, 2013, 52(MAR.):234-245.
[25] Rusu R B, Cousins S. 3D is here: Point Cloud Library (PCL)[C]// IEEE International Conference on Robotics & Automation. IEEE, 2011.
[26] Holz D, AE Ichim, Tombari F, et al. Registration with the Point Cloud Library - A Modular Framework for Aligning in 3-D[J]. IEEE Robotics & Automation Magazine, 2015, 22(4):110-124.
[27] Wong W. Kinecting with the point cloud library. 2011.
[28] Chen, Chu-Song, Hung, et al. RANSAC-Based DARCES: A New Approach to Fast Automatic Registration of Partially Overlapping Range. [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1999.
[29] 孙文潇,王健,梁周雁,马伟丽,陈喆.法线特征约束的激光点云精确配准[J].武汉大学学报(信息科学版),2020,45(07):988-995.
[30] Arun K S. Least-Squares Fitting of Two 3-D Point Sets[J]. Pattern Analysis & Machine Intelligence, 1987, 9.
[31] Eggert D W, Lorusso A, Fisher R B. Estimating 3-D rigid body transformations: a comparison of four major algorithms[J]. Machine Vision & Applications, 1997, 9(5-6):272-290.
[32] Chen Y, Medioni G. Object modelling by registration of multiple range images[J]. Image and Vision Computing, 1992.
[33] Fitzgibbon A W. Robust registration of 2D and 3D point sets[J]. Image and Vision Computing, 2001, 21( 13–14):1145-1153.
[34] Low K L. Linear Least-Squares Optimization for Point-to-Plane ICP Surface Registration. Chapel Hill, 2004.
[35] Segal A, Hhnel D, Thrun S. Generalized-ICP[C]// Robotics: Science and Systems V, University of Washington, Seattle, USA, June 28 - July 1, 2009.
[36] Gressin A, Cannelle B, Mallet C, et al. Trajectory based registration of 3D LiDAR point clouds acquired with a mobile mapping system[C]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Melbourne, Australia, 2012:117-122.
[37] Higinio G, Joaquin M, Lucia D, et al. Automatic Registration of Mobile LiDAR Data Using High-Reflectivity Traffic Signs[J]. Journal of Construction Engineering and Management,2016,142(8).
[38] 王飞,刘如飞,任红伟,柴永宁.利用道路目标特征的多期车载激光点云配准[J].测绘科学技术学报,2020,37(05):496-502.
[39] YAN Li, TAN Junxiang, LIU Hua, et al. Automatic non-rigid registration of multi-strip point clouds from mobile laser scanning systems[J]. International Journal of Remote Sensing, 2018, 39(5-6):1713-1728.
[40] Takai S, Date H, Kanai S, et al. Accurate registration of MMS point clouds of urban areas using trajectory[J]. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, 2(5):277-282.
[41] TAKAAKI Shiratori, JEROME Berclaz, MICHAEL Harville, et al. Efficient Large-Scale Point Cloud Registration Using Loop Closures[C]. 2015 International Conference on 3D Vision, Lyon, 2015:232-240.
[42] YAN Li, TAN Junxiang, LIU Hua, et al. Automatic Registration of TLS-TLS and TLS-MLS Point Clouds Using a Genetic Algorithm[J]. Sensors, 2017, 17(9):1979-1997.
[43] 谢欣鹏,周茂伦.车载移动测量系统在露天矿测量中的应用研究[J].矿山测量,2016,44(02):33-35.
[44] 霍欣杰,崔磊,蒋国辉,吴大鹏.浅析三维激光扫描仪在边坡变形监测中的应用[J].测绘通报,2017(11):157-158.
[45] 杨钰琪,陈驰,杨必胜,胡平波,崔扬.基于UAV影像密集匹配点云多层次分割的建筑物层高变化检测[J].武汉大学学报(信息科学版),2021,46(04):489-496.

猜你喜欢

转载自blog.csdn.net/qq_36686437/article/details/132003168