紧急未知环境下基于单目视觉SLAM的无人机自主着陆

由于无人机应用环境复杂(尤其是在战争背景下),无人机落地研究需要考虑多方面因素和通用性,实用性有所提高。具体来说,主要挑战包括以下几点:

①没有GPS信号的自主控制。GPS的抗干扰能力极弱。如果无人机机载GPS信号接收器因电子干扰而发生故障,无人机将失去导航定位功能,从而无法安全降

②紧急情况下的被动着陆。由于无人机的补偿机制不允许故障无人机长时间继续飞行,因此应该开始选择紧急降落的地点。虽然这是无奈之举,但也是防止无人机落入人口密集地区的重要举措。美国联邦航空局认为,未来无人机不仅要保证自身的安全飞行,还要具备在紧急情况下与其领空内的多种飞行器进行安全交互的能力。

③在未知环境中自主降落。在军事领域或救灾情况下,无人机需要执行任务的地方多为未知环境或杂乱无章的环境。无人机必须能够选择合适的着陆点并安全着陆。

我们使用了一种基于视觉的无人机着陆方法。借助光学设备和图像识别技术,无人机能够自主识别着陆区域,重构三维地形,实现自动返航和航线规划,如图1所示。当机场在某些情况下(如系统故障或信号干扰)未能接收到控制信号时,能够以良好的策略降落机场并安全降落,将大大降低无人机对地面人员的伤害。

图1 M100,也称为Matrice M100,是一款面向开发人员的四旋翼无人机,由全球最大的消费级无人机制造商 DJI(中国深圳)发布

无人机使用单目相机扫描地面的关键帧和三维点云图。然后,将三维点云图转换为网格图,检测合适的着陆区域,进行着陆。图1中下方的地图以绿色显示平坦区域,以红色显示高于地平线的区域。红色的深度表示高度。地图上方的蓝线显示了无人机在飞行过程中创建的关键帧,图1中的左栏是关键帧的一部分。

扫描二维码关注公众号,回复: 14860661 查看本文章

图2显示了所提出的用于检测着陆点的算法的概述。当无人机开始降落程序时,该方法可以估计无人机的位置和姿态,构建环境的网格图,并通过过滤算法选择最适合降落的区域。演示了一种选择着陆区域和视觉导航方法,该方法使用SLAM估计无人机的当前位姿。

图2 建议方法中主要组件和连接的概述

我们通过视觉SLAM建立了环境的三维点云图。然后,通过SLAM算法提出的特征点的三维点云建立二维网格图。每个网格的高度是通过将图形的地图点投影到相应的网格中来计算的。然后,使用基于均值偏移的图像分割算法对网格图的高度进行平滑,划分障碍物和地面,将高度相似的图像块组合在一起。该算法通过计算着陆区域与障碍物之间的空间距离,选择距离障碍物最远的区域作为过滤后的着陆区域。这样就选择了适合无人机降落的区域。无人机按照下降程序最终降落在安全区域。

网格地图创建如图3所示,我们将平面划分为小网格。网格的大小可以根据实际情况进行调整。

图3 现实世界坐标中的一个特征点被多个关键帧观察到

通过三角测量,得到其三维位置,并转化为三维点云。然后,将三维点云投影到二维网格图中,通过计算所有过滤后落在每个网格中的三维点的高度得到网格的高度。三角剖分的前提是知道每个关键帧的位姿,如蓝色框图所示。

我们选择商用无人机DJI Matrice 100(M100)作为数据采集离线处理阶段和无人机自主实时控制阶段实验的平台。它包括飞控、动力系统、气压计模块、GPS模块等模块。实验平台通过图像采集卡和无线串口与M100进行交互,模拟板载处理,如图4所示。笔记本电脑通过图像采集卡实时采集无人机拍摄的图像流,并通过无线串口向无人机实时发送控制指令。

图 4. 图( a ) 是实验配置环境。图像采集卡一端连接电脑,另一端连接无人机遥控器。图像采集卡通过遥控器将图像传输到计算机;图(b)为无线串口模块;图像 ( c ) 为M100 无人机;图像 ( d ) 为 ZENMUSE X3 相机

图5展示了二维高度网格图的创建以及网格图各部分的具体含义。颜色代表地图的深度。绿色代表最低点,红色代表最高点,中间高度用渐变色表示。深蓝色表示合适的着陆点。浅蓝色表示无人机的飞行路径。实验场景是一个圆形花坛,四周环绕着大型半圆形花坛。花坛前停着三辆汽车。圆形花坛和外围的半圆形花坛上有大树、灌木和杂草。花坛的另一半是一个空旷的广场,适合落地。

图 5. ( a - c ) 的图像详细说明了二维高度图各部分与真实场景的对应关系;图像(d)是不同角度的真实场景;图像(e)是网格图的侧视图;( f - j ) 的图像是网格图的构建过程。地图上方的蓝色方框显示了无人机的轨迹和关键帧生成时无人机的位姿。

为了证明所提出的无人机自主着陆系统的准确性,我们进行了无人机自主着陆的实时控制实验。着陆轨迹及具体流程如图6所示。颜色代表地图的深度。绿色代表最低点,红色代表最高点,中间高度用渐变色表示。深蓝色表示合适的着陆点。浅蓝色表示飞机的飞行路径。黑色圆圈表示无人机的当前位置。

图 6. 四旋翼飞行器的着陆过程和过程的真实场景。颜色代表地图的深度。绿色代表最低点,红色代表最高点,中间高度用渐变色表示。深蓝色表示合适的着陆点。浅蓝色表示飞机的飞行路径。黑色圆圈表示无人机的当前位置。

我们进行了多组数据实验和分析。其中5组实验结果如图7所示. 所有实验数据均来自西北工业大学长安校区。第一个场景是一片小森林,中间有一个合适的着陆区。第二组数据采集的场景是一个缓坡。在树木的环绕下,一个更大的人形雕塑位于斜坡中间。斜坡的前部比较平坦,适合降落。第三个场景中散落着几棵树木和灌木。场景中间平坦,适合降落。第四组数据采集的场景是一个正方形,里面均匀分布着五个高度可见的障碍物。其中三个障碍物是雕刻的墙壁,而其他的则是长长的石凳。广场的中间区域平坦,适合降落,没有任何障碍物。

图 7. 五种不同场景下的二维网格高度图创建和着陆点选择结果。左栏为实景,中间为二维网格高度图,深蓝色区域为合适的落地点。地图上方蓝色轨迹为无人机飞行轨迹,右栏为无人机准确降落在着陆点的真实场景。

多个真实场景的大量实验结果证实,基于视觉技术的着陆区域选择和导航是有效且高效的。该方法不仅可以应用于复杂场景或紧急情况下无人机的被动降落和无人机的主动降落,还可以应用于无人驾驶汽车自动驾驶、增强现实、机器人自主定位等诸多领域。

   源自:Electronics 2018, 7, 73; doi:10.3390/electronics7050073

猜你喜欢

转载自blog.csdn.net/FEISILAB_2022/article/details/126418491