基于虚拟环境中的无人船控制系统

Improving Usability, Efficiency, and Safety of UA V Path Planning through a Virtual Reality Interface

*	#
链接	https://ieeexplore.ieee.org/abstract/document/6392969.
关键词	VR、路径规划、VR可用性实验

摘要

随着UA Vs的能力和复杂性不断增加，指定指令所需的复杂3D飞行路径变得更加复杂。如虚拟现实(VR)所提供的沉浸式界面有几个独特的特征，可以提高用户感知和指定3D信息的能力。这些特征包括引发物理空间感的立体深度线索(stereoscopic depth cues)，以及六自由度(DoF)的自然头部姿势和手势交互。

本文介绍了一种用于虚拟现实中三维航路规划的开源平台，并将其与现有的UA V导航接口进行了比较。最终结果表明，与手动控制界面相比，在安全性和效率上都有显著提高。沉浸式界面提供了一个可行的替代触摸屏界面的UA V路径规划。

介绍

驾驶使用手动操纵杆控制的无人机(UA Vs)需要高水平的训练和经验来管理碰撞风险。这些系统使用自动化将用户定义的路径转换为低级控制(即滚转、俯仰、偏航和推力)。然而，当任务需要精确的3D感知和操作时，2D界面和2D输入方案带来了可用性挑战。

我们设想，将从采用VR接口中受益的潜在UA V应用程序是那些涉及远程UA V路径规划场景的应用程序，如大规模3D建模、城市监控和灾难搜索和救援。这些类型的应用需要UA覆盖大片区域，因此很难通过视线手动控制进行监控。我们选择了VR接口而不是增强现实(AR)接口，因为AR带来的有限的视线范围和潜力。

实验

设计实验：观察人类用户完成一系列箍式导航任务（ a series of hoop navigation tasks），评估了三种界面的效率、安全性和可用性——VR界面、2D触摸界面和悬停辅助手动控制。

12名参与者，报告他们的VR经验和无人驾驶经验。

任务：驾驶UAV穿过圆环序列而不坠毁。

口头教程->3分钟熟悉阶段->三次实验运行直到UAV坠毁或者成功遍历->试验结束，李克特7分制量表评级包括评估可用性的五个陈述

结果和讨论

VR界面比镜像消费者无人机标准的平面界面节省了超过一分钟的规划时间(占总时间的48%)。

VR和2D界面都比手动控制方式提高了系统的安全性。这表明，安全性的增加是由于分层空间规划，将安全控制与这两个抽象控制方案的用户路径规划解耦。

对比无人机，无人船没有上下这个DoF，还需要考虑分层空间规划吗？那将VR界面用于无人船的控制意义是什么？

我们假设我们的VR界面能够实现更快、更健壮、更精确的风险评估和风险纠正。它在可用性和安全性方面都优于手动界面，同时与2D触摸屏界面相比显著减少了路径规划时间

AirSim 用于无人机、汽车等的模拟器

https://microsoft.github.io/AirSim/

Design of multi-mode UAV human-computer interaction system

*	#
链接	Design of multi-mode UAV human-computer interaction system.
关键词	从系统和功能模块出发设计了无人机人机交互系统

介绍

美国海军研究办公室（US ONR）下属的美国“蓝鲨实验室”将显示技术（如虚拟和增强现实技术，3D可视化系统）和输入设备（包括从手机到平板电脑，头盔显示器和头部手势控制系统等）相结合，提出了“增强环境的通信和协作（E2C2）“技术，并将其用于无人机控制[4]，如图 1 所示。中国还积极探索多模式无人机交互控制技术，搭载VR头盔的WJ-600无人机操作系统在2016珠海飞机展上展出，如图2所示。

Multi-Robot Interfaces and Operator Situational Awareness: Study of the Impact of Immersion and Prediction

*	#
链接	Multi-Robot Interfaces and Operator Situational Awareness: Study of the Impact of Immersion and Prediction.
关键词	多机器人控制、态势感知、工作量的定义

摘要

工作量过大和缺乏意识的后果可能从效率低下到事故不等。这项工作考虑到相关问题，如多模态交互、沉浸式设备、预测能力和自适应显示。具体来说，设计并开发了四种接口:常规接口、预测常规接口、虚拟现实接口和预测虚拟现实接口。24名操作员监督了8个多机器人火灾监视和灭火任务。负载测试和态势感知测试结果表明，虚拟现实在不增加操作人员工作量的情况下提高了态势感知，而预测组件的效果不显著，依赖于它们的实现。

介绍

在多个机器人和单个操作员的场景中，最相关的问题是工作量峰值和缺乏态势感知。

工作负荷可以定义为操作工的工作量、工作时间和主观经验[3]之和。然而，工作量的研究通常考虑多个属性==(输入负荷、操作员努力和工作绩效)[4]和维度(体力和精神需求)==。

多机器人任务的操作人员必须感知信息，了解形势，做出决策并生成命令。在这种情况下，过度的工作量会导致等待时间的增加，决策错误，因此，降低任务性能[6]。

基于Hololens的机场指挥和控制

https://www.youtube.com/watch?v=t5L-jBLD04I

面向任意位置姿态估计的无人艇虚实交互研究

*	#
链接	面向任意位置姿态估计的无人艇虚实交互研究.
关键词	数字孪生、无人艇、unity3d

引言

无人艇作为海上移动平台，受风、浪、流等作用会产生六自由度运动，包括3个方向的平动和3个方向的转动。对于海上旋转运动，船体不同位置与旋转中心的距离不等，旋转运动产生的线速度不同，而船体任意点的合速度是平动速度与转动速度的矢量和，故实际海上航行无人艇船体各点的合速度矢量均不相等。无人艇的许多作业场景依赖于观测无人艇自身某一局部位置的位姿信息，例如，无人艇的布放和回收、多无人艇对接、无人艇靠离码头、艇载传感器位姿补偿（如摄像头、测扫声呐、避障声呐、对底声呐、激光雷达等）等。为此，如何获取船体任意位置的实时位姿状态成为无人艇智能化发展中信息感知关键技术的重要挑战之一。

船体任意位置实时位姿状态获取，通常需要若干个惯导传感器数据的融合处理。一些哦，

研究着重关注多个物理传感器的数据融合测算传感器所在局部位置的实时位姿，虽然精度较高，但却不能满足任意多个测点的位姿实时观测需求。随着无人艇全船布置设备增多，有限个惯导传感器扩容却显著增加了传感系统的复杂度及投资成本

ABB AR control in hololens2（机械臂数字孪生控制）

https://www.youtube.com/watch?v=3Qv-cur4qxA