仅通过使用凝视来驾驶无人机或自动驾驶车辆听起来就像科幻电影中的场景，但现在它已成为现实。来自宾夕法尼亚大学，纽约大学和合作者的研究人员开发了一种深度学习系统，该系统使用NVIDIA GPU，使用户只需将眼睛指向他们想要转向的位置即可控制无人机。
“我们展示了一套配备凝视跟踪器，相机和惯性测量单元（IMU）的眼镜，用于（a）估计人体相对于四旋翼飞行器的相对位置，（b）将注视方向与头部方向分离，（c）允许人类的空间任务，将新的3D导航路径点发送到未受检测的环境中的机器人，”研究人员表示。
团队首先在IEEE Spectrum上重点介绍了这项工作，描述了研究人员如何使用深度学习和一对 安装在无人机上的NVIDIA Jetson TX2 GPU，以及一对专用的跟踪眼镜来控制无人机。
该系统的独特之处在于系统是独立的，这意味着无人机不依赖于外部传感器。
使用NVIDIA的GeForce GTX Ti 1080 GPU和cuDNN -accelerated TensorFlow深度学习框架，该团队训练他们的神经网络，从眼镜中提供的二维凝视坐标来计算3D导航路标。他们还训练网络进行对象检测。
研究人员说，“我们的传输途径能够成功地实现人类在空间任务方面的自主。我们可以从眼镜中计算出一个指向矢量，然后在一个预定义的安全区域内随机选择航路点深度。理想情况下，3D导航路标将直接来自眼睛跟踪眼镜，但我们在实验中发现，眼镜所报告的深度组件太过嘈杂，无法有效使用。在未来，我们希望进一步研究这个问题，以便让用户对深度有更多的控制。”
由于跟踪眼镜没有太多的计算能力，它们将连接到Jetson TX2 GPU。当用户戴上眼镜并观察无人机时，GPU检测无人机及其相对于用户的位置。
本文为ATYUN（www.atyun.com）编译作品，ATYUN专注人工智能。
