文章下载网址：https://download.csdn.net/download/qq_16481211/10619245
目录
摘要
本文介绍了一种机器人拾放系统，它能够在杂乱的环境中抓取和识别已知和新颖的物体。该系统的关键新特性是它可以处理各种对象类别，而无需任何针对新对象的任务特定训练数据。为了实现这一点，它首先使用对象不可知的抓取框架从视觉观察到动作进行映射：推断四个不同抓取原始动作的示意图的密集像素方式概率图。然后，它执行具有最高可供性的操作，并使用跨域图像分类框架识别拾取的对象，该框架将观察到的图像与产品图像匹配。由于产品图像可以容易地用于各种对象（例如，来自网络），因此该系统可以开箱即用于新颖的对象，而无需任何额外的数据收集或再培训。详尽的实验结果表明，我们的多功能抓取实现了杂乱中各种物体的高成功率，并且我们的识别算法实现了已知和新颖抓取物体的高精度。这种方法是MIT-Princeton团队系统的一部分，该系统在2017年亚马逊机器人挑战赛的装载任务中名列第一。所有代码，数据集和预训练模型均可在http://arc.cs.princeton.edu在线获取
I 介绍
人类在对物体的了解很少的情况下仍能掌握和识别不熟悉的物体方面具有非凡的能力，这是我们做机器人研究的不变灵感。 这种掌握未知的能力是许多应用的核心：从物流中心的拣选包装到制造工厂的拣选; 从家里卸货到灾后清理垃圾等等。 这项工作的主要目的是证明机器人系统可以实际选择并识别具有非常有限的关于它们的先前信息的新物体（例如，仅从网上刮下几个代表性图像。
尽管研究界感兴趣，尽管它具有实用价值，但在杂乱环境中对新物体的强有力操纵和识别仍然是一个很大程度上未解决的问题。由于机器人拾取的经典解决方案在基于模型的抓握计划之前需要识别和姿势估计，或者需要对象分割以将抓握检测与对象身份相关联，当在杂乱环境中处理新物体时，这些解决方案往往不足，因为它们依赖于3D对象模型和/或大量训练数据来实现稳健的性能。 虽然最近有关于直接从RGB-D点云检测抓取以及基于学习的识别系统以处理新物体和有限数据的限制的鼓舞人心的工作，但这些方法尚未在真实要求的约束和准确性中得到证实。 任务有严重的杂乱，严重的闭塞和物体变化。
在本文中，我们提出了一个在杂乱环境中挑选和识别对象的系统。我们专门设计了系统来处理系统中的各种新颖对象，而无需为它们收集任何特定于任务的训练数据。为了实现这一目标，我们的系统由两部分组成。第一个是多功能负担抓取框架，它使用完全卷积网络（FCN）来对场景进行视觉观察，并输出密集的值网格（以与输入数据相同的大小和分辨率排列）来测量可供性（或者选择成功的概率）对于末端执行器方向和位置的逐像素采样的四种不同的抓取原始动作。具有最高推断的可供性值的原始动作确定由机器人执行的抓取动作。该抓取框架在没有先验对象分割和分类的情况下操作，因此对于对象身份是不可知的。该系统的第二个组件是跨域图像匹配框架，用于通过将抓取的对象与使用双流卷积网络（ConvNet）架构的产品图像进行匹配来识别抓取的对象。该框架适应新颖的物体而无需额外的重新训练。这两个组件携手合作，以在重杂波中实现新物体的强大拾取性能。
我们提供详尽的实验和模型简化测试实验来评估这两个组成部分。 我们证明了我们基于可用性的抓握计划算法在杂波中实现了各种各样的物体的高成功率，并且识别算法实现了已知和新颖的抓取物体的高精度。 这些算法是作为MIT-Princeton Team系统的一部分开发的，该系统在亚马逊机器人挑战赛（ARC）的装载任务中占据第一位，是唯一一个成功将所有已知和新颖物体从非结构化手提箱存放到存储中的系统 系统在规定的时间范围内。 图1显示了我们的机器人在比赛期间的行动。
总结一下，我们的主要贡献是：
- 一个对象不可知的抓取框架，使用四个原始抓取动作进行快速和强大的拾取，利用完全卷积网络来推断每个基元的像素效率（第IV节）。
- 只使用了产品图像，而无需额外数据收集或再培训的感知框架来识别已知和新颖物体（第V节）。
- 结合了这两个框架的系统，可以在很杂乱的环境中中拾取新物体。
所有代码，数据集和预先训练的模型都可以在http://arc.cs.princeton.edu上找到[1]。 我们还提供视频在https://youtu.be/6fG7zwGfIkI上总结了我们的方法。
II RELATED WORK
在本节中，我们将讲述与机器人拣选系统相关的工作。 抓握（第IV部分）和识别（第V部分）的具体工作在各自的章节中。
A识别后基于模型的抓取
大多数的自主取放解决方案遵循标准的两步法：物体识别和姿态估计，然后是基于模型的抓取方案。例如，Jonschkowski等。 [2]在手工制作的图像特征上设计了物体分割方法，以计算用真空拾取物体的抽吸方案。最近的数据驱动方法[3]，[4]，[5]，[6]使用ConvNets提供边界框提议或分割，然后通过几何配准来估计对象姿势，最终指导手工采摘启发式[7] ]，[8]。 Nieuwenhuisen等。 [9]通过利用机器人移动性来改善这条管道的许多方面，而Liu等人。 [10]当物体在夹子中时增加姿势校正阶段。这些工作通常需要在测试时间内对象的3D模型，和/或与物理对象本身一起训练数据。这对于严格约束的拾取和放置场景是实用的，但是不容易扩展到始终遇到新对象的应用程序，其中仅有有限的数据（即来自web的产品图像）可用。