打开杂货包装是一项简单易行的任务：你伸手去拿一个袋子，感觉周围有一件物品然后拉出来。快速浏览将告诉您项目是什么以及应该存储在何处。

现在，麻省理工学院和普林斯顿大学的工程师开发了一种机器人系统，可能有一天可以帮助完成这项家务活动，并协助其他拣选和分拣任务，从组织仓库中的产品到清除灾区的碎片。

该团队的“取放”系统由标准的工业机械臂组成，研究人员配备了定制的夹具和吸盘。他们开发了一种“对象无关”的抓取算法，使机器人能够评估随机物体的箱子，并确定在杂物中抓住或吸入物品的最佳方式，而不必在拾取之前了解物体。

成功抓住物品后，机器人将其从垃圾箱中取出。然后，一组摄像机从各个角度拍摄物体的图像，并且借助于新的图像匹配算法，机器人可以将拾取的物体的图像与其他图像的库进行比较以找到最接近的匹配。通过这种方式，机器人识别物体，然后将其存放在单独的箱子中。

一般来说，机器人遵循“先掌握然后识别”的工作流程，与其他拾取和放置技术相比，这是一个有效的序列。

“这可以应用于仓库分拣，但也可用于从厨房橱柜中取东西或在事故发生后清除碎片。在许多情况下，采摘技术可能会产生影响，“麻省理工学院机械工程的Walter Henry Gale职业发展教授Alberto Rodriguez说。

罗德里格斯及其在麻省理工学院和普林斯顿大学的同事将于5月份在IEEE机器人与自动化国际会议上发表一篇详细介绍其系统的论文。

建立成功和失败的图书馆

虽然拾取和放置技术可能有许多用途，但现有系统通常设计为仅在严格控制的环境中起作用。

如今，大多数工业采摘机器人都是针对一项特定的重复性任务而设计的，例如从装配线上抓住汽车部件，始终采用相同的，经过精心校准的方向。然而，Rodriguez正致力于将机器人设计为更灵活，适应性更强，更智能的采摘器，适用于零售仓库等非结构化设置，挑选者可能会遇到并且必须每天对数百个(如果不是数千个)新物体进行分类，通常是密集的混乱。

团队的设计基于两个一般操作：拾取 - 成功抓取对象的行为，以及感知 - 一旦掌握了对象的识别和分类的能力。

研究人员使用四种主要抓取行为中的任何一种训练机器人手臂从杂乱的箱子中拾取新物体：垂直或从侧面吸附到物体上; 像街机游戏中的爪子一样垂直地抓住物体; 或者，对于与墙壁齐平的物体，垂直握持，然后使用柔性刮刀在物体和墙壁之间滑动。

罗德里格兹和他的团队展示了从机器人的有利位置捕获的垃圾箱的机器人图像。然后，他们向机器人展示了哪些物体是可抓握的，四种主要抓握行为中的哪一种，哪些不是，将每个例子标记为成功或失败。他们为数百个例子做了这个，随着时间的推移，研究人员建立了一个挑选成功和失败的图书馆。然后，他们将这个库合并到一个“深度神经网络”中 - 一类学习算法，使机器人能够根据其成功和失败的库，将其面临的当前问题与过去的成功结果相匹配。

罗德里格兹说：“我们开发了一个系统，只需看一个装满物体的手提包，机器人就知道如何预测哪些是可抓握或可吸引的，以及这些采摘行为的配置可能是成功的。” “一旦它在抓手中，物体就容易识别，没有任何混乱。”

从像素到标签

研究人员以类似的方式开发了一种感知系统，使机器人能够在成功掌握物体后对其进行识别和分类。

为此，他们首先组建了一个从零售商网站等在线资源中获取的产品图像库。他们用正确的标识标记每个图像 - 例如，胶带与遮蔽胶带 - 然后开发另一种学习算法，将给定图像中的像素与给定对象的正确标签相关联。

罗德里格兹说：“我们正在比较那些对于人类来说可能很容易识别出来的东西，但实际上，作为像素，它们看起来会有很大不同。” “我们确保此算法适合这些训练示例。然后我们希望我们给它足够的训练样例，当我们给它一个新的对象时，它也会预测正确的标签。“

去年7月，该团队收拾了2吨重的机器人，并将其运往日本，一个月后，他们重新组装它参加亚马逊机器人挑战赛，这是由在线巨型零售商赞助的年度竞赛，旨在鼓励仓储技术的创新。罗德里格斯的球队是参加比赛的16人中的一员，他们从杂乱的垃圾箱里挑选和收藏物品。

最后，该团队的机器人使用吸力拾取物体的成功率为54%，使用抓取成功率为75%，并且能够以100%的准确度识别新物体。机器人还在规定的时间内存放了所有20个物体。

对于他的工作，Rodriguez最近获得了亚马逊研究奖，并将与该公司合作，进一步改进取放技术 - 最重要的是，它的速度和反应性。

“除非你增加一定程度的反应性，否则在非结构化环境中采摘是不可靠的，”罗德里格兹说。“当人类选择时，我们会采取一些小调整。我认为，弄清楚如何进行更具响应性的采摘是我们感兴趣的关键技术之一。“

该团队已经采取了一些措施，通过在机器人的抓手上添加触觉传感器，并通过新的训练方案运行系统。

“抓手现在有触觉传感器，我们启用了一个系统，让机器人整天不停地从一个地方到另一个地方捡东西。它捕获有关何时成功和失败的信息，以及拾取或拾取物体的感觉，“罗德里格兹说。“希望它能利用这些信息开始将这种反应性引入掌握之中。”