麻省理工学院的研究人员戴着传感器包装的手套处理各种物体时，已经编译了一个庞大的数据集，该数据集使AI系统能够仅通过触摸即可识别物体。可以利用这些信息来帮助机器人识别和操纵对象，并可以帮助进行假肢设计。

研究人员开发了一种低成本的针织手套，称为“可缩放触觉手套”(STAG)，几乎在整个手部都配备了约550个微小传感器。当人类以各种方式与物体交互时，每个传感器都会捕获压力信号。神经网络处理信号以“学习”与特定对象相关的压力信号模式的数据集。然后，系统使用该数据集对物体进行分类并通过单独感觉来预测其重量，而无需视觉输入。

在《自然》杂志上发表的一篇论文中，研究人员描述了他们使用STAG编译的数据集，用于26个常见对象-包括汽水罐，剪刀，网球，勺子，钢笔和杯子。使用数据集，系统可以以高达76%的准确度预测对象的身份。该系统还可以预测约60克以内的大多数物体的正确重量。

麻省理工学院的研究人员已经开发出了一种低成本的，装有传感器的手套，可以在人类与物体互动时捕获压力信号。该手套可用于创建高分辨率的触觉数据集，机器人可以利用它来更好地识别，称重和操纵物体。图片由研究人员/麻省理工学院提供

如今使用的类似的基于传感器的手套要花费数千美元，并且通常仅包含约50个传感器，这些传感器捕获的信息较少。即使STAG产生非常高分辨率的数据，它还是由市售材料制成，总计约10美元。

触觉传感系统可以与传统的计算机视觉和基于图像的数据集结合使用，从而使机器人对与物体的交互更具人性化的理解。

“由于我们有触觉反馈，因此人类可以很好地识别和处理物体。当我们触摸物体时，我们会感觉到并意识到它们是什么。机器人没有那么丰富的反馈信息。”计算机科学与人工智能实验室(CSAIL)的前研究生Subramanian Sundaram博士'18说。“我们一直希望机器人做人类可以做的事情，例如洗碗或做其他杂事。如果您希望机器人做这些事情，它们必须能够很好地操纵物体。”

研究人员还使用数据集来测量对象交互过程中手部区域之间的协作。例如，当某人使用食指的中指时，他们很少使用拇指。但是食指和中指的尖端总是与拇指的使用相对应。他说：“我们第一次定量地表明，如果我用一只手的一部分，那么我用另一只手的可能性有多大。”

假肢制造商可以潜在地使用信息来选择放置压力传感器的最佳位置，并根据人们经常与之互动的任务和对象定制假肢。

加入本文的Sundaram是：CSAIL博士后Petr Kellnhofer和Jun-Yan Zhu;CSAIL研究生李云珠;EECS教授兼MIT-IBM Watson AI实验室主任Antonio Torralba;以及电子工程和计算机科学副教授，计算制造小组负责人Wojciech Matusik。

STAG与导电聚合物层压在一起，该聚合物可改变对施加压力的抵抗力。研究人员从指尖到手掌的底部缝制了导电线，穿过导电聚合物薄膜上的孔。螺纹重叠的方式使它们变成压力传感器。当戴手套的人感觉到，举起，握住和跌落物体时，传感器会记录每个点的压力。

螺纹从手套连接到外部电路，外部电路将压力数据转换为“触觉图”，本质上是指在手的图形上逐渐增长和收缩的点的简短视频。点表示压力点的位置，其大小表示力-点越大，压力越大。

研究人员从这些地图中收集了来自与26个对象的交互作用的约135,000个视频帧的数据集。这些框架可以被神经网络用来预测物体的身份和重量，并提供有关人类抓地力的见解。

为了识别物体，研究人员设计了通常用于对图像进行分类的卷积神经网络(CNN)，以将特定的压力模式与特定的物体相关联。但是诀窍是从不同类型的抓握中选择镜框以获得物体的全貌。

想法是模仿人类可以几种不同的方式握住物体的方式，以便在不使用视力的情况下识别物体。同样，研究人员的CNN可以从视频中选择最多八个半随机帧，这些帧代表最不相似的抓握-例如，从底部，顶部和手柄握住杯子。

但是CNN不能只是从每个视频的数千个中选择随机帧，否则它可能不会选择不同的抓地力。取而代之的是，它将相似的帧组合在一起，从而形成与独特抓点相对应的不同簇。然后，它从每个聚类中拉出一帧，以确保它具有代表性的样本。然后，CNN使用在训练中学到的接触模式来根据所选帧预测对象分类。

Kellnhofer说：“我们希望最大程度地增加帧之间的差异，以便为我们的网络提供最佳的输入。” “单个群集内的所有框架都应具有相似的特征，代表相似的抓取对象的方式。从多个群集中进行采样可以模拟一个人，以交互方式尝试在探索一个对象时寻找不同的抓地力。”

为了进行重量估算，研究人员从用手指和拇指拿起，握住和放下的物体的触觉图上建立了约11,600帧的独立数据集。值得注意的是，CNN并未在其测试过的任何帧上训练，这意味着它无法学习仅将重量与物体相关联。在测试中，将单个帧输入到CNN中。从本质上讲，CNN会拾取由物体的重量引起的手周围的压力，而忽略其他因素(例如为了防止物体滑动而进行的手部定位)引起的压力。然后根据适当的压力计算重量。

该系统可以与已经在机器人关节上的传感器相结合，以测量扭矩和力，以帮助他们更好地预测物体的重量。Sundaram说：“关节对于预测体重很重要，但是从指尖到手掌，重量也有重要的组成部分。”