据外媒报道,麻省理工学院(MIT)的工程师设计了一款超声波腕带,能够实时精准地追踪佩戴者的手部动作。这款腕带会在手部运动时生成手腕肌肉、肌腱和韧带的超声图像,并与人工智能(AI)算法配合使用,持续将这些图像转换成五指和手掌的相应位置。

研究人员可以训练这款腕带学习佩戴者的手部动作,并将这些信息实时传输给机器人或虚拟环境。该团队的研究成果发表于期刊《Nature Electronics》。

图片来源:麻省理工学院

在演示中,该团队展示了佩戴腕带的人可以无线控制机械手。当佩戴者做出手势或指向时,机械手也会做出相应的动作。通过类似无线木偶的互动,佩戴者可以操控机械手在钢琴上演奏简单的曲子,或者将一个小篮球投进桌面上的篮筐。佩戴者还可以使用同一腕带操控电脑屏幕上的物体,例如,通过捏合手指来放大或缩小虚拟物体。

该团队正在利用这款腕带收集更多不同手型、手指形状和手势用户的手部动作数据。他们设想建立一个庞大的手部动作数据集,并将其用于训练类人机器人完成诸如某些外科手术等灵巧性任务。这款超声波腕带还可以用于在视频游戏、设计应用程序或其他虚拟环境中抓取、操控物体并与之互动。

MIT机械工程系Uncas和Helen Whitaker教授Xuanhe Zhao表示:“我们认为这项研究具有直接应用前景,有望在虚拟现实和增强现实中用可穿戴超声波腕带取代手部追踪技术。它还可以为灵巧的类人机器人提供海量的训练数据。”

目前,机器人捕捉和模仿人类手部灵巧性的方法多种多样。一些方法使用摄像头记录人类操作物体或执行任务时的手部动作。另一些方法则让使用者佩戴带有传感器的手套,该手套可以记录使用者的手部动作并将数据传输给接收机器人。然而,为不同的应用场景搭建复杂的摄像头系统既不切实际,也容易受到视觉障碍的影响;此外,带有传感器的手套可能会限制使用者自然的手部动作和感觉。

第三种方法是利用手腕或前臂肌肉的电信号,科学家将这些信号与特定的手部动作关联起来。研究人员在这种方法上取得了显著进展。然而,这些信号很容易受到环境噪声的干扰,而且灵敏度不足以区分细微的动作变化。例如,它们可以分辨拇指和食指是捏在一起还是分开,但很难捕捉到中间的过渡动作。

赵教授的团队想知道超声成像技术是否能够捕捉到更灵巧、更连续的手部动作。该团队一直在研发各种超声贴片——这些贴片是医生诊室里使用的换能器的微型版本,并搭配可安全贴附于皮肤的水凝胶材料。

在他们最新的研究中,该团队将超声贴片设计集成到可穿戴腕带中,用于持续成像手腕的肌肉和肌腱。

参与该研究的Gengxi Lu表示:“手腕的肌腱和肌肉就像牵着木偶的线,而木偶就是手指,所以我们的想法是,每次拍摄一张‘线’的状态照片,就能了解手的状态。”

研究团队设计了一款腕带,腕带上贴有超声波贴片,大小与智能手表相仿,并内置了与手机大小相近的电子元件。他们将腕带佩戴在志愿者的手腕上,并确认该设备能够清晰、连续地拍摄到志愿者手指做出各种手势时的手腕图像。

接下来的挑战是如何将手腕的黑白超声图像与手部的特定位置关联起来。研究发现,手指和拇指拥有22个自由度,即不同的伸展或角度。研究人员发现,他们可以在手腕的超声图像中识别出与这22个自由度相对应的特定区域。例如,一个区域的变化与拇指的伸展相关,而另一个区域的变化则与食指的运动相关。

为了建立这些关联,研究人员让佩戴腕带的志愿者做出各种手势,同时用环绕志愿者的多台摄像机记录这些手势。通过将超声图像特定区域的变化与摄像机记录的手部位置进行匹配,研究团队可以将腕部图像区域与手部相应的自由度进行标记。但是,对于人类来说,要持续、实时地完成这种转换几乎是不可能的。

因此,研究团队转向了AI。他们使用了一种AI算法,该算法可以经过训练来识别图像模式并将其与特定标签关联起来,在该研究中,标签指的是手部的各种自由度。研究人员使用他们精心标记的超声图像来训练该算法,并在图像中标注与特定自由度相关的区域。他们用一组新的超声图像测试了该算法,发现它能够正确预测相应的手势。

研究人员成功将AI算法与腕带配对后,在更多志愿者身上测试了该设备。在这项新研究中,八名手掌及手腕尺寸各异的志愿者佩戴腕带,做出各种手势和抓握动作,包括美国手语(American Sign Language)中全部26个字母的手势。他们还抓握了网球、塑料瓶、剪刀和铅笔等物品。在每项测试中,腕带都能精确追踪并预测手的位置。

为了展示其潜在应用,研究团队开发了一个简单的计算机程序,并将其与腕带无线连接。当佩戴者做出捏合和抓握动作时,这些手势对应着计算机屏幕上物体的放大和缩小,并以流畅连续的方式虚拟移动和操控该物体。

研究人员还测试了这款腕带作为简易商用机械手的无线控制器。志愿者佩戴腕带后,做出弹奏键盘的动作。机械手则实时模仿这些动作,在钢琴上演奏出一段简单的旋律。这款机械手还能模仿人的手指敲击,进行桌面篮球游戏。

Zhao教授计划进一步缩小腕带硬件的体积,并利用更多不同手型和大小的志愿者的手势和动作来训练AI软件。最终,该团队的目标是开发一款任何人都能佩戴的可穿戴式手部追踪器,以高灵巧度无线操控类人机器人或虚拟物体。

Zhao教授表示:“我们相信,通过可穿戴式腕部成像技术追踪灵巧的手部动作,是目前最先进的方法。我们认为,这些可穿戴式超声波腕带能够为虚拟现实和机械手提供直观、多功能的控制。”