增强现实耳机使用户能够看到隐藏的物体

增强现实耳机结合了计算机视觉和无线感知，可以自动定位隐藏在视线之外的特定物品，可能是在盒子内或堆积物下，然后引导用户检索它

麻省理工学院的研究人员制造了一种增强现实耳机，可以让佩戴者看到X光。

这种头戴式耳机结合了计算机视觉和无线感知，可以自动定位隐藏在视线之外的特定物品，可能是在一个盒子里，也可能是在一堆东西下面，然后引导用户取回它。

该系统利用射频(RF)信号，可以穿过纸箱、塑料容器或木制隔板等常见材料，以找到标有RFID标签的隐藏物品，RFID标签可以反射射频天线发送的信号。

当佩戴者穿过房间走向物品的位置时，耳机会引导佩戴者，物品会在增强现实(AR)界面中显示为一个透明球体。一旦物品在用户手中，名为X-AR的耳机就会验证他们是否拿对了物品。

当研究人员在一个类似仓库的环境中测试X-AR时，耳机平均可以将隐藏的物品定位在9.8厘米以内。它验证了用户拿起正确物品的准确率为96%。

X-AR可以帮助电子商务仓库工作人员快速找到杂乱的货架上或被埋在盒子里的商品，或者当许多类似的物品在同一个箱子里时，可以识别出订单中的确切商品。它还可以用于制造设施，帮助技术人员找到正确的部件来组装产品。

“我们这个项目的全部目标是建立一个增强现实系统，让你看到看不见的东西——盒子里或角落里的东西——通过这样做，它可以引导你走向它们，真正让你以以前不可能的方式看到物理世界。”Fadel Adib说，他是电子工程和计算机科学系的副教授，媒体实验室信号动力学组的主任，以及一篇关于X-AR的论文的高级作者。

增强 AR 头戴式设备

为了制造一款具有x射线视觉的增强现实耳机，研究人员首先必须在现有的耳机上安装一根可以与rfid标签物品通信的天线。大多数RFID定位系统使用多个相距数米的天线，但研究人员需要一种轻质天线，可以实现足够高的带宽来与标签通信。

“一个很大的挑战是设计一种天线，既能安装在耳机上，又不会覆盖任何摄像头，也不会阻碍摄像头的工作。这很重要，因为我们需要在遮阳板上使用所有规格，”Eid说。

该团队采用了一种简单、轻便的环形天线，并通过将天线逐渐变细(逐渐改变其宽度)和增加间隙进行实验，这两种技术都可以提高带宽。由于天线通常在室外工作，研究人员对其进行了优化，以便在连接到耳机的遮阳板时发送和接收信号。

一旦团队建立了一个有效的天线，他们就专注于使用它来定位带有rfid标签的物品。

他们利用了一种被称为合成孔径雷达(SAR)的技术，这种技术类似于飞机对地面物体的成像。当用户在房间里移动时，X-AR用天线从不同的有利位置进行测量，然后将这些测量结果结合起来。通过这种方式，它就像一个天线阵列，来自多个天线的测量结果结合在一起来定位设备。

X-AR利用耳机自跟踪功能的视觉数据来构建环境地图，并确定其在该环境中的位置。当用户行走时，它会计算RFID标签在每个位置出现的概率。在标签的确切位置，概率将是最高的，所以它使用这个信息来锁定隐藏的对象。

“虽然我们在设计系统时遇到了挑战，但我们在实验中发现，它实际上可以很好地适应人体的自然运动。由于人类经常移动，它使我们能够从许多不同的位置进行测量，并准确地定位一件物品，”Dodds说。

一旦X-AR定位了物品，用户拿起它，耳机就需要验证用户抓取了正确的对象。但是现在用户站着不动，耳机天线不动，所以它不能使用SAR来定位标签。

然而，当用户拿起物品时，RFID标签也会随之移动。X-AR可以测量RFID标签的运动，并利用耳机的手部跟踪功能来定位用户手中的物品。然后，它检查标签是否发送了正确的射频信号，以验证它是正确的对象。

研究人员利用耳机的全息可视化功能，以简单的方式为用户显示这些信息。一旦用户戴上耳机，他们就可以使用菜单从标记物品的数据库中选择一个对象。在对象被本地化后，它被一个透明球体包围，这样用户就可以看到它在房间中的位置。然后，该设备将轨迹以地板上的脚步声的形式投射到该物品上，该轨迹可以随着用户的行走而动态更新。

Lam说:“我们抽象了所有的技术方面，所以我们可以为用户提供无缝的、清晰的体验，如果有人要在仓库环境或智能家居中使用它，这将尤其重要。”

测试耳机

为了测试X-AR，研究人员创建了一个模拟仓库，用纸箱和塑料箱填充货架，并在里面放置带有rfid标签的物品。

他们发现X-AR可以引导用户指向目标物品，误差小于10厘米，这意味着平均而言，物品位于距离X-AR引导用户的地方不到10厘米的地方。研究人员测试的基线方法的中位误差为25至35厘米。

他们还发现，它正确地验证了用户在98.9%的时间里拿起了正确的物品。这意味着X-AR能够将拾取误差降低98.9%。当物品仍在盒子里时，准确率甚至达到了91.9%。

“系统不需要在视觉上看到物品来验证你是否拿对了物品。如果你有10款包装相似的手机，你可能分不出它们之间的区别，但它可以指导你选择正确的那款。”Boroushaki说。

现在他们已经证明了X-AR的成功，研究人员计划探索如何使用不同的传感模式，如WiFi、毫米波技术或太赫兹波，来增强其可视化和交互能力。他们还可以增强天线，使其范围超过3米，并扩展系统，以供多个协调的耳机使用。

“因为今天没有这样的东西，我们必须弄清楚如何从头到尾建立一个全新类型的系统，”阿迪布说。“实际上，我们提出的只是一个框架。虽然有很多技术上的贡献，但它也是未来如何设计具有x射线视觉的AR耳机的蓝图。”

微软行业研究董事总经理Ranveer Chandra说:“这篇论文使AR系统在非视线场景下工作，为AR系统的未来迈出了重要一步。它使用了一种非常聪明的技术，利用射频传感来增强现有AR系统的计算机视觉能力。这可以推动AR系统应用到以前不存在的场景，如零售、制造业或新的技能应用。”