创建 3D 人体网格的 Wi-Fi 传感系统

Wi-Mesh 分析多个天线上的 Wi-Fi 信号反射，以构建 3D 人体网格表示，然后可用于各种创新应用

3D 网格是由不同的顶点和多边形组成的三维对象表示。这些表示对于许多技术应用非常有用，包括计算机视觉、虚拟现实 （VR） 和增强现实 （AR） 系统。

佛罗里达州立大学（Florida State University）和罗格斯大学（Rutgers University）的研究人员最近开发了Wi-Mesh，这是一种可以创建可靠的3D人体网格的系统，这些网格表示的人类可以被不同的计算模型和应用程序使用。他们的系统在第二十届ACM嵌入式网络传感器系统会议（ACM SenSys'22）上展示，该会议侧重于计算机科学研究。

“我们的研究小组专门从事尖端的Wi-Fi传感研究，”佛罗里达州立大学的Jie Yang教授表示。“在以前的工作中，我们开发了使用Wi-Fi设备来感知一系列人类活动和物体的系统，包括大规模的人体运动，小规模的手指运动，睡眠监测和日常物体。我们的电子眼和WiFinger系统是最早使用Wi-Fi传感对各种类型的日常活动和手指手势进行分类的系统之一，重点是使用经过训练的模型进行预定义的活动。

杨教授及其同事最近工作的主要目标是评估通常用于通信的Wi-Fi设备是否也有助于构建3D人体网格。3D 人体网格以三维方式表示人体表面，捕捉不同人的身高、体重、体型、身体比例和关节引起的身体变形。

杨教授解释说：“3D人体网格具有许多应用，包括VR/AR内容创建、虚拟试妆和运动监控，并且是各种下游任务的基本构建块，例如动画，穿着衣服的人体重建和渲染。

研究人员创建的Wi-Mesh系统利用集成在常见Wi-Fi通信设备中的多个天线来创建人体网格。从本质上讲，该系统发出Wi-Fi信号来探测人体，然后分析反射以得出人体的形状。

“我们的系统分析人体的反射，以估计信号反射的二维到达角（2D AoA），使Wi-Fi设备能够像人类一样'看到'环境，”杨教授说。“然后，该系统提取人类的2D AoA图像，并进一步利用深度学习模型将人体的2D AoA图像转换为3D网格表示，可用于各种人机交互（HCI）应用，如VR / AR内容创建，虚拟试妆和运动监测。

与传统的基于摄像机的系统相比，Wi-Mesh 在创建 3D 人体网格方面具有多个优势。最值得注意的是，这些传统系统无法在非视距（NLoS），黑暗或宽松的衣服场景中运行，而Wi-Mesh甚至可以穿过墙壁和障碍物，因为Wi-Fi信号可以穿透它们。

与其他提议的系统相比，Wi-Mesh也不依赖于可穿戴传感器或标记，使其透明且易于使用。最后，这个新系统可以使用现有的Wi-Fi通信设备轻松部署，使其更实惠并促进其广泛采用。

“我们的研究表明，使用商品Wi-Fi来构建3D人体网格是可能的，这在以前被认为是不可能的，”杨教授说。“这一突破意味着Wi-Fi设备不仅可以通信，还可以'看到'和可视化人体，从而提供更高水平的传感能力。

这组研究人员最近的研究可能很快就会为构建用于不同技术应用的人体网格开辟新的和令人兴奋的可能性。未来，Wi-Mesh 系统可用于创建更好的 VR 和 AR 内容、更先进的实时舞蹈视频和运动监测应用程序，以及其他弥合物理世界和虚拟世界之间差距的技术，例如广泛讨论的“元宇宙”。

在接下来的研究中，杨教授和他的同事们计划创建创新的应用程序，可以利用他们的系统创建的3D人体网格。其中一个应用，智能家居安全系统，将在2023年USENIX安全会议上展示。

“我们目前正在研究一种智能监控系统，该系统使用来自Wi-Fi设备的3D人体网格来执行人员重新识别（Re-ID），”杨教授补充说。“构建的3D人体网格可以捕获有关人的身高，体重，身体比例和步态的信息，从而可以识别个人。与传统的基于摄像头的监控系统相比，这种方法具有多种优势。例如，即使在不断变化的外观和姿势中，它也可以识别个人，并且它适用于基于摄像头的系统经常出现故障的非视线场景。