一种可靠且可穿戴的系统，可实时识别手指运动

附着在食指顶部（x轴）和侧面（y轴）的有机光响应传感器在25 平方厘米的图形纸上的照片

能够检测、跟踪和解码周围运动的设备在机器人、医疗保健、娱乐行业、体育等领域有着无数有价值的应用。可穿戴传感器在检测和记录人类用户的运动方面尤其有效，因为它们可以被策略性地放置，并且可以更精确地捕捉到更细微的运动。

Ajou大学、韩国大学和韩国科学技术研究院（KU-KIST）的研究人员最近开发了一种新系统，可以实时识别人类用户手指的运动。他们提出的设备发表在《自然电子》杂志上，基于一个可穿戴传感器和一系列所谓的人工突触（即在大脑中复制突触功能的硬件组件）。

开展这项研究的研究人员之一Sungjun Park教授告诉Tech Xplore：“人机界面的发展正朝着与我们日常生活更加无缝的融合方向发展。理想情况下，我们甚至可以在没有意识到的情况下与技术互动。实现这一点的一个关键方法是让机器能够识别人类的自然动作，尤其是手指运动等复杂动作。这种识别不仅是一种新奇事物，而且对机器人、医疗保健和通信等领域有着深远的影响。”

尽管最近可穿戴运动识别系统的发展取得了进展，但迄今为止提出的许多解决方案仍然没有达到最 佳效果。最近开发的用于识别人体运动的系统依赖于两个或多个固定设备，如3D深度摄像机，红外摄像机和惯性测量单元。

“这种类型的设置无意中阻碍了他们试图识别的自然运动，”kunuk Wang教授(KU-KIST)解释说。“此外，它们的底层算法在时间和能量方面都是资源密集型的，主要是因为它们需要区分手指和其他物体，然后在连续的时间框架内跟踪它们的运动。我们最近在《自然电子》上发表的论文试图克服这些障碍。”

在他们之前的研究成果的基础上，Sungjun Park教授、Wang和他们的同事开始开发一种“无限制”的运动识别系统，可以可靠地检测和识别用户单个手指的运动。为了做到这一点，他们将广泛使用的带有人工突触的光学传感器集成到一个非常薄的基板上，其厚度约为2微米(即大约是人类头发直径的1/20)。

“这个想法的起源来自两个关键的作品，”Sungjun Park教授说。“第一个是我之前对用于自供电ECG传感器的高灵敏度和超柔性有机光伏电池的研究，而第二个是Gunuk Wang开发的具有长时间稳定运行的突触装置。”

研究人员的手指运动识别系统有两个主要组成部分，即光学传感器(有机接近传感器)和所谓的突触装置。通过将这两个组件小心地放置在非常薄的基板上，研究小组能够生产出一种易于在皮肤上佩戴的设备，同时也能适应人类运动时皮肤上自然形成的折痕。

这种独特的设计允许用户在周围环境中随心所欲地移动，同时系统记录和识别他们的移动。该系统通过完成运动捕捉、信号转换和学习/识别三个不同的步骤来实现手指的运动识别。

Park教授解释道：“佩戴传感器时，用户可以在空气中绘制图案（在我们的演示中，我们使用了数字0到9）。这是由放置在食指顶部和侧面的光学传感器捕捉到的。为了提供照明条件，我们将两个不同的灯垂直对齐。例如，如果你画了数字‘3’，你的手指将沿着水平（x轴）和垂直（y轴）追踪一条独特的路线飞机。随着光学传感器离光越来越近或越来越远，它会产生不同的电压模式。

作为第二步，该团队的系统将运动传感器捕捉到的光实时转换为电信号。从手指的运动中得到的独特电压模式随后被转换为表示电压大小的数字图像。最后，这些数字图像被馈送到突触设备，该设备通过运行机器学习算法来预测用户的手指运动。

“这个组成部分是学习和识别模式的关键，”王教授说。“它调整和更新突触重量（w）基于输入，其改变和保持电导的能力起着至关重要的作用。本质上，更明显的输入电压会导致电导发生更显著的变化，并保持特定的持续时间。随着时间的推移，该设备经过训练，能够识别数字0到9的模式，从而能够根据所学的突触权重识别新的随机模式。

与过去引入的许多其他运动识别系统相比，研究人员的系统预测更可靠、更持久、更准确。值得注意的是，他们的设备可以承受高达60%的应变，并且在反复弯曲1200多次后可以保持其功能。

该系统也适用于恶劣的照明条件，包括在照明不足的环境中或在一天中光线很少的时候。在最初的评估中，它实现了高达95%的显著准确率，从而比过去引入的无数其他解决方案更好地预测了人类用户的手指运动。

Park教授说：“我们在神经形态计算和可穿戴设备的交叉领域取得了重大进展。通过将传感器和突触设备协同到一个非常柔韧的基底上，我们制作了一个系统，该系统不仅与用户无缝融合，还展示了卓越的计算能力。其特点是降低了功率需求，提高了精度，并具有值得称赞的机械和电气弹性。”

未来，该研究团队推出的新手指检测系统可以在各种环境中实施和测试，这些环境可以受益于对人类运动的可靠监测。它的底层设计也可能激发该领域的进一步努力，从而开发出最先进的运动跟踪和识别技术。

Park教授说：“除了手指的运动，这项技术还可以用于识别其他身体运动。此外，它的影响深远，涉及多个领域，包括机器人，它可以促进精确的人机交互；医疗保健，它可以彻底改变患者监测和康复；通信，它可以实现更直观的界面；可穿戴技术，它可以帮助开发更用户友好和适应性更强的设备；以及增强现实和虚拟现实领域，在那里它可以帮助创造更身临其境和更自然的体验。

在目前和即将进行的研究中，Park教授和他的同事计划继续研究他们的设备，以进一步提高其功能和性能。此外，他们希望利用他们的设计创造新的技术，可以用来解释其他身体运动和生理信号。

Park教授补充说:“我们最近的工作集中在创建一个适合皮肤的系统，专门为实时手指运动识别量身定制，通过将光学传感器和人工突触合并在一个特别柔韧的基底上实现。”

“这个平台的潜力还不止于此。事实上，我们正在探索各种传感器类型的集成，如应变或热传感器，以解释更广泛的数据。光学传感器的多功能性也引起了我们的兴趣;它在测量其他重要指标(如血氧水平或心跳)方面的潜力令人着迷。从本质上讲，这强调了我们的系统在众多应用中的广泛适应性。”