跳动城乡网潜在的应用包括跟踪虚拟现实(VR)系统的手部位置、用手势控制智能手机和其他设备以及了解用户的活动;例如，烹饪应用程序可以在用户切菜、测量和搅拌时讲述菜谱。该技术足够小，可以安装在商用智能手表上，并且使用标准智能手表电池可以持续一整天。
EchoWrist是未来交互智能计算机接口(SciFi)实验室最新的低功耗身体姿势跟踪技术之一。该实验室由康奈尔大学安·S·鲍尔斯计算与信息科学学院信息科学助理教授张成负责。
“手从根本上来说很重要——无论你做什么，几乎总是涉及到手，”张说。“该设备提供了一种解决方案，可以持续跟踪您的手势，成本低廉，而且非常准确。”
信息科学领域的博士生、共同第一作者Chi-JungLee和RuidongZhang将介绍这项研究，“EchoWrist：在智能手机上使用低功耗主动声学传感进行连续手势跟踪和手-物体交互识别”腕带”，于5月11日至16日在计算机协会CHI计算系统中的人为因素会议(CHI'24)上发表。
EchoWrist还允许用户通过手势控制设备并进行演示。“通过允许单手交互，我们可以丰富与智能手表甚至其他设备的交互，我们还可以远程控制我们的智能手机，”Lee说。我可以用单手手势来控制我的幻灯片。”
张瑞东说，这是该实验室首次将其技术扩展到身体之外。“EchoWrist不仅可以跟踪手本身，还可以跟踪物体和周围环境。”
该设备使用安装在腕带顶部和底部的两个微型扬声器，从手和任何手持物体上反射听不见的声音。附近的两个麦克风拾取回声，并由微控制器进行解释。小于四分之一的电池为设备供电。
该团队开发了一种受大脑神经元启发的人工智能模型，称为神经网络，根据产生的回声解释用户的手势。为了训练神经网络，他们比较了用户做出各种手势的回声轮廓和视频，并根据声音信号重建了20个手关节的位置。
在12名志愿者的帮助下，研究人员测试了EchoWrist检测杯子、筷子、水瓶、锅、平底锅和水壶等物体以及喝水、搅拌、剥皮、扭转、切碎和倒水等动作的能力。总体而言，该设备的准确度为97.6%。此功能使用户可以遵循交互式食谱，跟踪厨师的进度并读出下一步，这样厨师就可以避免弄脏屏幕。
与FingerTrak(科幻实验室之前使用摄像头的手部追踪技术)不同，EchoWrist体积小得多，消耗的能量也少得多。
“声学跟踪的一个重要附加好处是，它确实增强了用户的隐私，同时提供与摄像头跟踪类似的性能水平，”合著者、康奈尔大学鲍尔斯CIS和多学院设计技术系信息科学教授FrançoisGuimbretière说道。。
该技术可用于重现VR应用的手部动作。现有的VR和增强现实系统使用安装在头显上的摄像头来完成这项任务，但这种方法会消耗大量电量，并且一旦手离开头显有限的视野，就无法跟踪手。
“这项技术最令人兴奋的应用之一是让人工智能通过跟踪和解释日常活动中的手势来理解人类活动，”张成说。
然而研究人员指出，EchoWrist仍然难以区分形状高度相似的物体，例如叉子和勺子。但该团队相信，随着技术的完善，物体识别能力将会得到改善。通过进一步优化，他们相信EchoWrist可以轻松集成到现有的现成智能手表中。
