搜尋

會員登入

搜尋

導覽

會員

透过AI人工智慧 让无线讯号穿墙分析人体动作

AI人工智慧教导Wi-Fi装置如何估测人体姿势为何,甚至还有穿墙透视的功能,此一成果来自MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)的科学家,未来有??应用於医疗领域,监控慢性疾病的演变。


图一 : 上:镜头收集的真实影像;中:射频讯号描绘出的影像(Keypoint confidence maps);下:经训练後的结果,以动态火柴人型式呈现。
图一 : 上:镜头收集的真实影像;中:射频讯号描绘出的影像(Keypoint confidence maps);下:经训练後的结果,以动态火柴人型式呈现。

RF-Pose是一个人工智慧神经网路系统,可分析来自Wi-Fi装置的射频(RF)讯号碰到环境物体的反射讯号,描绘成Keypoint confidence maps(如图所示),最後再将分析结果以2D火柴人影像呈现。


目前透过镜头(Camera)来监测人事物的应用很多,但研究团队发现,透过Camera来监控人体姿势和动作,最大的问题在於当人走到障碍物後面,Camera就无法录到人体的动作,但透过射频讯号便可解决这个问题,因为射频是一种可以穿透障碍物的讯号,即使人体被墙壁遮住,依然能够撷取到人体的姿势影像。


此项研究的资料来自於同步撷取的射频讯号影像和真实影像,资料中包括人们日常生活中会表现出的动作和姿势,如慢跑、走路、坐下、阅读等,团队在校园的的50个环境中进行连续50小时的资料搜集。


研究团队在RF-Pose计画中遇到的挑战之一,便是模型训练(model training)时没有预测的答案(labelled data),因此不知道训练後会呈现甚麽样的结果,而仅凭射频讯号描绘出的影像也不足以解释人体的动作。


因此,团队在模型训练时,在无线感测器旁设置了网路摄影机,同时取得射频讯号影像和真实影像,而这两种影像是同步的(synchronized),将这两种资料输入(input)至训练模型中,透过模型训练,缩小真实影像和射频讯号影像结果输出(output)的差异,让机器学习如何透过射频讯号来估测人体的动作,最後研究团队成功让系统不需要真实影像,也能尽凭射频讯号就估测出人体的姿势为何,准确率达83.4%。


这项研究可应用於慢性疾病(如帕金森氏症、多发性硬化症)演变的监测,以往使用者都要配戴某种感测器在身上,才能进行连续性的监测,若使用这项技术,以後在家都不用一直配戴XX感测器,目前研究团队正努力进一步将2D影像升级为3D影像的呈现。


叁考文章:


(1)Researchers develop artificial intelligence system to watch you through walls, ZDNet


(2) Through-Wall Human Pose Estimation Using Radio Signals, Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi, Computer Vision and Pattern Recognition (CVPR), 2018



Card Image

基於dsPIC33A DSC的小型感测器/致动器ECU搭配MICROSAR IO示范应用程式

dsPIC33A数位信号控制器(DSC)系列结合来自Vector Informatik GmbH的轻量级软体基础层MICROSAR IO,为小型且对成本敏感的电子控制单元(ECU)提供了最隹化的平台。这种协同效应为汽车供应...

dsPIC33A数位信号控制器(DSC)系列结合来自Vector Informatik GmbH的轻量级软体基础层MICROSAR IO...