账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
第九届盛群杯HOLTEK MCU创意大赛─畅所欲言
 

【作者: 台北科技大學電子工程系】2015年08月18日 星期二

浏览人次:【16514】


聋哑人士在许多场合都面临沟通之障碍,例如:问路、寻求帮助,以及紧急灾难发生等。由于聋哑人士大多以手语作为沟通之管道,不同一般人是以口语作为沟通之管道,因此所使用之手语翻译系统如何能精准地判别手势并即时的翻译发声便显得非常地重要。


基于这样的理由,我们希望打破既有的研究基础上发展出一套具备准确判别手势与即时翻译发声之手语翻译系统。同时配合线上资料库之开发,我们也期待藉由手机软硬体协同设计的方法来达到即时翻译之目的。


为了改善先前手语翻译系统的不便性,我们使用轻薄的弯曲压力应变计来侦测手部姿态,达到更准确、更方便、更自然、更省电的效果。本作品功能性、创作性、实用性说明如下:


功能性

现在一般的手语翻译系统都是不便于携带的。我们将手语翻译系统与每天随身携带的手机做结合,只要再带上一双手套,喑哑人士就像带着嗓子出门一般没有负担。除了携带性,现在的智慧型手机有许多软硬体,未来可望结合更多应用程式,例如:让此手语翻译系统可以直接对手机话筒发声,让喑哑人士也能用手机通话;或是开发防灾警告系统、结合手势的手机游戏等等,以震动的方式让手机与手套有所互动。


我们以中华民国启聪协会提供各种手语起源之基本手型为主要资料库建立之主轴,也以此作为我们手型判别之依据及标准。基本之手型约有60多种,相较于我们设计之手套可排列组合约一千多种手型(10Bits),除了具备可完整建构现今所有手语之能力,也预留了极大之空间给其他资讯的传输,便于日后的扩充。


图1 : 中华民国启聪协会提供之 60 种手形
图1 : 中华民国启聪协会提供之 60 种手形

创新性

手势辨识技术停留在影像辨识已经很长一段时间了。想到手势辨识技术,一般都会马上想到以镜头拍摄手部动作,并运用影像处理技术分析手势。然而架设镜头非常不方便且无可携性可言,亦容易受到周围环境的干扰。我们使用弯曲应变计,搭配手机,不但准确,又能应用手机中的许多硬体软体,且携带无负担, 让多彩多姿的语音对话融入喑哑人的生活中。


实用性

我们发明的手语翻译系统是由弯曲压力感测器的手势侦测模组和手机所组合而成,能准确判断、分析出该手部动作反应相对应的动作资讯,此外该手势侦测装置内建有蓝牙传送的功能,是主要应用在传送动作反应产生的讯号,手机则是有蓝牙接收的功能,使用者可选择使用透过语音包或GOOGLE发声。透过接收到不同的动作资讯来发出手势对应的声音。本案能将所欲传达的手部动作反应经由手势侦测装置之弯曲压力感测器侦测出的动作资讯经由蓝牙传递到手机,大幅地提升了判断的准确性,当使用者欲透过手势来表达想法或语言时,经由此系统,将大大地降低了用手势沟通的障碍,并且可以避免不同人对手势动作的主观意思解读造成不必要的误解与纷争。


图2 : 本系统核心特色图
图2 : 本系统核心特色图

先前的手语翻译机皆是使用摄影机与影像处理来辨识使用者的手势。此类产品最大的缺点就是无法携带,且有严苛的使用环境限制:使用者必须在空旷、无生物干扰、足够大的空间才能使用产品。除此之外,精准度、使用自然度、以及成本亦不理想,因此手语翻译机从未普及于市场。


本发明主要解决的问题和达成的目的有以下二者:其一是增加人机交互的自然性,为了让使用者便于携带,我们的中央控制是结合携带方便的行动装置,使用上并无空间限制,且设计使用上较为轻巧自然,并不需要面对机器做手势而是可以直接与人面对面,透过行动装置直接翻译手势因而发声。其二是增加人与人互动的即时性,当面对面作沟通时,手势侦测装置除了没有固定地点的限制外也不会受其他人动作的干扰,具有绝对的准确性,并透过具有语音发声装置的行动装置,让人在使用手语与他人沟通时,大大增加了互动的即时性。


产品创新与开发能力:

使用弯曲应变计侦测手势只是创新的第一步,舍弃传统的影像辨识之后,其实还有很多方法可以侦测手势。我们曾考虑过将压力计遍布于手套上,最后决定使用弯曲应变计,不但较简单也更加精准。此系统技术上并不困难,正因如此我们可专注于顾客需求与多元化功能的发展。不但不需投入大量资金于硬体发展,更有多元的应用方式等着我们去开发。


质量管理能力:

本产品不需精密的电子仪器,简单的晶片、电阻、蓝牙模组,这些技术都已经很成熟, 可期待高良率、低损坏率,让使用者能顺畅使用。除了品质优良率高之外,此手语翻译系统性价比也很高。此产品成本粗估5000NTD,假设定价在万元左右,此定价也不及助听器、义肢等设备的1/2~1/3。万元左右的价格,能买到长期说话的能力,已属辅助设备中性价比非常高的了。


品牌管理与营销传播的能力:

此产品形象公益,应能让大众对销售此系统的品牌产生良好印象。由于目前市面上并无手语翻译相关商品流通,若成为第一个销售手语翻译机的厂商,再加上良好的包装行销,应能让大众印象深刻,一想到手语翻译便会联想到该品牌。


供应链与销售管理能力:

此产品贵在概念新颖,并不需要高等的硬体设备、技术等等,因此供应链管理应不困难,可期待高销售利润。由于目前市面上无人贩卖手语翻译相关商品,再加上此手语翻译系统对喑哑人来说非常方便,未来可望成为喑哑人士不可或缺的配备,只要持续占有市场,应可带来不错的产品利润。


工作原理

本作品是高立人老师实验室自行研究的成果,并已提出专利申请。此作品的理念是结合手势辨识与发音装置,达成手语翻译的目的。为了辨识手势,我们需要知道每一根手指的弯曲状态。可以用二进制10 位元来表示双手状态。


在考虑侦测手指弯曲时,我们曾考虑过使用压力应变计遍布于手套的方式。压力应变计为一种受到压力便会有阻值变化的可变电阻。将压力应变计放置于手指关节处,在手指弯曲时,关节处应会承受压力而产生阻值改变,再进行分压,将十指弯曲状态以0和1表示成10位元的讯号,透过蓝牙装置传送到语音装置,判别手势后进行发音。


然而使用压力应变计会遇到一个问题,关节位置会因为手指长度而不同。要使应变计位置随使用者而调整所需花费的成本太大也太复杂,若改成将应变计覆盖满手指,所需电阻数量会提高许多,成本亦会升高,且如此一来所得到的电阻资讯会非常复杂,难以处理。


因此我们决定使用弯曲应变计。弯曲应变计是一种长条形的可变电阻,长度刚好约一根手指长。弯曲应变计在感受到弯曲压力的时候,阻值会产生改变,其压力值与阻值约呈线性关系。我们在手套的十只手指上方分别缝上一根弯曲电阻,手指弯曲时电阻值也会改变。我们在十指后方加上一电路模组,取十指的电压分压,转换成10 位元二进制的讯号后,经蓝牙模组传送至手机。


图3 : 工作原理之手势判别对照图
图3 : 工作原理之手势判别对照图

图3 对照图,其中暂存器A 之功能为比对手势是否与上个clock cycle 之手势相同;暂存器B 之功能为储存手势相等之次数;Flag 表示暂存器A 的手势是否已被储存。


开始时先设暂存器A、B、Flag 皆为0,接着开始侦测手套十指上的弯曲应变计之分压。侦测到的分压值藉由AD 转换成为10位元的二进制讯号后,比对是否与暂存器A相等。若不相等,代表此手势已有别于上一个手势,使用者正在进行手势转换,需将暂存器B 之计数归零,使手势相等的次数重新计算,且Fla​​g 需重设为0,代表目前手势还没有被当成输出手势送出。


若经过AD 转换之10 位元讯号与暂存器A中所储存手势相等,代表使用者仍维持相同手势,此时应开始计算此手势维持时间超过我们所设定之n 个clock cycle;只要取样结果与暂存器A 之值相等,先将Flag 设为0 表示尚未输出手势,并将暂存器B 之值+1,表示手势又一次相等。接着将暂存器B之值与n做比对,若B所存之值小于n,则继续取样、比对;若B所存之值大于n,表示此手势为欲表达手势,应将暂存器A的手势输出,并将Flag设为1,表示此手势已经送出,避免在手势还未改变之时,重新计算此已送出手势。


手机可内建一资料库,发送此十位元资讯给资料库后,回传一语音资讯给手机,如此便能使手机发出与手势相对应的语音,达成手语翻译的目的。


作品结构

在此手语翻译系统架构中,实作呈现一主端为中央控制模组,及两从端为手势侦测模组,其从端之模组由一弯曲压力感测单元、一晶片控制单元、及一传输单元所组成。如图 4 为指令执行及传输之架构:



图4 : 系统架构图(一主端两从端)
图4 : 系统架构图(一主端两从端)

如下图之图5则为从端指令执行及传输之单元架构,在从端弯曲压力感测单元侦测到手部姿势造成之电阻讯号后,传至晶片控制单元即可判断得知手势,再将其相对应之资讯经由传输单元传至主端之中央控制模组。在从端架构中主控制功能是由晶片控制单元来执行,当遇到了资料输入量过大而致使系统来不及判断及执行指令时,我们处理此问题之方法是采用阵列伫列将不及处理之指令按接收顺序将指令暂存,避免指令发生误判或被覆盖,并依序处理暂存之指令,使其完整精确执行欲完成之指令。



图5 : 从端功能架构图
图5 : 从端功能架构图

图6 : 从端硬体架构布线设计之电路零件面图
图6 : 从端硬体架构布线设计之电路零件面图

图6 最右端之布线设计为将手部姿势产生之弯曲电阻值与预设之电阻进行分压,并将取得之数据输入该图正中间之微控制器,经由微控制器判断手部是否弯曲,如判断之结果为弯曲,利用微控制器AD 转换功能将取得资料进行编码,将此编码值经传输单元传至传至主端之中央控制模组。



图7 : 系统功能区块示意图
图7 : 系统功能区块示意图

在运作时,如图7,弯曲压力感测单元会因手部姿态快速的变化而大量产生各种需被执行的指令。这时晶片控制单元会去执行这个从感测单元取得之指令。虽然手语动作触发的指令都是同样的,但是会因为比手语者的手势速度不同,而在同时间取得不同量的资料,为避免误判或资料覆盖之发生,我们采用的是前面有提到的伫列的方式,晶片控制单元执行伫列时是依据「先进先出(FIFO,First In First Out)」的运算特性来读取并执行指令;其中阵列伫列的型式我们采用的是环形伫列(Circular queue)。因若只使用单纯的阵​​列伫列,会浪费许多储存空间,而环形伫列会在伫列存满之后重复使用最前面已经使用完毕的位址,这将会使我们省下较多的储存空间。最后再将执行完毕之指令及其相对应之资料透过蓝牙发射单元传回中央控制模组之蓝牙接收单元结束从端工作。


测试方法

如何测试:

类比数位转换(ADC)

1.量测弯曲电阻是否电阻值有随弯曲电阻弯曲程度而递增递减。


2.将弯曲电阻与其10K 欧姆电阻进行分压,电表量测电压值是否有变化。


3.将其类比电压值送至HT66F50 脚位, 设置中断点,逐步执行观看电表所量测电压值与变数监视视窗中ADC 变数值有如正确。例:(电源3.3v,目前类比输入电压为1.5v,则ADC 变数值约为1862)


4.在两只手上各搭载HT66F50 晶片,分别将五根手指类比电压输入晶片进行ADC 转换。


UART蓝牙传送

1.我们使用蓝牙模组HC-05 进行资料传输,将蓝牙模组利用电脑超级终端机下达AT 指令,将其两个蓝牙模组更改为从机(slave)模式。


2.利用超级终端机下达AT 指令,使其蓝牙模组鲍率为9600bit/s


3.利用超级终端机下达AT 指令,设置蓝牙连线密码。


4.将蓝牙与HT66F50 晶片连接,传送预设字元ABC,超级终端机上亦显示ABC,则表示蓝牙传送端程式及硬体电路无误。


测试条件:

测试环境:需使用e-ICE 测试弯曲电阻、蓝牙。


测试结果:

弯曲电阻、蓝牙模组在66F50 下正常操控使用。并将其弯曲电阻之分压值经由蓝牙传输,超级终端机显示其数值无误。手机再与蓝牙连接将其两只手势编码进行判读、发出其对应之语音文字。


(本文作者高立人为台北科技大学电子工程系教授,苏宛琳、余佩儒、魏新展、刘俊成为台北科技大学电子工程系研究生)


参考文献

[1]盛群半导体股份有限公司HT66F50 DataSheet


[2]微控科技 HC-05 蓝牙模组


[3]SPARKFUN 弯曲电阻


[4]中华民国启聪协会http://isign.deaf.org.tw/iSignHome.asp


相关文章
以霍尔效应电流感测器简化高电压感测
BMS的未来愿景:更安全、更平价的电动车
利用边缘运算节约能源和提升永续性
Arduino推出支援Elastic的函式库
电学、光学PPG感测器应用在健康穿戴的设计与挑战
comments powered by Disqus
相关讨论
  相关新闻
» 亚湾2.0以智慧科技领航国际 加速产业加值升级
» 高通执行长Cristiano Amon於COMPUTEX 2024 分享智慧装置上的生成式AI运算
» 应材及东北微电子联手 为MIT.nano??注200mm晶圆研制能力
» 国科会核准科学园区投资案 德商易格斯进驻中科拔头筹
» Honeywell与恩智浦联手利用AI 加强建筑能源智慧管理


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK83T8IYXSESTACUKI
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw