账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
超-虚实体感互动系统设计
第十三届盛群杯HOLTEK MCU创意大赛复赛报告

【作者: 許永和老師、朱冠融、吳孟紘】2019年01月23日 星期三

浏览人次:【13908】


游戏画面从以前的马赛克进步到了现今的 3D 画面,画面的细致程度连毛孔都看的清楚,游戏的画面也到了极点,但游戏玩家却无法因此满足,玩家要的不仅是视觉上的不同,还有触感、听觉、味觉等的革新,因此 VR(Virtual Reality)的出现冲击了游戏产业。


VR(Virtual Reality)又称虚拟实境是利用电脑运算模拟出一个三维空间,让使用者犹如置身在虚拟世界中,可以即时且没有限制地观察三维空间内的事物,提供使用者感之上的变化,能直接操作及触摸周遭环境与事物的变化,让使用者仿佛身历其境。


以往的游戏是利用键盘滑鼠在萤幕上做操控,现在则是转为手把及摇杆来当输入装置,萤幕输出改为虚拟实境头戴装置,将游戏产业提高的一个不同的层次,对游戏玩家而言,虚拟实境游戏虽能够让使用者以肉眼感受到游戏世界,但跟现实的感知相比还是略有不足。比如身处在雪山或沙漠中感受不到冷热,被闪电打到却没有被电击的感觉等,离让使用者身历其境尚有一步之遥。因此,本团队想做出能更贴近现实的装置,利用玩家手和脚的动作来控制游戏中人物并透过大量体感装置将游戏中的事件回馈给玩家,并且实现超越一般「虚实」体验与体感互动系统设计的功能。


一般市面常见的虚拟实境装置都是以摇杆或手把作为控制,但拿着摇杆玩部分游戏在整体上就有点突兀,因此本团队以手套做为雏型,并加以设计成具备互动操作的体感装置。而本系统之手套不只拥有亮眼的外型,还能利用手部挥动的特征姿势,如划出圆形,三角形或正方形的动作辨识来达到多种控制目的。


作品构思:

本作品,超-虚实体感互动系统主要是透过在手套上加入多种感测器及搭配 VR 跑步机,使手套能利用手部挥动的姿势,实现图形的动作辨识,另外还可感受到各种温度、振动与麻痹等感知回馈,达到超越一般”虚实”的 VR 体验感觉,进而更加贴近真实的互动效果。


功能性:

● 透过 Wi-Fi 做一对多传输,使资料更加即时


● 手部姿势与手挥动之图形辨识,让玩家玩游戏时有更多操作方式


● 手套具备手势姿势辨识及温度、振动与电击的体感互动等多重控制与互动,以及回馈功能


● HID 人机介面装置模拟键盘或滑鼠, 不需安装其他驱动,插上电脑即可使用


创意性:

● 透过体感温度的变化、振动的触觉与电击的麻痹感,让玩家体验更佳真实的游戏互动体验


● 手套具备图形辨识功能, 能分辨圆形,正方形与三角形等动作,并相对应游戏内的操作模式


● 需要的场地空间小,让玩家即使是在房间也能开心游玩


● 自行设计的手套外观,让玩家戴上后更加亮眼


实用性:

●高容量聚合物离电池可重复充电,能够长时间使用适用于大部分脚踏车


● 方便穿戴,适合长时间游玩


● 游戏与体感互动装置的结合,让游戏更加耐玩有趣


● 写实的游戏背景,让玩家能更有身历其境的感觉


工作原理

此系统使用 Unity 开发的游戏搭配设计出来的手套来进行游戏,其中,手套可达到手指弯曲以及手挥动的感测,并提供温度、震动的回馈详细功能将于下方进行介绍:


Holtek HT66F2390 MCU 使用功能

手部姿势辨识模组

本系统之手部姿势辨识模组分为以下两个部分:手指弯曲辨识与手部挥动图形之动作辨识,并将于底下详细解说。


●手指弯曲辨识


当玩家手指弯曲时,安装于手指上的弯曲传感器也会随着弯曲,弯曲的程度会影响感测器 的电阻值,藉由 Holtek 之 HT66F2390 的 ADC 中断读取弯曲感测器的电压,将资料转换后经 由 Wi-Fi 传送给接收端之 HID 装置,接收端之


HID 装置接收完资料后会输出键盘值做为游戏的操作。


●手部挥动图形之动作辨识


当玩家在用本系统玩游戏时,手所挥动的姿势,Holtek 之 HT66F2390 会读取九轴传感器之加速度并进行特征值辨识,并完成图形辨识, 如圆形、方形与三角形等的图形辨识。尔后, 再将资料转换后经由 Wi-Fi 传送给接收端之


HID 装置,相对地,接收端之 HID 装置接收完资料后,会输出键盘值做为游戏的操作动作。


体感回馈模组:

当玩家在游戏中被怪物攻击、周遭环境的冷热变换与电击时,会经由 HID 装置透过 Wi-Fi 传送资料给接收端之具备互动操作的手套。此 时,具备互动操作的手套之 Wi-Fi 接收完资料后,而 Holtek 之 HT66F2390 会利用 GPIO 去控制不同的体感装置。


而控制致冷晶片上的电流方向可使致冷晶片产生温度的变化,以及控制微动马达达到振 动的触觉。最后,利用变压器提高电压,透过 高电压低电流让人有被电击的麻痹感,实现超 越一般“虚实”的 VR 体验与体感互动。


HID 人机介面装置模组

在此,藉由 Wi-Fi 与具备互动操作的手套的Wi-Fi 做资料的交换,透过 UART 传送给 MCU,MCU 能做模拟键盘装置的功能,将接收到的资料转换为键盘值经 USB HID 人机介面装置的中断传输给电脑,控制游戏的操作。由于具备 HID 群组特性,因此,具备无须安装驱动程式即可 操作的便利性。


UART 特性与原理

UART 是 一 种 通 用 非 同 步 收 发 传 输 器(Universal Asynchronous Receiver/Transmitter), 通常称作 UART。是电脑硬体的一部分,将资料由串列通信与并列通信间作传输转换。 UART 通常用在与其他通讯协定(如 EIA RS-232)的连结上。在串列传输通讯协定的格式内容,每 一个符号由四种资料共 11 个位元所组成


而如图 1 所示,资料透过 FIFO(First Input First Output)的方式,由最低有效位元 LSB(Least Significant Bit) 开始传输直至最高有效位元MSB(Most Significant Bit)(奇偶同位元(PB)可以选择忽略不使用)。



图1 : UART 资料传输格式示意图
图1 : UART 资料传输格式示意图

I2C 特性与原理

I2C 为一串列通讯汇流排协定。 I2C 使用两条双向漏极电路与串列时脉,并利用上拉电阻将电位预设为高准位。 I2C 的设计上使用一个 7位元长度的位址空间但保留了16 个位址,此外


一组汇流排最多可和 112 个节点进行通讯。


如下图2所示,为 I2C 的资料传输过程,I2C 汇流排接线只有两条讯号线:资料线(Serial Data Line ,SDA)与时脉线(Serial Clock Line, SCL),在传输时主装置需按照一定的格式进行传输,并接收从装置的回应讯号。从装置在接收到回应讯号后会依照主装置要求的记忆体位置回传资料,达到资料传输的功能。



图2 : I2C 之传输过程
图2 : I2C 之传输过程

I2C 具备 Wired-AND 特性,其为多装置相连且具有 AND 闸状态之连线方式,I2C 藉由此方式定义出 I2C 的运作方式,当有任何一端处于低准位时,其他相连的接脚同样会处于低准位,借此达到以下效果:


主装置端可以自由控制汇流排输出低准位,却不一定能控制汇流排输出高准位必需汇流排上的其他晶片都输出高准位,主装置端才能完全掌控汇流排的输出。


九轴传感器(MPU9250)

九轴传感器 (MPU9250)结合两个晶片 : MPU-6050 含有三轴陀螺仪、三轴加速计以及板载 Digital Motion Processor (DMP ? ) ;


AK8963 晶片则是三轴磁力计。


本团队藉由陀螺仪及加速度的变化,达到手部姿势辨识之功能。如下图3所示,为MPU9250之结构图。其中,我们透过I2C介面来读取九轴传感器的各个数值。


以下,为 MPU9250 之特性:


● 三轴角速率感测器(陀螺仪),具有每秒±250°、±500°、±1000°和±2000°的满刻度范围


● 三轴加速计具有可编程的 ±2 g、±4 g、±8 g和 ±16 g 满刻度范围


● 三轴罗盘具有 ±4800 μT满刻度范围


● 数位输出温度感测器


● 可程式化的数位滤波器的陀螺仪,加速度计,和温度传感器


● 可耐受 10,000g冲击


● 400 kHz 快速模式 I2C 或高达 1 MHz SPI序列主机介面


图3 : MPU9250 结构图
图3 : MPU9250 结构图

Wi-Fi Module

Wi-Fi 为一建立于 IEEE 802.11 标准的无线局域网技术,是一种可以用于短程无线传输的 通讯系统,在本系统中用于作为手套端与电脑端的沟通桥梁。


本团队选用 ESP8266 作为本系统之 Wi-Fi Module,作品中使用标准为 802.11 b/g/n 并使用在手套的内部。手套可以透过 Wi-Fi 模组与电脑端的 Wi-Fi 模组进行连线,如图4所示,为ESP8266 之接脚图。其中,我们透过 UART 的AT 命令即可控制 Wi-Fi 模组。以下,为 ESP8266 之相关特性:


●内建协定 TCP/IP 支持 TCP Client 连线


●支援 UART/GPIO 资料通讯界面


●提供 AP、STA 与 AP+STA 多模式使用


●超低功耗,适合使用电池电源供应应用


●使用标准为 802.11b/g/n 标准


图4 :  ESP8266 脚位图
图4 : ESP8266 脚位图

弯曲传感器(Flex 2.2)

弯曲传感器(Flex 2.2)长度 2.2 英吋,传感器的弯曲程度影响电阻值的变化,弯曲越大,电阻值则越大。一般状态下的电阻值为 25K 欧姆,当有弯曲变化时,则是在 10K 欧姆~125K 欧姆。透过 ADC 的电压转换后,即可了解其弯曲程度。


在作品中弯曲传感器放置在手套手指的位 置,藉由手指的弯曲控制游戏的操作。如下图 5 所示,为弯曲传感器结构图。



图5 :  弯曲传感器结构图
图5 : 弯曲传感器结构图

致冷晶片

致冷晶片由二极体组成,两面为陶瓷基板。当通以直流电后,一面发热,另一面发冷。在作品中,致冷晶片放置在手套靠进人体皮肤的附近,结合游戏内周边环境的影响让使用者能感受到温度变化。如下图 6 所示,为致冷晶片结构图。


而其控制方式是透过 GPIO 输出高态或低态来控制继电器开关,影响电流的方向,使致冷 晶片能够产生冷热的变化。


图6 :  致冷晶片结构图
图6 : 致冷晶片结构图

微型振动马达

圆柱型振动马达机身都是圆柱的形状,马达的振动强度是依照摆锤的大小和转速而定。在 作品中藉由振动马达的振动让使用者感受到游 戏内震动的感觉。如下图 7 所示,为微型振动马达实体图。而其控制方式是透过 GPIO 输出的高态或低态,控制马达的开或关。


图7 :  微型振动马达实体图
图7 : 微型振动马达实体图

微型振动马达

TP4057 IC 是一款完整的锂电池充电器,具备电池正负极反接保护,并采用恒定电流/恒定电压线性控制。 TP4057 IC 可以适合 USB 电源工作。由于采用了内部 PMOSFET 架构,加上防逆充电路,所以不需要外部检测电阻和二极体。热反馈可对充电电流进行自动调节,以便在大功率操作或高环境温度条件下对晶片温度加以限制。充满电压固定于 4.2V,而充电电流可通过一个电阻进行外部设置。当电池达到4.2V 之后,充电电流降至设定值 1/10,TP4057将自动终止充电。当输入电压被拿掉时,TP4057IC 自动进入一个低电流状态,电池漏电流在2uA 以下。如图 8 所示,为 TP4057 IC 周边接脚与锂电池充电电路图。


图8 :  TP4057 IC 周边接脚与锂电池充电电路图
图8 : TP4057 IC 周边接脚与锂电池充电电路图

HTC Vive

HTC Vive是一款虚拟现实头戴式显示器, 这款头戴式显示器的设计利用「房间规模」的 技术,通过传感器把一个房间变成三维空间。在虚拟世界中允许用户自然地导航,能四处走动,并使用运动跟踪的手持控制器来生动地操 纵物体的能力,有精密的互动,交流和沉浸式环境的体验。如下图 9 所示,为 HTC Vive 实体图。



图9 :  HTC Vive 实体图
图9 : HTC Vive 实体图

Unity 软体

Unity 软体是一套跨平台的游戏引擎,可开发执行于 PC、Mac OS 单机游戏,或是 iOS、Android 手机平板电脑的游戏。 Unity 也可开发线上游戏,只需在网页浏览器安装外挂程式后即可执行 Unity 开发的游戏。 Unity 也可用于开发 PS3、XBox360、Wii 游戏主机上的游戏。本团队利用免付费的模组及资源来设计能与本系统配合之游戏,Unity 能藉由 C#抓取键盘所传送的按键值,因此本团队藉由模拟键盘来操作游戏中的角色,并将游戏中的温度、振动与电击等,回传到具备互动操作的手套,实现超越一般「虚实」体验与体感互动系统设计的功能。


作品结构


图10 : 系统架构图
图10 : 系统架构图

而本系统在技术实现上,主要分为以下四个部分,分别如下,后续也依下面章节来介绍:


● 手部姿势辨识模组


● 体感回馈模组


● Unity 游戏构思


手部姿势辨识模组

当电源开启时,Wi-Fi 模组会自动连接 HID 人机介面装置的 Wi-Fi AP,等待弯曲传感器及九轴传感器初始化完成后,才可开始动作。在 此,分为两种手势辨识,一种是手指弯曲的手 势辨识,透过微控制器去判断弯曲感测器经手 指弯曲后所量到的电压值,如达到设定值将会 形成指令封包透过 Wi-Fi 模组传送到 HID 人机介面端,如图 11 所示,为手势姿势辨识装置流程图。



图11 : 手势姿势辨识装置流程图
图11 : 手势姿势辨识装置流程图

体感回馈模组

当电源开启时,W-Fi 模组会设定为 Wi-Fi


AP,等待 HID 人机介面装置通过 Wi-Fi 传值, 经由微控制器的分析,利用 GPIO 控制微型振动马达、致冷晶片与电击片,实现超越虚实的感觉。如图 12 所示,为体感回馈装置流程图。



图12 : 体感回馈装置流程图
图12 : 体感回馈装置流程图

Unity 游戏构思

在游戏开发的前置构想中,认为游戏必须将与开发的互动装置功能发挥到极致,透过 VR 头戴式显示器与 VR 跑步机,提供玩家无死角的游戏体验,再搭配上手套互动式装置,让玩家在游玩时透过手套中的回馈电路,与手势辨识,让玩家与游戏的连结毫无距离。如图13所示,为游戏流程图。



图13 : 游戏流程图
图13 : 游戏流程图

(本文作者为许永和老师、朱冠融、吴孟纮、林奕宏)

相关文章
MR整合现实与虚拟 创造元宇宙数位生态系
22FDX制程为AR技术带来重大变革
2021年手机游戏的七大趋势
动物大探奇
预见AR技术里程碑 低功耗设计与演算法见真章
comments powered by Disqus
相关讨论
  相关新闻
» 协助客户解决痛点 士林电机展示完整工控解决方案
» 台湾工具机展银泰科技精锐尽出 主打智能与散热两大解决方案
» 筑波科技携手LitePoint共创5G、Wi-Fi 7、UWB无线通讯新境界
» 工研院秀全球最灵敏振动感测晶片 可测10奈米以下振动量
» 安立知以全方位无线通讯方案引领探索6G时代


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK83TDSZ7PCSTACUKJ
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw