账号:
密码:
CTIMES / 文章 /   
MR整合现实与虚拟 创造元宇宙数位生态系
更深一层的软硬体整合

【作者: 盧傑瑞】2022年05月26日 星期四

浏览人次:【1196】
  

在Connect2021的开发者大会上,Facebook公布了Metaverse计划,构筑出基於元宇宙的下一代3D空间社交网路平台。此後,元宇宙被视为现实空间和虚拟空间的融合,未来人们可以在这里展开互动和各种商业。同时Meta(Facebook母公司)也将Metaverse定位为下一个行动平台,继Apple和Google之後,又另一新创建的网路平台。


Meta构建元宇宙的基础技术与概念是,整合增强实境(AR)和虚拟实境(VR)後所产生混合实境(MR)。而这些MR相关的应用技术都在元宇宙研究所「Facebook Reality Labs」积极的开发中。


创造虚拟世界的技术:Presence Platform


Meta开发的Metaverse是期??让现实社会和虚拟社会的平滑融合,而创造出这种社会的技术则被称为「Presence Platform」。这个平台是以视觉运算和人工智慧为核心,将虚拟对象整合到现实空间的资料处理模组。具体来说,它提供了产生MR、物件互动和语音互动的能力。如前所述,MR是一种混合实境的环境,融合了真实空间和虚拟空间,成为元宇宙的核心功能。


Presence Platform 由三个SDK组成,包括了「Insight SDK」:在现实空间中嵌入虚拟物件来产生MR环境的技术。「Interaction SDK」:手动操作虚拟物件的技术。「Voice SDK」:使用对话语音来对虚拟物件进行操控的技术。



图一 : Mixed Reality 全球市场规模预测(兆日圆)。(source:PWC;作者整理)
图一 : Mixed Reality 全球市场规模预测(兆日圆)。(source:PWC;作者整理)

MR空间生成技术:Insight SDK

Insight SDK是元宇宙的核心技术,目的在产生高品质的MR空间。Insight SDK包含两个函数,「Passthrough」和「Spatial Anchors」,以及Scene Understanding功能。


Passthrough是一种透过VR耳机来创建出MR空间,并在现实空间中描绘虚拟物体的技术。图二显示了利用「Oculus Quest 2」来进行钢琴课程。钢琴键盘上会显示一个圆形的虚拟物件,操作者可以用手指轻敲它来播放音乐。


同时,「Oculus Quest 2」还内建了摄影镜头,可以黑白方式看到前方的影像。因此,「Oculus Quest 2」不仅可以用作VR,还可以用以当作MR玻璃。



图二 : 透过MR技术将实体物品与虚拟影像结合後进行钢琴课程。(source:META)
图二 : 透过MR技术将实体物品与虚拟影像结合後进行钢琴课程。(source:META)

Spatial Anchors是一种透用手机映射出真实空间的功能。它能利用Oculus手机,让操作者利用手指沿着家具移动,绘制出房间内部的地图。经由这个功能,可以了解真实空间的结构,并显示出相对应的虚拟物件。


Scene Understanding是对用户空间进行理解的功能,判断出空间的位置关系及其意义。使用此场景模型时,可在房间中建立出一个MR空间。


利用这种方式,可以整合Passthrough、Spatial Anchors和 Scene Understanding来开发可判断物理空间含义的高度复杂Metaverse。


表达手部动作的技巧:Interaction SDK

Interaction SDK是针对手或手机在虚拟空间中移动的处理和控制操作,例如用手抓握、触摸和指向虚拟对象。图三显示了一个虚拟的咖啡杯被用手抓着。Interaction SDK是利用视觉运算、AI追?手部动作并判断出与对象的互动程度。



图三 : 一个虚拟的咖啡杯被用手抓着。(source:META)
图三 : 一个虚拟的咖啡杯被用手抓着。(source:META)

理解语音的技巧:Voice SDK

Voice SDK是一种自然语言分析功能,可透过声音来进行语音操控。当应用於游戏时,可以透过语音来进行操控。除了语音导航外,Voice SDK还提供语音搜索和语音问答功能。例如当操作者说出虚拟角色的名字「Oppy」时,系统就会明白这个词的意思并接近它。


行动MR技术正积极被开发

行动MR具有许多明显的优势,因此备受全球所注目,也吸引了相当多业者投入开发相关的各项技术。目前许多潜在的用户已经拥有一款可支援MR的智慧型手机,因此无需耗费金钱购买昂贵且笨重的耳机。就其本质而言,今天的行动设备已经非常便於携带,也相当容易进入任何空间。


Apple ARKIT 5

Apple的最新版本AR/MR开发工具集开放原始码行动ARKit5,进行了重大改进。其中最重要的功能,包括对位置锚点(Anchors)的扩充支原、改进的运动追?,以及在超广角摄影镜头中可提供更好的脸部跟?,App Clip Codes还可支援快速扫描启动体验。


自从在ARKit 4中加入位置锚点後,允许APP开发人员可以将具有特定纬度、经度和高度的虚拟物件放置在萤幕上,并且可相对於现实环境中的位置。例如,位置锚点可在标志性建筑旁边的空间中,显示三维图标或文字。在ARKit 5中,此功能的支援性已扩展到伦敦和美国的其他城市。


扩充的脸部追?技术,允许一次最多追?三个人的脸部,现在可支援所有配备A12Bionic处理器,以及更高版本的设备,即使没有真深度镜头(TrueDepth Camera)也可以应用。


而App Clip Codes则是应用在类似於QR Code的影像,可以透过扫描来启动APP的lightweight,并且能与 ARKit整合,允许从任何地方启动AR/MR,而无需下载其他软体。


Google ARCORE

Android的ARKit-ARCore提供了开发人员在Android设备上,虽然可以开发出AR/MR APP所需的开放原始码工具集,但由於需要注意Android设备上各种硬体的相容性,因此这通常被视为也些挑战性。


2021年,Google在ARCore中加入了一些新功能,例如录制和播放API等。这些功能可以让开发人员使用AR原始数据录制视讯片段,在透过深度和IMU运动感测器数据,来以重新建立与视讯中相同的环境,同时也为开发人员能更轻松地测试特定环境的方式。


录制和播放API不仅是开发人员所需要,对使用者来说也有一定的用处,这项技术提供使用者可以录制视讯,应用在以後的AR/MR效果中,因为这些视讯可以包含环境原始数据。


ARKit和ARCore之间的竞争并不如外界想像中的明显。由於APPLE掌控了所有的设备元件,因此ARKit在软体和硬体之间有着较隹的相容性。但是在市场上,并非每个使用者都拥有iPhone或iPad。因此对於其他的使用者或行动产品业者来说,ARCore就变得非常重要。尽管由於采用的硬体的不同,不能保证每台Android设备都能获得完全支援和相容,但Google仍旧尽可能让其众多用户拥有一定程度的竞争力。


就实际效能而言,这两个平台背後的技术几??是一样的。例如,对於场景检测等应用,这两种技术使用相同的方法,但差异最大还是在硬体的部分,与相容能力。


手机增强实境:Spark AR

Spark AR是一款针对行动终端的AR/MR开发环境,这款行动终端AR/MR,可以整合到智慧手机的APP中来使用。例如,Spark AR可应用在脸部??入特殊效果,像是用Spark AR对脸部进行特殊化妆,并将其转变为怪物的应用。


Project Aria

Meta也正在开发AR/MR眼镜「Project Aria」。这是一个在眼镜上内建摄影镜头和显示器产品,并在面前的真实空间中强行加入一个虚拟物件。AR/MR眼镜可被当数位助理应用,透过AI来了解周围物体的类型和含义,例如识别沙发和桌子。此外,也可利用人工智慧掌握用户的想法,并协助进行下一步行动。例如,当操作者看着灯时,开关就会被自动打开。


智慧眼镜的输入:Electromyography

但是挑战在於如何将数据输入AR/MR眼镜,因此Meta正在开发一种称为Electromyography(肌电图)的技术。


这个想法是将设备戴在手腕上後,并测量肌电图,再透过人工智慧分析肌肉中产生的弱电场来预测操作者的意图。例如当您用手指书写字母时,此设备会将其转换为文字(图四)。



图四 : 利用肌肉的电位变化转换称操控方式。(source:META)
图四 : 利用肌肉的电位变化转换称操控方式。(source:META)

MR在工业领域的潜力和未来

第一个实现MR的产品是,HoloLens於2015年1月所发布的产品。这是一款无需外接控制器的独立头戴式显示器,可透过手部追?和语音输入进行操作。HoloLens的产品透过摄影镜头和深度感测器,来对周围环境进行识别,并经由透射式显示器在真实空间中加叠内容来提供新体验的设备。


随後,Magic Leap One也於2017年12月发表一款新技术,将需要处理数据的机制,转移到外部的独立计算设备,大幅度减轻显示器的重量,并且利用数位内容,以更真实的方式强化显示能力,例如扩大视角,和根据视线切换影像,在发表之後便大大威胁HoloLens的领先地位。


面对此一挑战,HoloLens也於2年後发表第二代产品-HoloLens 2。与初代的HoloLens相比,无论是显示视角、纵横比、解析度、运算和佩戴感等,多项性能都获得了大幅度的提升。此外,感测器的加入更使得佩戴者五根手指的动作都可以被检测到,来达到捏握等全影像操作,提高了实用性。


虽然这些主要用於工业用途的MR设备,性能相当卓越,但价格却是非常昂贵。因此针对消费者使用的MR设备商品化更是备受期待,市场上终於在2020年8月,出现了一款专为消费者使用而开发的MR产品-Nreal Light。这款产品可与智慧型手机连接,将处理数据的工作转移到智慧型手机,来达到减轻头戴式显示器重量,虽然在摄影镜头数量、画素数、环境侦测与掌握,和各种跟?的精度等性能方面不如工业设备,但它实现了大幅降低售价,让消费者在低价格负担下就能轻松体验MR(表一)。


表一:市场上三款MR显示器规格比较。(source:PWC ;作者整理)

产品名称

HoloLens 2

Magic Leap One

NrealLight

头戴式显示器重量

566

316

106

解析度

2K(单眼)

水平 1280p X 垂直 960p(单眼)

水平 1080p(单眼)

外部运算设备

专用运算设备控制器(6DoF)

智慧型手机

控制器 (3DoF)

追?

头部跟? (6DoF)

手部追? (6DoF)

眼动追?

头部跟? (6DoF)

手部追? (6DoF)

头部跟? (6DoF)

主要特点

 

高规格,重且昂贵。完全独立,主要适用於工业用途。

在规格、价格和重量方面取得了出色的平衡,广泛适用於从工业和娱乐。

主要针对消费者,虽然在性能方面较差,但实现了压倒性的轻量和低价。


MR技术的未来

未来将有很多业者进入MR设备市场,透过提高性能和减轻重量来增强现有产品,就像前述高整合度的HoloLens 2。虽然头戴式显示器是目前MR设备的主流,但挂戴眼镜式和隐形眼镜式等,无需考虑佩戴舒适度的显示器设备,也有业者积极的投入开发。不过,目前MR的主要用途主要是还是工业用,根据PWC预测工业用市场短期内将会持续扩大。


从中长期来看,市场有机会在各种应用领域扩大,例如数位内容和虚拟全影像显示、医疗领域医师与患者仅行互动、减压和复健等医疗,都将可在MR平台上仅行。此外,MR在娱乐应用和商业产业的应用也将进一步扩大,因此不仅工业市场,包括普通消费者的市场的成长也将持续增加。


相关文章
开启任意门 发现元宇宙新商机
技术预测:2022年及更远的未来
处方智慧眼镜准备好了! 中国市场急速成长现商机
智慧工厂兴起,HMI如何创造被利用价值?
22FDX制程为AR技术带来重大变革
comments powered by Disqus
相关讨论
  相关新品
Arduino Motor Shield
原厂/品牌:RS
供应商:RS
產品類別:
mbed
原厂/品牌:RS
供应商:RS
產品類別:
Arduino
原厂/品牌:RS
供应商:RS
產品類別:
  相关新闻
» PI推出三相BLDC驱动软体 将与Motor-Expert Suite搭售
» IDC:家用需求疲软但商用需求良好 第一季PC显示器表现持平
» 微软推出永续云 成立台湾ICT永续绿战队加速净碳
» 联电科学基础减碳目标向前进 率先晶圆专工业通过SBTi审核
» 田中贵金属工业协助提升半导体微细化及耐久的??成膜新制程
  相关产品
» ROHM推出第4代FRD RFL/RFS系列 实现低损耗和低杂讯特性
» 意法半导体推出嵌入机器学习内核心车规级惯性测量单元
» ST推出高带宽共模滤波器 可防止天线接收灵敏度干扰
» Molex Quad-Row板对板连接器 建立节省空间连接新标准
» 瑞萨推出适於物联网应用新系列智慧型感测器解决方案
  相关资源
» Power Management Solutions for Altera FPGAs


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2022 远播信息股份有限公司版权所有 Powered by O3
地址:台北市中山北路三段29号11楼 / 电话 (02)2585-5526 / E-Mail: webmaster@ctimes.com.tw