帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
MR整合現實與虛擬 創造元宇宙數位生態系
更深一層的軟硬體整合

【作者: 盧傑瑞】   2022年05月26日 星期四

瀏覽人次:【4487】

在Connect2021的開發者大會上,Facebook公佈了Metaverse計劃,構築出基於元宇宙的下一代3D空間社交網路平台。此後,元宇宙被視為現實空間和虛擬空間的融合,未來人們可以在這裡展開互動和各種商業。同時Meta(Facebook母公司)也將Metaverse定位為下一個行動平台,繼Apple和Google之後,又另一新創建的網路平台。


Meta構建元宇宙的基礎技術與概念是,整合增強實境(AR)和虛擬實境(VR)後所產生混合實境(MR)。而這些MR相關的應用技術都在元宇宙研究所「Facebook Reality Labs」積極的開發中。


創造虛擬世界的技術:Presence Platform

Meta開發的Metaverse是期望讓現實社會和虛擬社會的平滑融合,而創造出這種社會的技術則被稱為「Presence Platform」。這個平台是以視覺運算和人工智慧為核心,將虛擬對象整合到現實空間的資料處理模組。具體來說,它提供了產生MR、物件互動和語音互動的能力。如前所述,MR是一種混合實境的環境,融合了真實空間和虛擬空間,成為元宇宙的核心功能。


Presence Platform 由三個SDK組成,包括了「Insight SDK」:在現實空間中嵌入虛擬物件來產生MR環境的技術。「Interaction SDK」:手動操作虛擬物件的技術。「Voice SDK」:使用對話語音來對虛擬物件進行操控的技術。



圖一 : Mixed Reality 全球市場規模預測(兆日圓)。(source:PWC;作者整理)
圖一 : Mixed Reality 全球市場規模預測(兆日圓)。(source:PWC;作者整理)

MR空間生成技術:Insight SDK

Insight SDK是元宇宙的核心技術,目的在產生高品質的MR空間。Insight SDK包含兩個函數,「Passthrough」和「Spatial Anchors」,以及Scene Understanding功能。


Passthrough是一種透過VR耳機來創建出MR空間,並在現實空間中描繪虛擬物體的技術。圖二顯示了利用「Oculus Quest 2」來進行鋼琴課程。鋼琴鍵盤上會顯示一個圓形的虛擬物件,操作者可以用手指輕敲它來播放音樂。


同時,「Oculus Quest 2」還內建了攝影鏡頭,可以黑白方式看到前方的影像。因此,「Oculus Quest 2」不僅可以用作VR,還可以用以當作MR玻璃。



圖二 : 透過MR技術將實體物品與虛擬影像結合後進行鋼琴課程。(source:META)
圖二 : 透過MR技術將實體物品與虛擬影像結合後進行鋼琴課程。(source:META)

Spatial Anchors是一種透用手機映射出真實空間的功能。它能利用Oculus手機,讓操作者利用手指沿著家具移動,繪製出房間內部的地圖。經由這個功能,可以了解真實空間的結構,並顯示出相對應的虛擬物件。


Scene Understanding是對用戶空間進行理解的功能,判斷出空間的位置關係及其意義。使用此場景模型時,可在房間中建立出一個MR空間。


利用這種方式,可以整合Passthrough、Spatial Anchors和 Scene Understanding來開發可判斷物理空間含義的高度複雜Metaverse。


表達手部動作的技巧:Interaction SDK

Interaction SDK是針對手或手機在虛擬空間中移動的處理和控制操作,例如用手抓握、觸摸和指向虛擬對象。圖三顯示了一個虛擬的咖啡杯被用手抓著。Interaction SDK是利用視覺運算、AI追?手部動作並判斷出與對象的互動程度。



圖三 : 一個虛擬的咖啡杯被用手抓著。(source:META)
圖三 : 一個虛擬的咖啡杯被用手抓著。(source:META)

理解語音的技巧:Voice SDK

Voice SDK是一種自然語言分析功能,可透過聲音來進行語音操控。當應用於遊戲時,可以透過語音來進行操控。除了語音導航外,Voice SDK還提供語音搜索和語音問答功能。例如當操作者說出虛擬角色的名字「Oppy」時,系統就會明白這個詞的意思並接近它。


行動MR技術正積極被開發

行動MR具有許多明顯的優勢,因此備受全球所注目,也吸引了相當多業者投入開發相關的各項技術。目前許多潛在的用戶已經擁有一款可支援MR的智慧型手機,因此無需耗費金錢購買昂貴且笨重的耳機。就其本質而言,今天的行動設備已經非常便於攜帶,也相當容易進入任何空間。


Apple ARKIT 5

Apple的最新版本AR/MR開發工具集開放原始碼行動ARKit5,進行了重大改進。其中最重要的功能,包括對位置錨點(Anchors)的擴充支原、改進的運動追?,以及在超廣角攝影鏡頭中可提供更好的臉部跟?,App Clip Codes還可支援快速掃描啟動體驗。


自從在ARKit 4中加入位置錨點後,允許APP開發人員可以將具有特定緯度、經度和高度的虛擬物件放置在螢幕上,並且可相對於現實環境中的位置。例如,位置錨點可在標誌性建築旁邊的空間中,顯示三維圖標或文字。在ARKit 5中,此功能的支援性已擴展到倫敦和美國的其他城市。


擴充的臉部追?技術,允許一次最多追?三個人的臉部,現在可支援所有配備A12Bionic處理器,以及更高版本的設備,即使沒有真深度鏡頭(TrueDepth Camera)也可以應用。


而App Clip Codes則是應用在類似於QR Code的影像,可以透過掃描來啟動APP的lightweight,並且能與 ARKit整合,允許從任何地方啟動AR/MR,而無需下載其他軟體。


Google ARCORE

Android的ARKit-ARCore提供了開發人員在Android設備上,雖然可以開發出AR/MR APP所需的開放原始碼工具集,但由於需要注意Android設備上各種硬體的相容性,因此這通常被視為也些挑戰性。


2021年,Google在ARCore中加入了一些新功能,例如錄製和播放API等。這些功能可以讓開發人員使用AR原始數據錄製視訊片段,在透過深度和IMU運動感測器數據,來以重新建立與視訊中相同的環境,同時也為開發人員能更輕鬆地測試特定環境的方式。


錄製和播放API不僅是開發人員所需要,對使用者來說也有一定的用處,這項技術提供使用者可以錄製視訊,應用在以後的AR/MR效果中,因為這些視訊可以包含環境原始數據。


ARKit和ARCore之間的競爭並不如外界想像中的明顯。由於APPLE掌控了所有的設備元件,因此ARKit在軟體和硬體之間有著較佳的相容性。但是在市場上,並非每個使用者都擁有iPhone或iPad。因此對於其他的使用者或行動產品業者來說,ARCore就變得非常重要。儘管由於採用的硬體的不同,不能保證每台Android設備都能獲得完全支援和相容,但Google仍舊盡可能讓其眾多用戶擁有一定程度的競爭力。


就實際效能而言,這兩個平台背後的技術幾乎是一樣的。例如,對於場景檢測等應用,這兩種技術使用相同的方法,但差異最大還是在硬體的部分,與相容能力。


手機增強實境:Spark AR

Spark AR是一款針對行動終端的AR/MR開發環境,這款行動終端AR/MR,可以整合到智慧手機的APP中來使用。例如,Spark AR可應用在臉部插入特殊效果,像是用Spark AR對臉部進行特殊化妝,並將其轉變為怪物的應用。


Project Aria

Meta也正在開發AR/MR眼鏡「Project Aria」。這是一個在眼鏡上內建攝影鏡頭和顯示器產品,並在面前的真實空間中強行加入一個虛擬物件。AR/MR眼鏡可被當數位助理應用,透過AI來了解周圍物體的類型和含義,例如識別沙發和桌子。此外,也可利用人工智慧掌握用戶的想法,並協助進行下一步行動。例如,當操作者看著燈時,開關就會被自動打開。


智慧眼鏡的輸入:Electromyography

但是挑戰在於如何將數據輸入AR/MR眼鏡,因此Meta正在開發一種稱為Electromyography(肌電圖)的技術。


這個想法是將設備戴在手腕上後,並測量肌電圖,再透過人工智慧分析肌肉中產生的弱電場來預測操作者的意圖。例如當您用手指書寫字母時,此設備會將其轉換為文字(圖四)。



圖四 : 利用肌肉的電位變化轉換稱操控方式。(source:META)
圖四 : 利用肌肉的電位變化轉換稱操控方式。(source:META)

MR在工業領域的潛力和未來

第一個實現MR的產品是,HoloLens於2015年1月所發布的產品。這是一款無需外接控制器的獨立頭戴式顯示器,可透過手部追?和語音輸入進行操作。HoloLens的產品透過攝影鏡頭和深度感測器,來對周圍環境進行識別,並經由透射式顯示器在真實空間中加疊內容來提供新體驗的設備。


隨後,Magic Leap One也於2017年12月發表一款新技術,將需要處理數據的機制,轉移到外部的獨立計算設備,大幅度減輕顯示器的重量,並且利用數位內容,以更真實的方式強化顯示能力,例如擴大視角,和根據視線切換影像,在發表之後便大大威脅HoloLens的領先地位。


面對此一挑戰,HoloLens也於2年後發表第二代產品-HoloLens 2。與初代的HoloLens相比,無論是顯示視角、縱橫比、解析度、運算和佩戴感等,多項性能都獲得了大幅度的提升。此外,感測器的加入更使得佩戴者五根手指的動作都可以被檢測到,來達到捏握等全影像操作,提高了實用性。


雖然這些主要用於工業用途的MR設備,性能相當卓越,但價格卻是非常昂貴。因此針對消費者使用的MR設備商品化更是備受期待,市場上終於在2020年8月,出現了一款專為消費者使用而開發的MR產品-Nreal Light。這款產品可與智慧型手機連接,將處理數據的工作轉移到智慧型手機,來達到減輕頭戴式顯示器重量,雖然在攝影鏡頭數量、畫素數、環境偵測與掌握,和各種跟?的精度等性能方面不如工業設備,但它實現了大幅降低售價,讓消費者在低價格負擔下就能輕鬆體驗MR(表一)。


表一:市場上三款MR顯示器規格比較。(source:PWC ;作者整理)

產品名稱

HoloLens 2

Magic Leap One

NrealLight

頭戴式顯示器重量

566

316

106

解析度

2K(單眼)

水平 1280p X 垂直 960p(單眼)

水平 1080p(單眼)

外部運算設備

專用運算設備控制器(6DoF)

智慧型手機

控制器 (3DoF)

追?

頭部跟? (6DoF)

手部追? (6DoF)

眼動追?

頭部跟? (6DoF)

手部追? (6DoF)

頭部跟? (6DoF)

主要特點

 

高規格,重且昂貴。完全獨立,主要適用於工業用途。

在規格、價格和重量方面取得了出色的平衡,廣泛適用於從工業和娛樂。

主要針對消費者,雖然在性能方面較差,但實現了壓倒性的輕量和低價。


MR技術的未來

未來將有很多業者進入MR設備市場,透過提高性能和減輕重量來增強現有產品,就像前述高整合度的HoloLens 2。雖然頭戴式顯示器是目前MR設備的主流,但掛戴眼鏡式和隱形眼鏡式等,無需考慮佩戴舒適度的顯示器設備,也有業者積極的投入開發。不過,目前MR的主要用途主要是還是工業用,根據PWC預測工業用市場短期內將會持續擴大。


從中長期來看,市場有機會在各種應用領域擴大,例如數位內容和虛擬全影像顯示、醫療領域醫師與患者僅行互動、減壓和復健等醫療,都將可在MR平台上僅行。此外,MR在娛樂應用和商業產業的應用也將進一步擴大,因此不僅工業市場,包括普通消費者的市場的成長也將持續增加。


相關文章
開啟任意門 發現元宇宙新商機
技術預測:2022年及更遠的未來
處方智慧眼鏡準備好了! 中國市場急速成長現商機
智慧工廠興起,HMI如何創造被利用價值?
22FDX製程為AR技術帶來重大變革
comments powered by Disqus
相關討論
  相關新聞
» 帆宣與佳世達合組「達宣智慧」公司 啟動智慧醫療引擎
» 鐳洋參與美國華盛頓衛星展 秀立方衛星成果和地面追星技術
» IDC:2023年亞太區PC市場衰退16.1%
» InnoVEX 2024創新競賽獎值達10萬美元 聚焦AI、生醫、智慧移動
» Cadence收購BETA CAE 進軍結構分析領域


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.44.197.113.64
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw