工研院助創新科技虛實整合 開創娛樂五感新體驗

工研院電子與光電系統研究所所長吳志毅表示，2023年AR/VR/MR等硬體全球出貨量持續攀升，更從商用市場拓展到消費市場，擴增實境裝置應用在多元領域潛力越來越大，各家廠商無不在軟硬體方面投入資源，佈局關鍵新技術，除了持續推動近眼顯示及次世代感知等關鍵硬體優勢外，同時也聚焦在製造及育樂等應用軟體的開發，以虛實整合的方式，讓創新數位科技實際落地應用。今年因爲疫情導致許多展會取消或延期，許多業者更整合線下與線上的AR（擴增實境）、VR（虛擬實境）、MR沉浸式體驗，帶動產業跨域整合從上到下游的關鍵技術，不但開拓多元商機，也讓民衆體驗創新應用技術的樂趣及便利。

吳志毅指出，臺灣AR/VR產業主要由硬體業者構成，上下游產業地圖在硬體供應相當完整；隨着虛擬實境應用未來將走入完全沉浸的互動體驗，帶起多元互動介面的演進，臺灣在軟體領域多集中於遊戲、影視動畫與整合行銷上，對於關鍵的互動內容製作工具、3D虛實疊合定位、虛實融合觸覺回饋技術、虛實融合成像與聲響技術，仍有許多可以發揮的空間。此次研發的觸覺感測與回饋手套並協助廠商開發出下世代MR眼鏡，結合虛擬實境業者的應用整合技術，打造出「MR夾娃娃機—快樂農場」遊戲，希望建構更多元的五感體驗樂趣，進而促進產業打造更完整的產業鏈。

「MR夾娃娃機—快樂農場」是與遊戲業者共同建立虛實混合示範驗證與MR互動娛樂的遊戲，玩家可依照難易度選擇不同的3種關卡，越快完成任務就獲勝。首先，在夾娃娃機內放實體標記，用六自由度空間定位讓虛擬娃娃對應至實體標記，進行虛實物件的結合後，以增強虛擬場域的真實沉浸感。玩家們在配戴MR眼鏡後即可看到快樂農場的草地、樹木、小屋與流水等景色，接着透過3D虛實疊合定位，利用手套感測與手指彎曲偵測，控制虛擬娃娃機夾爪的移動與開合，利用震動回饋來模擬抓取物體的碰撞，震動回饋可達到擬真度90%以上；在聽覺部分，更利用聲源與攝影機間的相對位置與距離，模擬或合成出虛擬融合的3D空間聲響，創造更逼真的闖關效果。