淺談擴增實境及其應用 Augmented Reality and Its Applications 江憲坤 資訊系所/數位內容科技與管理所 國立彰化師範大學 Mar. 13, 2010

大綱 擴增實境簡介 擴增實境設備和科技 介面和視覺化 AR應用實例 結論與未來發展趨勢

簡介 擴增實境(Augmented Reality) 特性 將電腦產生的虛擬物件與現實世界顯示在同一空間裡的一種技術。 在實際環境中結合實際物件和虛擬的物件 可即時地跟使用者進行互動 實際物件和虛擬物件彼此重疊(super-imposed)

Some AR Images

Some AR Images (cont.)

簡介(續) Milgram (1991)之定義 虛擬環境(virtual environments)四周環境皆為虛擬的。 擴增實境周圍環境為真實的。

簡介(續) AR起源 1960s 1997 1990s 日本及德國財團Arvika此些資金充足的組織在發展AR，特別是混合實境系統實驗室。 Sutherland使用HMD來呈現3D圖像 1997 Azuma發表定義AR領域之概觀，並描述了許多問題 1990s 開始有關於AR起源之研討會，如：International Workshop、Symposium on Augmented Reality、International Symposium on Mixed Reality以及Designing Augmented Reality Environments workshop 日本及德國財團Arvika此些資金充足的組織在發展AR，特別是混合實境系統實驗室。

簡介(續) AR目標 藉由新的科技發展提出新的應用，延伸既有科技之技術。 廣泛應用於各種生活層面，如醫療視覺化，設備維修，商業廣告

擴增實境設備 創造令人讚嘆的AR環境所需之設備或科技 設備和科技： 電腦 顯示器(displays) 追蹤(tracking) 定位(registration) 校準(calibration)

擴增實境設備 顯示器-頭戴式 (HMD) 顯示器置於頭頂，提供圖像到使用者眼前。 頭戴式顯示器分為兩類：光學透視、影像透視 Sony and Olympus 已經製造彩色液晶顯示器（LCD）讓消費者頭戴顯示器來看影像和玩電動遊戲。 優點 : 輕便、便宜; 缺點 :其解析度低、視野小、不支援立體聲 http://www.youtube.com/watch?v=ngMSkhTwsmE http://www.youtube.com/watch?v=YXnfsCjthuI&NR=1

影像透視 (Video See Through) camera Graphics Monitor Combiner

光學透視 (Optical See Through) Real World Optical Combiners Virtual images from monitors

擴增實境設備 (續) 顯示器-頭戴式 虛擬視網膜顯示器(virtual retinal display)將直接在視網膜上成像，由MicroVision開發 優點 高亮度和對比、低功率消耗、景深大

擴增實境設備 (續) 顯示器-頭戴式 理想情況下，頭帶AR顯示器不會大於一副太陽鏡。 MicroOptical製作光學眼鏡系列，嵌入光學顯示器到常見的眼鏡上。目的在讓顯示器因輕便、不顯眼而被使用者遺忘。 重量小於眼鏡本身6克

擴增實境設備 (續) 顯示器-手持式 AR顯示器的問題 有些AR系統使用手持平板液晶顯示器，其使用一個附加的攝影機來提供影像透視的擴增。 沒有足夠的光線、解析度、視野 由於攝影機架於遠離實際眼睛之位置，大多數影像透視顯示器有視差的錯誤。 成本和重量問題

擴增實境設備 (續) 追蹤感應器 準確的追蹤使用者瀏覽方向和位置是AR定位的關鍵。 Rolland等人提出了一個近來追蹤系統的概觀 系統通常採用混合追蹤技術(如磁場和影像感應器)的優勢來彌補個別追蹤技術的弱點。 系統結合加速度和影像追蹤，即使在快速頭部移動，也能準確的定位。 http://www.youtube.com/watch?v=MNmrSGjPzfE http://www.youtube.com/watch?v=81qb_QgD_YU&NR=1

擴增實境設備 (續) 環境檢測 (Calibration) 一個有效的AR需要了解使用者和環境中其他物件位置 算圖時需要有真實景色的深度圖來支援遮蔽(Occlusion) 系統使用多台攝影機來即時顯示深度圖

擴增實境設備 (續) 環境檢測 AR行動應用部份： 混合型指南針及陀螺儀跟蹤器在戶外定點提供固定的測量方向及位置。 系統會在標誌性建築物特點條件下的地方，產生精確的結果。 全球定位系統（GPS）通常採即時追蹤位置的方式。 限制因素：如，全球定位系統（GPS）需要在無遮蔽視角條件下較佳。 從圖中兩個不同的視點觀看，可看到被標註的行動標籤位置。

介面和視覺化 使用者介面和互動 AR雛型設計主要在於訊息顯示部分，沒有考慮到自己或潛在使用者與系統間互動之情形。 以「桌面隱喻的介面」為基礎 螢幕的選單、鍵盤上輸入…等 虛擬環境的研究中找出適性化的設計，例如：使用手勢識別。

介面和視覺化(續) 使用者介面和互動 RV-Border Guards game的應用：玩家在遊戲中打擊虛擬怪物，透過使用手勢來控制他們的武器和盾牌，藉此與怪物們戰鬥。 RV-Border Guards game, 可看到遊戲進行之情形。

RV-Border Guards game

介面和視覺化(續) 使用者介面和互動(續) AR互動研究中，有兩個主要的趨勢： 使用不同的設備並充分運用其優勢，可搭配不同的互動形式。因此，針對不同的互動研究，找出適合的配備或方法運用於該研究中。 將有形的的介面與實體世界相結合。 左圖為使用投影的方式，右圖為透過手持式顯示器的使用情形。

介面和視覺化(續) 使用者介面和互動(續) Emmie系統(1999)：採用頭戴式顯示器及不同設備類型，並讓訊息在彼此間傳遞，產生真實和虛擬情境之結合。 在EMMIE系統中，結合頭戴式、投影和私人平板電腦。

介面和視覺化(續) 使用者介面和互動(續) Studierstube系統：具備模擬多台設備的優點，用戶持有的追蹤空白物理板，並以此做虛擬控制，從物理面板中亦會產生觸覺回饋。 左圖為studierstube系統，右圖為魔法書，為合作式AR系統， 書本描繪虛擬生活，且讓一個或多個使用者沉浸在虛擬實境環境中。

介面和視覺化(續) 使用者介面和互動(續) 室內設計應用：強調使用真實、實體物件和工具。 以實際的槳來操縱家具模型。透過推的方式、傾斜及其他動作，使用者可以自由選擇家具，將它們放置於房內及所需位置上，並且可將它們從房間內刪除。 使用者拿起實際的槳來選擇、移動、下降及刪除模型。

介面和視覺化(續) 高級算圖(Advanced rendering) 介入現實(Mediated reality) Lepetit討論了半自動方法，在現場透過側面影像來識別物體和它們的位置。在某些情況下，這種技術不需要明確的3D重建環境，即能將虛擬物件崁入和真實對象刪除

AR應用實例 分為三個領域：手機、教育、合作和商業應用 AR應用在檢查部分 AR應用在醫療層面 Navab和他的同事利用2D工廠樓層計畫和工業管線結構平面圖，以C型臂X光機器的實際限制讓機器自動校準攝影機和用實際物體對準X光圖像（下圖） AR應用在醫療層面 Fuchs支持腹腔鏡的手術 Weghorst使用AR來幫助 治療帕金森氏症病人。 2D工廠樓層計畫和工業管線結構平面圖，產生3D管線模型，重疊在工業管線上。

透過頭戴式顯示器，可以看到顯示3D模型建設呈現原來的位置 (Courtesy T. Höllerer, S. Feiner, J. Pavlik, Columbia Univ.)

行動應用 行動應用 海軍研究室(NRL)發展一個類似的系統-在戰場擴增實境系統(下圖) 幫助軍事在城市環境行動期間的操作 目標： 增強環境和動態3D訊息(例如目標或危害)通常轉成了2D地圖來傳達 目前該系統提供了使用者環境的工具和新的3D訊息，轉而讓其他系統使用者看到

戰場擴增實境 (Courtesy of the Naval Research Lab.)

行動應用 (續) Piekarski 正開發使用者互動模式和技術的互動模式建構一個行動的AR環境 此系統也讓其他戶外用戶看到這些只存在虛擬的軍事仿真器(如飛機) 結合擴增和虛擬實境的兩種視野

教育應用 MagicBook 藉由一本AR增強的現實書籍，來探索相動作技術之應用 讓讀者在閱讀故事書時，其周遭環境和角色都能栩栩如生的出現 提供生動活潑的3D書籍，增進小朋友的閱讀興趣

商業應用 最近，AR已經被使用在即時的實體的廣播，主要是提升體育賽事和在一個場景裡穿插廣告。 圖19展示了兩個目前AR在體育類的例子。 在這兩個系統，環境在實作前被仔細的塑模，以其相機校準和精確跟蹤。

商業應用(續) AR在體育廣播應用。 詮釋對賽車和黃線第一下行線即時插入在實體播出時 AR在體育賽事的應用

商業應用(續) 以類似的方法，廣告客戶可以美化廣播視頻和虛擬廣告以及產品推薦。 虛擬廣告，Pacific Bell 和 Pennsylvania Lottery廣告是AR擴增物

結論與未來發展趨勢 AR已經有效的應用到生活中的各個層面 在學習上，有效的擷取AR技術並應用之，可使困難理解的主題變得容易。 技術限制 展示、追蹤器和AR系統需要更準確，更輕便，更便宜和更低耗能 使用者介面限制 必須有一個友善的使用者介面，以讓使用者瞭解顯示器上的數據意義，和使用者如何與AR系統互動 隱私問題

參考資料 影片網址 Human Pacman http://www.youtube.com/watch?v=A23PYxYpJRg     http://www.youtube.com/watch?v=A23PYxYpJRg Magic Land     http://www.youtube.com/watch?v=qMkcQOcvHLA PS3 video game: The Eye of Judgement     http://www.youtube.com/watch?v=19bBrNvIteU MXR wIzQubes     http://www.youtube.com/watch?v=WhVdf1y1OXQ Magic Book     http://www.youtube.com/watch?v=Rl4VU3srOjs     http://www.youtube.com/watch?v=UVhtB-SH5b8     http://www.youtube.com/watch?v=S-G8u-01t0k&feature=related Machine maintenance     http://www.youtube.com/watch?v=lM9rH5XKWsM&feature=related ARToolkit 4.4 running on iPhone     http://www.youtube.com/watch?v=5M-oAmBDcZk&feature=related Lego Augmented Reality     http://www.youtube.com/watch?v=PGu0N3eL2D0