教材編撰：南臺科技大學資訊工程系 李育強 助理教授

Presentation on theme: "教材編撰：南臺科技大學資訊工程系 李育強 助理教授"— Presentation transcript:

1 教材編撰：南臺科技大學資訊工程系 李育強 助理教授
第四單元 擴增實境行動應用 教材編撰：南臺科技大學資訊工程系 李育強 助理教授

2 Outline 第一章：虛擬實境及擴增實境初探 第二章：行動裝置與擴增實境 第三章：材質製作與模型 第四章：實習操作 第五章：專題規劃
１-１ 什麼是虛擬實境 １-２ 什麼是擴增實境 １-３ 擴增實境基本開發環境 第二章：行動裝置與擴增實境 ２-１ 智慧型行動裝置 ２-２ 行動擴增實境 ２-３ Android ２-４ 建立Android開發環境 ２-５ Android擴增實境 第三章：材質製作與模型 ３-１ ３D模型與紋理材質 ３-２ ３DS MAX ３-３ Google SketchUp ３-４ Blender 第四章：實習操作 ４-１擴增實境之操作及應用 ４-２擴增實境之行動裝置應用 第五章：專題規劃 第六章：練習題

3 第一章：虛擬實境及擴增實境初探

4 Outline １-１ 什麼是虛擬實境 １-２ 什麼是擴增實境 １-３ 擴增實境基本開發環境 １-３-１ ARToolKit開發套件下載流程

5 １-１ 什麼是虛擬實境（1） 虛擬實境（Virtual Reality），簡稱VR技術，所包含的技術及應用方面都是非常廣泛的，也是科學技術上一門很重大的突破及貢獻，使得人們對生活往也造成很大影響。 虛擬實境技術的主要是利用為電腦繪圖，模擬產生一個三維空間的虛擬世界並藉由特殊的使用者界面讓人們進 入該虛擬世界中，使人們在電腦中就可以獲得相同的感受， 如同身處在真實世界一般。 虛擬實境提供使用者影像合成技術並結合視覺、聽覺、觸覺等多重感官的感受處理及模擬建構的虛擬世界。

6 １-１ 什麼是虛擬實境（2） 虛擬實境可以讓使用者在此虛擬世界中如同身歷其境一般感受到周遭事物。
在虛擬實境的世界中，在這如同想像的空間裡，使用者可以利用頭盔、穿上感應手套…等設備，盡情地瀏覽此空間內的事物。 當使用者在虛擬的空間內遊走張望，或是觸碰、控制任何物件時，電腦都可即時的進行複雜的運算。 根據你的行動將虛擬世界裡的影像、事物藉由設備上的感應器，應有的感知回饋於使用者身上，以產生臨場感。 虛擬實境技術包含了計算機模擬技術、計算機圖形（CG）技術、顯示技術、人工智慧、感測技術等高等技術模擬成果，以便使用者進入多樣感知的擬真世界。

7 １-１ 什麼是虛擬實境（3） ３.模擬器式虛擬實境（Simulator VR）： ４.投影式虛擬實境（Projection VR）：
虛擬實境的種類： １.融入式虛擬實境（Immersion VR）： 在使用者所處的虛擬環境中，以立體聲音裝置、感官輸出裝置等，讓使用者完全融入。 ２.桌上型虛擬實境（Desktop VR ）： 只需使用一般的多媒體電腦與虛擬實境軟體，並搭配鍵盤、滑鼠等設備即可操作。 ３.模擬器式虛擬實境（Simulator VR）： 必須能夠真實地模擬實際環境，並完整的模擬特定的操作界面與設備（例如：飛行訓練、射擊訓練）。 ４.投影式虛擬實境（Projection VR）： 主要是使用投影機將虛擬影像投射至３D螢幕上。使用者可以透過配載３D立體眼鏡體驗虛擬情境。

8 １-１ 什麼是虛擬實境（4） 虛擬實境它所包含的技術層面相當廣博，亦可廣泛應用在人們週遭各個領域上，例如：
１.軍事： 主要用來「模擬飛行」，武器的研發設計也常借助虛擬實境。 ２.醫學： 主要用在醫生的教育訓練，提供給實習醫生一個醫療過程的工具（可替代真人做實驗）。 ３. 藝術： 可突破展覽空間與時間的限制。例如：虛擬博物館。 ４.教學、建築…等。

9 １-２什麼是擴增實境（1） 若將真實世界與虛擬世界視為兩個極端，在此兩端中間則稱之為混合實境（Mixed Reality）。
混合實境中的擴增實境（Augmented Reality，簡稱 AR）則較接近真實世界（Milgram & Kishino, １９９４ ）。 混合實境中的擴增虛境（Augmented Virtuality）則較接近虛擬世界。 擴增實境的內容（Azuma, １９９７）： １.可將虛擬物件與真實結合。 ２.可即時互動。 ３.三維空間的。 真實世界 混合實境 虛擬世界

10 １-２什麼是擴增實境（2） 擴增實境（Augmented Reality，簡稱 AR），是一種利用攝影機器所拍攝下來的影像，經過程式的分析後，偵測出欲辨識的對應圖卡或目標影像。 計算出其圖卡或目標影像的位置及角度後，再將相對應的影像圖檔、影片檔、聲音檔，重疊顯示於辨識圖卡或是影像上的技術。 這種技術目的主要是將電腦虛擬物件的資訊附加於現實的世界中，讓使用者可以在平凡的影像中看到虛擬、實體影像疊合的擴充實境。 此技術也可以利用遙控桿、鍵盤來操作，然而為了較接近現實的使用情況，通常是透過控制虛擬的物件與使用者在真實世界中進行互動。

11 １-２什麼是擴增實境（3） 擴增實境種類： 有標記式擴增實境（Marker AR）： 無標記式擴增實境（Markerless AR）：
不須透過特定圖卡樣式（Pattern）即可達到辨識效果，使用者可以自行選定辨識圖片（Key Frame）。

12 １-２什麼是擴增實境（４） 右方圖片為手機上的有標記式擴增實境。 手機上的鏡頭照到圖卡，經由辨識後，在真實的背景上顯示出相對應的虛擬物件。

13 １-２什麼是擴增實境（5） 下方圖片為另一種手機上的有標記式擴增實境。
手機上的鏡頭照到圖卡，經由辨識後，在真實的背景上顯示出相對應的虛擬物件。

14 １-２什麼是擴增實境（6） 下方圖片為一種手機上的無標記式擴增實境。
手機上的鏡頭照到圖片，經由辨識後，在真實的背景上顯示出相對應的虛擬物件。

15 １-２什麼是擴增實境（7） 下方圖片為另一種手機上的無標記式擴增實境。
手機上的鏡頭照到圖片，經由辨識後，在真實的背景上顯示出相對應的虛擬物件。

16 １-２什麼是擴增實境（8） 擴增實境應用種類： 擴增實境技術應用要點：
１.展示類擴增實境系統： 以電腦圖學展示各種元件效果。 ２.辨識類擴增實境系統 ： 辨識特定物件並重視即時性。 ３.控制類擴增實境系統： 強調互動，並透過辨識功能達到如同控制器的操作。 擴增實境技術應用要點： 無論是標記、無標記技術，透過影像辨識進行攝影機與預設圖片比對，需注意四點： １.控制光源。 ２.辨識物體位置。 ３.辨識物體大小。 ４.辨識物材質。

17 擴增實境與虛擬實境的差異 AR（Augmented Reality） VR（Virtual Reality）
1.背景及場景大多是利用實物與實景即時拍攝。也有用預先錄製的影片做背景或場景。 2.只有在人機互動時，才需建構必要的虛擬物件或3D模型，製作方式較VR簡易。 3.計算量較VR為低。 1.所有的人物、物件、場景均需經由貼圖或者是3D建模來達到以假亂真的視覺逼真效果。 2.所有場景皆需要自製，因此製作方式較AR複雜。 3.計算量較AR為高。

18 １-３ 擴增實境基本開發環境（1） ARToolKit是開發擴增實境知名的套件，不少開發擴增實境的套件都以ARToolKit為基礎來改寫。
ARToolKit是以C++為基礎的函式庫，利用內建的函示庫可方便進行擴增實境相關的編輯與設計，可以將虛擬物件重疊到即時影像。本章節會教你如何建立ARToolKit開發環境。 ARToolKit所支援的作業系統計有： １.Windows 。 ２.MacOS 。 ３.Linux 。 ４.IRIX （SGI）。 在此的範例，所使用的作業系統為Windows XP。以其為基本開發環境。

19 １-３ 擴增實境基本開發環境（2） 在建立ARTooKit的開發環境前，須確定已安裝Microsoft Visual Studio ２００８並安裝好Webcam驅動程式，並且需確保兩者皆可正常執行。 軟體所需： DirectX Runtime ９.０以上的版本，此範例安裝版本為DirectX ９.０，Windows XP在安裝時預設已經將DirectX ９.０安裝。 ARToolKit中要呈現３維的物件，可使用２種３維呈現模式之一，分別為： １.OpenGL繪圖。 ２.載入VRML呈現。 PS：若是使用VRML的方式來呈現３維物件，則只需要安裝OpenVRML。

20 １-３ 擴增實境基本開發環境（3） ARToolKit安裝流程： １.下載ARToolKit開發套件。
２.執行環境設置 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ７.下載 msvcp７１d.dll與msvcr７１d.dll ４.複製glut.h檔案

21 １-３-１ ARToolKit開發套件下載流程（1）
請先至ARToolKit官方網站下載ARToolKit的原始檔程式。請至以下網址下載： １.下載ARToolKit ２.執行環境設置 １.下載ARToolKit ２.執行環境設置 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ７.下載 msvcp７１d.dll與msvcr７１d.dll ４.複製glut.h檔案

22 １-３-１ ARToolKit開發套件下載流程（2）
在下面左方圖片中，點選左上方選單「 Download 」的地方，進入下載頁面。 請選擇適合的作業系統，在此作業系統以Windows XP 為例，所以選擇Windows（９８/２０００/XP）的「ARToolKit latest version」來下載。如下面右方圖片所示。

23 １-３-１ ARToolKit開發套件下載流程（3）

24 １-３-１ ARToolKit開發套件下載流程（4）
若不需要使用到VRML的方式呈現，只須下載下面左方圖片視窗中的「ARToolKit-２.７２.１-bin-win３２.zip」即可。 在畫面的上方出現下載的對話框之後，即可點選下載。

25 １-３-１ ARToolKit開發套件下載流程（5）
點選之後須等待５秒鐘的時間才可下載， 下面右方圖片正在倒數計時，之後會自動出現下載畫面。 下面右方圖片為自動出現的下載畫面，請按「儲存」來下載。

26 １-３-２ ARToolKit開發套件執行環境設置（1）
執行環境的設置分為以下７個步驟： １.解壓縮ARToolKit 。 ２.複製DSVL.dll及DSVLd.dll檔案。 ３. 複製glut３２.dll檔案。 ４.複製glut.h檔案。 ５.複製glut３２.lib檔案。 ６.啟動執行檔。 ７.下載 msvcp７１d.dll與msvcr７１d.dll 。 １.下載ARToolKit ２.執行環境設置 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ７.下載 msvcp７１d.dll與msvcr７１d.dll ４.複製glut.h檔案

27 １-３-２ ARToolKit開發套件執行環境設置（2）
在執行環境環境設置的流程圖如下所示： １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ７.下載 msvcp７１d.dll與msvcr７１d.dll ４.複製glut.h檔案

28 １-３-２ ARToolKit開發套件執行環境設置（3）
此範例資料夾路徑為：C:\ARToolKit。如下面右方圖片所示。 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ４.複製glut.h檔案

29 １-３-２ ARToolKit開發套件執行環境設置（4）
第２步驟至第５步驟的複製順序可自行調換。 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ４.複製glut.h檔案

30 １-３-２ ARToolKit開發套件執行環境設置（5）
２.複製DSVL.dll及DSVLd.dll檔案。 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ４.複製glut.h檔案

31 １-３-２ ARToolKit開發套件執行環境設置（6）
從C:\ARToolKit\DSVL\bin資料夾內複製DSVL.dll及DSVLd.dll兩個檔案。如下面左方是圖片所示。 貼至C:\ARToolKit\bin資料夾內，並取代原始檔案。如下面右方圖片所示。

32 １-３-２ ARToolKit開發套件執行環境設置（7）
３.複製glut３２.dll檔案。 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ４.複製glut.h檔案

33 １-３-２ ARToolKit開發套件執行環境設置（8）
從C:\ARToolKit\DSVL\bin資料夾內複製glut３２.dll。 如下面左方圖片所示。 貼至C:\Windows\system\ 資料夾內。如下面右方圖片所示。

34 １-３-２ ARToolKit開發套件執行環境設置（9）
４.複製glut.h檔案。 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ４.複製glut.h檔案

35 １-３-２ ARToolKit開發套件執行環境設置（１０）
從C:\ARToolKit\DSVL\src\GL資料夾內複製glut.h。如下面左方圖片所示。 必須在C:\Program Files\Microsoft Visual Studio ９.０\VC\include\GL （自行新增一個資料夾，命名為GL）。如下面右方圖片所示。 Microsoft Visual Studio ９.０所在的資料夾，請依照你所安裝Visual Studio的路徑調整。

36 １-３-２ ARToolKit開發套件執行環境設置（１１）
貼至C:\Program Files\Microsoft Visual Studio ９.０\VC\include\GL資夾內。

37 １-３-２ ARToolKit開發套件執行環境設置（１２）
５.複製glut３２.lib檔案。 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ４.複製glut.h檔案

38 １-３-２ ARToolKit開發套件執行環境設置（１３）
從C:\ARToolKit\DSVL\lib資料夾內複製glut３２.lib。如下面左方圖片所示。 貼至下面右方圖片中的C:\Program Files\Microsoft Visual Studio ９.０\VC\lib\資料夾內。

39 １-３-２ ARToolKit開發套件執行環境設置（１４）
６.執行批次檔。 執行批次檔，用以建置所要用到的標頭檔config.h 。 ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ７.下載 msvcp７１d.dll與msvcr７１d.dll ４.複製glut.h檔案

40 １-３-２ ARToolKit開發套件執行環境設置（１５）
執行C:\ARToolKit\Configure.win３２.bat批次檔，以建置include/AR/config.h。下面左方圖片為Configure.win３２.bat的所在資料夾位置。 執行完批次檔，最後在主控台上按任意鍵完成。如下面右方圖片所示。

41 １-３-２ ARToolKit開發套件執行環境設置（１６）
７.下載 msvcp７１d.dll與msvcr７１d.dll 。 下載所需要用動態連結程式庫msvcp７１d.dll與msvcr７１d.dll 。 需將下載的 msvcp７１d.dll與msvcr７１d.dll檔案，放到 C:\ARToolKit\bin資料夾下。 ６.執行批次檔 ７.下載 msvcp７１d.dll與msvcr７１d.dll １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ７.下載 msvcp７１d.dll與msvcr７１d.dll ４.複製glut.h檔案

42 １-３-２ ARToolKit開發套件執行環境設置（１７）
首先進入下載網頁後: 請搜尋msvcp71d.dll。 搜尋後將拉到畫面大約中間的位置，即可看到Click here to go to the download of msvcp71d.dll 的下載連結點，點擊左鍵選取。

43 １-３-２ ARToolKit開發套件執行環境設置（１８）
點選後可看到畫面中間有「Download msvcp７１d.dll」的下載點，並點取下載msvcp71d.dll。如下面左方圖片所示。 儲存所要下載的msvcp７１d.dll。如下面右方圖片所示。

44 １-３-２ ARToolKit開發套件執行環境設置（１９）
msvcr７１d.dll也是與msvcp７１d.dll一樣的方式下載。 都下載好之後再將msvcr７１d.dll、msvcp７１d.dll倆的檔案都放到 C:\ARToolKit\bin資料夾下即可。 經過上面７個步驟之後，就可以完成ARToolKit執行環境的建立了。 為了方便閱讀，在這邊以表格的方式來做一下歸納。

45 ARToolKit開發套件執行環境設置彙整（1）
所需檔案 來源位置 目的位置 執行動作 DSVL.dll DSVLd.dll C:\ARToolKit\DSVL\bin C:\ARToolKit\bin 從C:\ARToolKit\DSVL\bin資料夾內複製DSVL.dll及DSVLd.dll兩個檔案，貼至C:\ARToolKit\bin資料夾內，並取代原始檔案。 glut３２.dll C:\ARToolKit\DSVL\bin\ C:\Windows\system\ 從C:\ARToolKit\DSVL\bin資料夾內複製glut３２.dll，貼至C:\Windows\system\ 資料夾內。 glut.h C:\ARToolKit\DSVL\src\GL C:\Program Files\Microsoft Visual Studio ９.０\VC\include\GL（自行新增一個資料夾名為GL） 從C:\ARToolKit\DSVL\src\GL資料夾內複製glut.h。 在C:\Program Files\Microsoft Visual Studio ９.０\VC\include\GL （自行新增一個資料夾名為GL）。 貼至C:\Program Files\Microsoft Visual Studio ９.０\VC\include\GL資夾內。

46 ARToolKit開發套件執行環境設置彙整（2）
glut３２.lib C:\ARToolKit\DSVL\lib C:\Program Files\Microsoft Visual Studio ９.０\VC\lib\ 從C:\ARToolKit\DSVL\lib資料夾內複製glut３２.lib，貼至C:\Program Files\Microsoft Visual Studio ９.０\VC\lib\資料夾內。 執行C:\ARToolKit\Configure.win３２.bat以建置include/AR/config.h，按任意鍵完成。 msvcr７１d.dll msvcp７１d.dll C:\ARToolKit \bin 到 下載 msvcp７１d.dll、msvcr７１d.dll兩個檔案，放到 C:\ARToolKit\bin下。

47 本章重點回顧（１） 虛擬實境（Virtual Reality，VR）讓使用者在虛擬世界中如同身歷其境一般感受到周遭事物。是根據你的行動將虛擬世界裡的影像、事物藉由設備上的感應器，應有的感知回饋於使用者身上，以產生臨場感。 虛擬實境的種類： １.融入式虛擬實境（Immersion VR）。 ２.桌上型虛擬實境（Desktop VR ）。 ３.模擬器式虛擬實境（Simulator VR）。 ４.投影式虛擬實境（Projection VR）。 虛擬實境可廣泛應用在軍事、醫學、藝術、教學、建築…等領域。 擴增實境的內容（Azuma, １９９７）： １.可將虛擬物件與真實結合。 ２.可即時互動。 ３.三維空間的。 擴增實境（Augmented Reality，AR）主要是將電腦虛擬物件的資訊附加於現實的世界中，讓使用者可以在平凡的影像中看到虛擬、實體影像疊合的擴充實境。 將真實世界與虛擬世界視為兩個極端，在此兩端中間則稱之為混合實境（Mixed Reality）。 真實世界 混合實境 虛擬世界

48 本章重點回顧（２） 擴增實境的種類包含有標記式擴增實境（Marker AR）與無標記式擴增實境（Markerless AR）。
擴增實境應用種類： １.展示類擴增實境系統。 ２.辨識類擴增實境系統。 ３.控制類擴增實境系統。 擴增實境技術應用要點： １.控制光源。 ２.辨識物體位置。 ３.辨識物體大小。 ４.辨識物材質。 擴增實境與虛擬實境的差異： AR（Augmented Reality） 1.背景及場景大多是利用實物與實景即時拍攝。也有用預先錄製的影片做背景或場景。 2.只有在人機互動時，才需建構必要的虛擬物件或3D模型，製作方式較VR簡易。 3.計算量較VR為低。 VR（Virtual Reality） 1.所有的人物、物件、場景均需經由貼圖或者是3D建模來達到以假亂真的視覺逼真效果。 2.所有場景皆需要自製，因此製作方式較AR複雜。 3.計算量較AR為高。

49 本章重點回顧（３） ARToolKit是開發擴增實境的套件，不少開發擴增實境的套件都以ARToolKit為基礎來改寫。
ARToolKit是以C++為基礎的函式庫，利用內建的函示庫，可以將虛擬物件重疊到即時影像。 建立ARTooKit的開發環境前，須確定已安裝Microsoft Visual Studio ２００８並安裝好Webcam驅動程式，並且需確保兩者皆可正常執行。 ARToolKit中要呈現３維的物件，可使用２種３維呈現模式之一，分別為： １.OpenGL繪圖。 ２.載入VRML呈現。 ARToolKit安裝流程： １.下載ARToolKit開發套件。 ２.ARToolKit開發套件執行環境設置。 １.下載ARToolKit ２.執行環境設置

50 本章重點回顧（４） ARToolKit執行環境的設置分為以下７個步驟： ２.執行環境設置 １.下載ARToolKit
２.複製DSVL.dll及DSVLd.dll檔案。 ３. 複製glut３２.dll檔案。 ４.複製glut.h檔案。 ５.複製glut３２.lib檔案。 ６.啟動執行檔。 ７.下載 msvcp７１d.dll與msvcr７１d.dll 。 １.下載ARToolKit ２.執行環境設置 １.解壓縮ARToolKit ２.複製DSVL.dll及DSVLd.dll檔案 ３.複製glut３２.dll檔案 ５.複製glut３２.lib檔案 ６.執行批次檔 ７.下載 msvcp７１d.dll與msvcr７１d.dll ４.複製glut.h檔案

51 參考資料（1） 虛擬實境： C博士開講， http://doctor_c.caece.net/mute/cae/１vr.html 。
 虛擬實境： C博士開講， 。 維基百科。虛擬現實。 李汪曄、 李元兵、 伍永康、 莊榮宏、 歐陽明。虛擬實境的核心技術與未來趨勢。 曹文凱。 使用影像資料在虛擬環境中繪製真實場景的方法（Rendering Scenes In the Real World for Virtual Environments Using Scanned Images）。國立台灣大學資訊工程系，碩士論文，民國八十五年六月。 虛擬實境VR介紹。 何謂虛擬實境。 。 。

52 參考資料（2） 擴增實境： P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays IEICE Transactions on Information and Systems, E７７ - D（１２）, pp. １３２１ - １３２９, １９９４. R. Azuma, A Survey of Augmented Reality Presence: Teleoperators and Virtual Environments, pp. ３５５ – ３８５, August １９９７. 維基百科。擴增實境。 擴增實境的原理與應用。 。 虛擬與現實的結合：Augmented Reality初探。 。 ARToolKit 。 ARToolKit實戰教學（一）。 。 DLL-files.com。