長庚大學電機工程研究所 碩士論文 指導老師﹕李建德博士 研究 生﹕王聖達

Presentation on theme: "長庚大學電機工程研究所 碩士論文 指導老師﹕李建德博士 研究 生﹕王聖達"— Presentation transcript:

1 長庚大學電機工程研究所 碩士論文 指導老師﹕李建德博士 研究 生﹕王聖達
結合擴增實境技術之手術導引系統 長庚大學電機工程研究所 碩士論文 指導老師﹕李建德博士 研究 生﹕王聖達

2 Outline 緒論 系統對位演算法 導引器具整合及擴增實境顯影 實驗結果與分析 結論與未來展望

3 緒論 空間位置與資料對位 有附加標記法 無附加標記法

4 緒論 光學式空間位置追蹤器 (POLARISTM) 圖1-3 以投影機為基礎的擴增實境顯示硬體架構圖

5 緒論 圖1-4 系統流程圖

6 系統對位演算法 無附加標記法 兩組表面點資料: 一組是從病人術前所拍攝之CT資料中擷取出的表面點座標資料
一組則是利用雙攝影機立體視覺技術從病人臉上擷取出的表面點座標資料 利用以ICP演算法為基礎所開發的Fast Marker-added ICP對位演算法

7 系統對位演算法 無標記式對位演算法: 1.特徵點對應法（Landmark Matching）
2.表面對應法（SurfaceMatching） 特徵點對應法: 1.Harris Corner Detector 演算法 對位演算法: 2.Marker對位演算法 表面對應法: 1.ICP（Iterative closest point）

8 系統對位演算法 Harris Corner Detector 演算法 本研究中會賦予每個VDCS上二維影像像素點一個Z值，深度值
等位面快速顯示是以大幅減少資料量，同時兼具高品質及高效率的三維顯示

9 系統對位演算法 Harris Corner Detector 演算法
應特徵向量的分佈範圍大小，因此可用來作為資料的壓縮、分類或線性轉換 利用梯度來辨識判斷是否為特徵的方法，因此它的優點是不受限於影像強度值而影響

10 系統對位演算法 Marker 對位演算法 必須求解參考影像所代表的座標與浮動影像 所代表的座標之兩者間的轉換關係
分別在參考影像及浮動影像上選取相對應特徵點的位置，並記錄其影像座標 三對特徵點的影像座標

11 系統對位演算法 Marker 對位演算法

12 系統對位演算法 Marker 對位演算法

13 系統對位演算法 Marker 對位演算法

14 系統對位演算法 Marker 對位演算法

15 系統對位演算法 Marker 對位演算法

16 系統對位演算法 Iterative closest point (ICP) 對位演算法 對位演算法: 1.浮動點資料 2.參考點資料
1.最接近點的搜尋 2.全域最佳解 最接近點搜尋的問題 K 維度的搜尋樹(k-dimension tree, K-D tree) Dual Approximate K-D tree(DAK-D tree) 3. Adaptive Dual Approximate K-D tree(ADAK-D tree)

17 系統對位演算法 Iterative closest point (ICP) 對位演算法 ICP 全域最佳解:

18 系統對位演算法 Iterative closest point (ICP) 對位演算法 設定浮動資料與標準參考資料
須設定停止條件之閥值（Threshold）與設定遞迴之次數，主要目的是為了設定ICP 演算法的停止的條件 d( f , r)為點f 到點r之歐幾里德距離（Euclidean Distance）

19 系統對位演算法 Iterative closest point (ICP) 對位演算法

20 系統對位演算法 Iterative closest point (ICP) 對位演算法

21 系統對位演算法 Iterative closest point (ICP) 對位演算法

22 系統對位演算法 Iterative closest point (ICP) 對位演算法

23 系統對位演算法 Iterative closest point (ICP) 對位演算法 圖2-3 ICP 收斂示意圖 ICP 演算法之優點：
(1) 可以處理不同型態的資料結構，如：點集合、線段集合、三角形集合、曲線或曲面。 (2) 不需要經過物體表面特徵擷取的過程，直接求點與點間的最短距離，其概念比較直接易懂。 (3) 可以處理六個自由度的空間問題。

24 系統對位演算法 Iterative closest point (ICP) 對位演算法 缺點有：
(1) 由於最後會收斂到一個區域最小值，並不一定可以得到全域最小值，所以必須給定一個良好的初始值，才不至於使疊合成果掉入區域最小值。 (2) 浮動點資料必須是參考對應點資料的子集合。 (3) 會因非重疊區的粗差(outlier)而造成疊合過程的誤差，如圖2-4 所示，紅色為浮動點資料，藍色為參考對應點資料，當浮動點資料在收尋相對應的參考對應點資料時，有可能會發生同時一次多點浮動點資料對應至同一參考對應點資料上，便會發生誤差的累積。 圖2-4 非重疊區對於搜尋點的影響

25 系統對位演算法 Marker-added ICP 對位演算法
利用粗糙的標記點或是臉部自然的特徵點與在CT影像上相對應的點來計算其幾何關係，透過此幾何關係給予浮動資料一個好的初始位置並且利用此關係局限ICP搜尋最佳解的解空間，也就是說利用粗糙的標記點或是臉部的自然特徵點可以求得其初始解，再利用適應性 ICP來對初始解進行調整求得其最佳解 浮動資料點數量過大，所以演算法在運算時間上需要花費大量的時間來做運算處理的動作 圖2-5 M-ICP演算法流程圖

26 系統對位演算法 Fast Marker-added ICP 對位方法
Marker-added ICP 雖然可以解決傳統ICP 易陷入局部解之問題，但是在本系統中，由於浮動資料點數量過大，所以演算法在運算時間上需要花費大量的時間來做運算處理的動作 利用了臉部自然的特徵點(feature points)或是標記點(Marker points)，與在 CT 影像上相對應的點來計算其幾何關係，透過此幾何關係給予浮動資料一個好的初始位置並且利用此關係局限 ICP 搜尋最佳解的解空間，即利用粗糙的標記點或是臉部的自然特徵點求得其初始解，再利用Harris Corner Detector 在浮動資料上做特徵點擷取，來降低運算資料量，最後再利用適應性ICP 來對初始解進行調整，以降低對位後的誤差

27 系統對位演算法 圖 2-6 Fast Marker-added ICP 演算法流程圖

28 系統對位演算法

29 系統對位演算法

30 系統對位演算法

31 系統對位演算法

32 導引器具整合及擴增實境顯影 空間導引器具: 表 3-1 各類空間導引追蹤系統比較表

33 導引器具整合及擴增實境顯影 圖 3-4 傳統導引設備整合為導航設備方式
_____________________________________ 利用導引設備擷取患者術中特定點座標Ctracker 以立體視覺座標Ccam 為基準，將術前資料(CT)、術中患者座標Cpatient 圖 3-5 利用立體視覺方式將導引設備整合為導航設備

34 導引器具整合及擴增實境顯影 本系統基於此原因，開發一套將既存導引設備座標系轉換到立體視覺座標系上的方法 圖 3-6 間接導航模式流程圖

35 導引器具整合及擴增實境顯影 圖 3-7 間接導航模式示意圖

36 導引器具整合及擴增實境顯影 選擇攝影機立體視覺校正點的座標系統為基準，稱之為標準座標系統，
由空間位置追蹤器所點選的點座標系統，稱為旋轉座標系統 事先定義的相同三點座標 利用這三個校正點建立一參考座標系統 Cref − Xr Yr Zr

37 導引器具整合及擴增實境顯影 轉換矩陣

38 導引器具整合及擴增實境顯影 轉換矩陣 得到參考座標系 得到參考座標系相對於基準座標系之r X 、r Y 、r Z 三個方向向量，
就可計算其相對於基準座標系之間的轉換矩陣camref T

39 導引器具整合及擴增實境顯影 接著，便可以計算出轉換座標系相對於基準座標系的轉換矩陣

40 導引器具整合及擴增實境顯影 選用一8*6 的棋盤格，左右攝影機分別截取影像後找出影像中35 個交叉點的2D 座標位置，進行定義排序後，輸入雙攝影機模型計算3D 座標位置

41 導引器具整合及擴增實境顯影 棋盤格的排序以及使用定義如下 代入3-1 式～3-6 式中進行計算。計算後幾何場景示意圖如圖3-11
以此定義偵測左右影像，排序後計算得點群座標

42 導引器具整合及擴增實境顯影 擴增實境的顯影方式可以分為兩種: 1.頭戴式(HMD,Head-Mounted Displays)
2.投影機式(projector based technology) 一般常見到以投影為基礎的擴增實境顯影方式，多以利用在術前時，於欲投影的身體部位貼上標記物

43 導引器具整合及擴增實境顯影 圖 3-13 以投影機式為基礎的擴增實境顯影方式流程圖

44 導引器具整合及擴增實境顯影 解決做擴增實境顯影所遇到縮放比之問題 ID 的調整寬倍率為Sw，調整長倍率為SL

45 實驗結果與分析 第一部分為本研究所開發系統的描述 第二部分為系統準確性測試實 4.1 手術導引系統開發成果
Windows® XP 作業環境中進行開發 醫學影像使用者介面架構於高性能圖形之互動式視覺處理函式庫VTK(Visualization Toolkit) Meteor-II 影像擷取卡所提供Mil函式庫控制輸入影像 OpenCV作為影像前處理的開發元件 Microsoft Visual C 為整合開發環境

46 實驗結果與分析 操作環境與操作流程 第一階段建立立體深度資訊，目的為擷取固定後患者的顱顏表面資訊
第二階段為執行對位演算法，以第一階段所獲得的表面資訊與患者術前的資料進行對位 第三階段則是手術器具的導引及擴增實境顯影

47 實驗結果與分析 腦部手術對位導航系統流程圖

48 實驗結果與分析 導航系統操作環境

49 實驗結果與分析 4.2 手術導引器具穩定度及準確度實驗 1. 單一點靜態測試 我們於一個定點蒐集數百點之空間點資訊，以統計方法計算其誤差之平
均值(mean)以及標準差(Standard Deviation；Std. Dev.)分別定義如下所示： 單一點靜態測試誤差評估表

50 實驗結果與分析 2. 點與點之間靜態測試 點與點之間距離為25mm，，計算點與點之間之實際距離，與標準值進行誤差評估，其誤差dist Error 定義下所示： 準確度評估之校正塊 點與點之間靜態測試誤差評估表

51 實驗結果與分析 三種不同種類對於準確度上之差異 機械式追蹤器Digitizer 最為精準，而光學式追蹤器POLARIS Vicra 其
次，電磁追蹤器microBIRD 相較之下較為遜色，主要原因為電磁式追蹤器之原理是由磁場感應方式進行追蹤，因此容易受環境的干擾導致準確度上的差異，而Digitizer 是由機械手臂建構而成的，其精準度高是無庸置疑的。 機械式追蹤器Digitizer 精確度高，用於校準之標準；光學式追蹤器POLARIS Vicra 次高，且感應範圍較Digitizer 大，用於進行表面追蹤；而電磁追蹤器microBIRD利用磁場感測且Seneor 較微小並具撓性，適用於進行體內追蹤及導航。

52 實驗結果與分析 4.3 整體對位導引準確度實驗 腦部手術導引系統之對位演算法流程圖

53 實驗結果與分析 系統對位演算法分為以下三大步驟說明： 首先是點資料擷取的程序 參考點資料是從病人術前所拍攝的 CT 影像上擷取相對應的灰階值
浮動點資料則是利用雙攝影機立體視覺搭配投影機投影細線掃瞄處理擷取躺在手術平台上的病人的表面輪廓點資料。 其次是選擇選擇相對應的特徵點，這三對特徵點分別是從固定在病床 上病人的 CT 影像及雙攝影機拍攝影像所選取。而那些特徵點也可以是人工的標記點 (artificial markers) 或是鼻尖，眼角或是任何可以在病人頭上辨識出來的點。

54 實驗結果與分析 擷取特徵點 自動化方式選取 先利用霍夫圓偵測在病人顱顏表面貼上3點標記物做偵測 角度問題
霍夫圓偵測之結果：(a)左攝影機影像 ; (b)右攝影機影像

55 實驗結果與分析 擷取特徵點 利用色彩資訊辨識的方式，將影像做二值化來擷取特徵點 燈光反光
色彩偵測之結果：(a)左攝影機影像 ; (b)右攝影機影像

56 實驗結果與分析 目前本論文在選取特徵點部分，還是採用使用者自行選取方式來進行實驗操作
對位的部份則是利用包含全域資訊的特徵點與區域資訊的臉部輪廓點集合作為 FM-ICP 的輸入，來進行表面對位演算法實驗測試。並且藉由以下實驗來評估我們所提出了演算法的效能 4.3.1 對位前處理 由於 CT 影像是由許多連續 2D 切面構成，所以需要先對 CT 影像選取出所感興趣的部分，將每一張 CT 影像切片之 2D 的表面輪廓重建成 3D 的點資料格式

57 實驗結果與分析

58 實驗結果與分析 另一組浮動點資料的擷取方式，首先固定已校正內參數之左右攝影機與投影機位置後，利用投影機投射細線於臉部，透過左右兩影像平面上尋找相對應之座標點進行深度計算。 左右攝影機擷取顱顏表面的細線

59 實驗結果與分析 深度計算示意圖

60 實驗結果與分析 由於CT 資料本身可能是一組龐大的資料群，如果要將整組CT 資料轉移到其他的座標系統，會在對位移動時將會耗費大量的電腦運算時間，因此我們將所有的對位後座標轉換以CT 座標作為對位標準。 實驗主要使用到Target Registration Error(TRE)作為我們評估計算的方程式。在此我們所定義的TRE 是指目標物(Target)與導引偵測目標(Tracker point position)的距離。

61 實驗結果與分析 由於CT 上所點選出的標記物作標，可能會有些微偏差，因此我們隨機選取10 次並進行平均，以此為標準定義為標記物的座標值。
假體上之5 個標記物

62 實驗結果與分析 4.3.2 Fast Marker-added ICP 演算法準確度實驗 FM-ICP 演算法強健性實驗
法的強健性影響 特徵點數多寡與FM-ICP 對位演算法強健性評估(mm)

63 實驗結果與分析 實驗流程： I. 固定顱顏假體 II. 進行顱顏表面 3D 資料重建 III. 擷取左右影像，並依序點選顱顏上黏貼之標記物
IV. 利用 Harris Corner Detector 在重建之3D 表面資料上自動偵測不同數量特徵點進行FM-ICP 對位 特徵點數多寡與FM-ICP 對位演算法強健性評估

64 實驗結果與分析 4.3.2 Fast Marker-added ICP 演算法準確度實驗 (B) FM-ICP 演算法準確度實驗
接著論文繼續進行FM-ICP 演算法的準確度實驗，並且與M-ICP 演算法做準確度及對位運算時間的比較。 初始對位誤差評估表

65 實驗結果與分析 標記物4 的誤差較其他4 點標記物大，，原因是因為標記物4 的位置在我們的欲對位範圍外，且處在梯度較大之位置，所以會有延伸誤差的產生，導致誤差較其他4 點標記物大。 FM-ICP 與M-ICP 誤差及運算時間評估表

66 實驗結果與分析 4.3.2 Fast Marker-added ICP 演算法準確度實驗
(C) FM-ICP 演算法對位後結合導引器具準確度實驗之前兩個實驗皆為驗證演算法本身的強健性及準確度，再來是要結合間接導引器具做準確度誤差分析，此實驗我們利用光學式NDI 導引器具進行實驗驗證 FM-ICP 演算法對位後結合導引器具準確度誤差評估表

67 實驗結果與分析 針對入刀點的投影，我們也做了準確性的分析評估:
首先在假體上決定要投射的3個入刀點Prealentry，之後在影像顯示模式中，從CT影像或是VTK所建構出的3D Model上選取同樣位置的3個入刀點PCT，再利用對位轉換後之結果將3個入刀點Pproject投影至病人實體上。最後利用校正後空間導引儀器分別對假體上的3個標記點及投影的3個投影入刀點做真實空間座標擷取，之後再去分別計算兩組資料點與點之間之實際距離，與標準值進行誤差評估，其誤差Errordist定義如式

68 實驗結果與分析 4.5 系統功能操作 (A) 導引模式
1. 首先將空間導引追蹤器初始化，並開啟追蹤功能，分別於校正塊上取3個交叉點，座標系為導引器具座標系統，再利用攝影機將相同的3 個交叉點擷取出，將兩座標系的的相同3 對交叉點進行3 點對位，可將導引器具座標系校準至攝影機座標系上，完成空間整合之目的， 導引儀器空間整合視窗

69 實驗結果與分析 (B)影像顯示模式 1. 首進行立體視覺的操作區域，須要提供使用者有調整操作姿態以及監督操作，可以藉由掃描線條數(張數)、投影線平移距離(步進)及投影線粗細(線寬)來決定投影的區域範圍以及特性。最後在產生表面點群後，在VTK 擴增實境區域輸出觀看。也可以載入不同來源其它計算的立體點群座標，點資料主要以*.txt 文字檔格式輸入及輸出。 立體視覺操作區

70 實驗結果與分析 2.建立完真實空間 3D 點群後，先在雙攝影機拍攝之2D 平面上選取特徵
點，再載入事前所選取好的CT 上特徵點進行Marker對位來完成初對位 選取2D 特徵點介面

71 實驗結果與分析 重建出3D 特徵點圖 特徵點進行初對位完後結果

72 實驗結果與分析 3. 初對位完後對目前的真實病人 3D 資料做雜訊點排除的動作，目的在減低雜訊對對位結果的影響。 排除雜訊點

73 實驗結果與分析 4. 載入 CT 影像，擷取出表面資料後，進行FM-ICP 對位演算法 FM-ICP 對位演算法對位後結果

74 實驗結果與分析 5. 在 CT 影像上選取一入刀點Pentry，此時由於CT 影像座標因經過FM-ICP已轉換成雙攝影機立體視覺座標，再透過之前建臉模時所投影的細線群，得知入刀點是位於投影在臉上的第幾條投影細線上，將結果投影至病人身上得到入刀點Pproject。再利用選取到入刀點Pentry 的Z 軸深度資訊，將CT 影像資訊投影至病人身上，投影的剖面則會隨著儀器選取的入刀點而做即時的畫面切換，作為擴增實境顯示結合導航器具的應用。

75 結論與未來展望 本研究結合擴增實境技術於導航系統上，而且適用於非接觸式病人模式，既可以避免接觸到病人，又可以利用所投影的事前規劃入刀點來達到微創手術，對病人的傷害可以降到最小亦較安全。 本系統是以投影機為基礎的擴增實境顯影方式，這樣所提供的資訊會直接投影在病人身上，醫生就不需要分神要注意手術情況及螢幕資訊，相對亦較不易造成醫師眼睛疲憊等問題發生。 系統演算法部分，我們以 ICP 對位演算法為基礎，提出了Fast Marker-added ICP 對位演算法，它改善了傳統ICP 演算法當遇到子集合資料量過大時，需要花費大量運算時間的問題，而且在實驗的精準度上，也維持在1~2mm 左右，也符合外科手術醫生的誤差範圍。 未來發展上還可以繼續針對前端取像的速度做加速，在投影準確性上，亦可使它更精準，且本系統關於擴增實境部分還可以加入頭戴式模式可讓系統更加完善。