國立嘉義大學 資訊工程研究所 指導教授：柯建全 博士 研究生：林俊志

Presentation on theme: "國立嘉義大學 資訊工程研究所 指導教授：柯建全 博士 研究生：林俊志"— Presentation transcript:

1 國立嘉義大學 資訊工程研究所 指導教授：柯建全 博士 研究生：林俊志
以細胞學及影像處理技術 分析乳房腫瘤 國立嘉義大學 資訊工程研究所 指導教授：柯建全 博士 研究生：林俊志

2 大綱 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望

3 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望

4 導論 研究動機 研究目的 文獻探討

5 根據行政院衛生署之統計，乳癌高居台灣女性癌症死亡原因第四名，對女性生命造成相當大的威脅，因此乳癌之早期診斷與適當治療具有相當大之重要性。
當女性進行自我檢測發現乳房硬塊時，應趕緊就醫，以醫師專業之醫療知識進行理學檢查，若必要時則需安排更進一步之檢查。

6 乳癌之檢查方式 乳房超音波 乳房X光攝影 粗針抽吸切片檢查 細針抽吸細胞學檢查

7 研究動機 目前國內乳癌細胞病理診斷，皆由病理科醫師使用肉眼直接透過顯微鏡觀察切片影像。
但若只以人工的方式持續地對大量影像進行判讀工作，需要耗費相當多的人力與時間。 且可能因為疲勞或因不同觀察者之主觀意見等因素而造成判讀結果不一，甚至導致誤判。

8 研究目的 本研究的主要目的在於利用數位影像處理技術，以細胞病理學為基礎，建立一套電腦自動化輔助診斷系統。
可協助醫師在臨床診斷時，能夠以電腦自動化方式分辨出有問題之乳房切片影像，以利病理科醫師針對這些有問題之影像進行進一步檢驗。

9 文獻探討 新加坡Nanyang科技大學的Hao Zhou,K.Z.Mao 膀胱刺瘤細胞影像 以臨界值法分割出細胞核部分
利用形態學適應性連續侵蝕方法找出每個細胞核的marker 以分水嶺運算取出完整細胞核並同時分離重疊細胞核 以細胞核之分割成功率作為系統效能評估之標準 所分割取出之細胞核之中殘留不屬於細胞核之細胞質部分。

10 文獻探討 Iowa大學Kyoung-Mi Lee與W. Nick Street 利用非監督式學習方式或使用者描繪方法建立細胞核輪廓的特徵樣板
利用Hough Transform與半自動找尋輪廓之Snake技術切割出細針切片上之細胞核 利用已建立之template資料庫分析判斷各細胞核究竟為良性或惡性 但此論文僅以面積作為判斷時的參數，其準確率可有再提高的空間。

11 文獻探討 中原大學蘇振隆教授所指導 針對子宮頸抹片異常細胞進行半自動化辨識 利用直方圖等化技術增強抹片影像之對比性
利用Active Contour Model取出細胞核之輪廓 最後針對所取出之輪廓點進行特徵參數擷取，根據所設定之標準將細胞分類。

12 文獻探討 國外學者對於乳癌影像研究方面，大多專注在細胞學的相關研究較多，以類神經網路、色彩分析、形態學運算或分水嶺演算等各種方式將細胞核部分從影像中萃取出來。 利用橢圓形模組或是主動式輪廓模型逼近出細胞核輪廓，與肉眼判讀之結果或與事先建立樣板資料庫進行比對，再對系統效能進行評估。

13 文獻探討 國內乳房腫瘤影像之研究，目前仍以乳房超音波影像以及X光影像的分析辨識研究較多，而以影像處理技術應用於癌症診斷之系統，則以子宮頸抹片診斷與分析系統居多。 相對地以影像處理技術應用在乳房細胞學診斷方面的研究則相當少。

14 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望

15 乳房組織細胞病理及 相關影像處理技術 乳癌的臨床表徵 腫塊 乳頭下陷 皮膚變化 乳頭異常分泌物 腋下淋巴結腫大 乳房上有數週無法癒合之傷口

16 常見之乳房惡性腫瘤 乳腺腺癌 癌細胞呈典型的腺體樣排列。細胞呈錐形，核位於細胞一側，呈扭曲、折疊、凹陷等畸形改變，呈粗顆粒狀，分佈不均；核仁多而形態不規則，胞質豐富，略嗜鹼性，胞質及核內可見多量瀰散的小空泡。 乳腺單純癌 由管內癌發展而來，為抹片上最常見乳腺癌：癌細胞巨大，多為裸核；核仁多且巨大，畸形大多染成深藍色，細胞大小、形態染色均不一致。

17 常見之乳房惡性腫瘤 乳腺髓樣癌 此型細胞成分極豐富與單純癌一起稱為實體癌，癌細胞一般中等大小，圓形、細胞質中等量。核染色質緻密，網狀。核仁中等大而顯著，可二個以上。胞質內空泡罕見，含較多粗細不等的紫紅顆粒。癌細胞團內、外有較多淋巴細胞，與機體對腫瘤的免疫作用有關，為本癌的特點。 乳腺粘液腺癌（膠樣癌） 癌細胞成群或成團，胞體較大，胞質內可見大小不等的粘液空泡，將胞核擠壓到細胞邊緣形成癌細胞。細胞團外可見片狀藍染無結構的粘液樣物質。

18 麥瑪通(MAMMOTOME)切片取樣技術
優點 讓醫師不用經過動手術的方式，就能取得足量的乳房組織進行確定診斷或切除。 準確性比傳統粗針活體檢查高三倍。 平均每例實際手術時間約在十分鐘左右，而且病人在局部麻醉之下不會感到疼痛，且能迅速完成，術後傷口不需縫合。

19 麥瑪通(MAMMOTOME)切片取樣技術
在實體X光或超音波的引導下將探針經皮穿刺至乳房內。 對好位置後，真空系統就將組織吸入至探針前端之取樣凹槽內。 旋轉式切割刀在電腦精準控制下會往前推進，抓、切取組織標本。 經由探針將已取得樣本運送到組織收集匣。 醫師旋轉探針，重覆相同步驟，直到所有要取樣的部位皆已取樣完成。 最後退出探針，在活體檢查部位加壓．即完成取樣。

20 乳房切片製作步驟 1、取樣固定 、洗滌與脫水 3、透明化 、浸蠟 5、封臘 、切片 7、溶解切片上之蠟 8、染色 9、封蓋

21 影像處理技術 主動式輪廓模型 （Active Contour Model）
在1987年，Kass提出主動式輪廓模型(Active Contour Model)，即所謂的Snake。其方法將影像本身所含的資訊加入能量最佳化計算，以判斷所得到之輪廓偵測的結果是否收斂至最佳輪廓。

22 主動式輪廓模型 同一搜尋線上之 三個候選點 V4 V3 V2 V1 Vn Vn-1 Vn-2

23 主動式輪廓模型 設定外部力量的主要目的是要吸引影像中符合要求的特徵點或者輪廓點。此外部能量式子包含影像的梯度G和影像強度I的特徵資訊。
內部力量公式，可反應輪廓的連續性與平滑性，內部力量的計算採用了控制點的一階與二階導數。

24 支援向量機 (Support Vector Machine)
支援向量機是以統計學習理論為基礎發展出來的一種新一代學習演算法，為近年來相當熱門的一項分類技術。 支援向量機將訓練資料映射到一個高維的空間裡，將所有不同類的訓練資料Xi加上標籤：「+1」或是「-1」，用以表示資料點屬於哪個分類，Xi則代表一個可包含許多特徵的N維向量。

25 系統效能評估方式 TN FN FP TP 正常細胞核 異常細胞核 系統判斷為正常細胞核 系統判斷為異常細胞核
TP (True Positive，真陽性)：實際為病變細胞，系統判為病變細胞，判斷正確。 TN (True Negative，真陰性)：實際為正常細胞，系統判為正常細胞，判斷正確。 FP (False Positive，偽陽性)：實際為正常細胞，系統判為病變細胞，判斷錯誤。 FN (False Negative，偽陰性)：實際為病變細胞，系統判為正常細胞，判斷錯誤。

26 系統效能評估方式 準確性 ：表示在所有可疑病灶範圍中，系 統對於正常細胞與異常細胞判斷正確的比率。
準確性 ：表示在所有可疑病灶範圍中，系 統對於正常細胞與異常細胞判斷正確的比率。 敏感度 ：表示異常細胞由系統判斷為異常細胞的比率。 有效性： 表示正常細胞由系統判斷為正常細胞的比率。 在醫學診斷上，對敏感度(Sensitivity)的要求最高，因敏感度反映異常之細胞核被系統診斷出來之比率，若在乳房細胞影像中存在異常之細胞核，必須被偵測出來，不可遺漏造成判斷錯誤。

27 ROC曲線 ROC曲線（Receiver Operating Characteristic Curve）及ROC曲線下面積，是近年來常被用於評估醫學臨床診斷方法準確性的一項指標。

28 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望

29 研究架構與方法

30 影像前處理 灰階轉換 對比強化

31 灰階轉換 我們利用下列灰階轉換公式將如左下圖之原始彩色影像轉換為YIQ色彩空間中的Y component灰階影像，得到一如右下圖之灰階影像

32 [A]＝原始影像陣列－原始影像灰階最小值
對比強化 Sigmoid Function [A]＝原始影像陣列－原始影像灰階最小值 [B]＝ 強化後影像G2＝ α增益值：1-10 β臨界值：0-1 α=6 β=0.65

33 Otsu演算法 Otsu分割演算法的目的在於找尋一最佳的臨界值T，以T為臨界值可將影像灰階值分為兩個群集，使得同一群集內的灰階變異數和為最小，不同群集間的灰階變異數為最大。 假設轉換後的影像灰階值為，L為灰階範圍，N為像素總數，透過選擇臨界值T後，可將區塊中的像素分為兩個群集和，表示灰階值範圍介於1~T的像素群(細胞核部分)，表示灰階值範圍介於T+1~L的像素群(背景)。

34 Otsu演算法 假設任一灰階值為i，i=0~L發生機率值可表示為：
上式中 代表區塊中，灰階值為i的像素個數，N為全部像素的個數，藉由上式機率值我們可利用下列公式計算出 和 兩個像素群的個別灰階平均值 和 ，變異數 和 ，以及兩像素群所佔的比率 和 ，且對於任何影像區塊皆會存在 的關係。

35 Otsu演算法

36 Otsu演算法 一旦計算出上列各數值後，接著就可計算出群集內的變異數(Within-class Variance) ，群集間的變異數(Between-class Variance) ，其公式表示如下：

37 If G(x,y) < T D(x,y)=0 Otherwise D(x,y)=255

38 去除間質細胞、紅血球與人工雜點 去除紅血球：分析R成份直方圖 去除間質細胞：分析色調直方圖，亦可用於去除紅血球
去除人工雜點：去除面積小於50像素點之物件 紅血球 紅血球 紅血球 細胞核 細胞核 細胞核

39 原始彩色影像 影像中殘留紅血球 與人工雜點 去除殘留紅血球 與人工雜點之結果

40 分離重疊細胞核 在進行組織切片後，玻片上之組織將會具有立體厚度，造成細胞核所在位置並非位於單一平面，玻片上可能同時存在數個平面的組織結構，因而會產生細胞核重疊之問題。 此外在利用Otsu演算法區分前景與背景時，有可能因為相鄰細胞核與細胞核之間距離過於接近而連結在一起。

41 本研究擬藉由計算重疊細胞核之重心、在與連心線垂直方向建立搜尋範圍，找尋接近於細胞核重疊交界處之最佳分割點，再連接此兩分割點，即可將重疊之細胞核分離。
本研究設定面積大於1.5倍平均細胞核面積者為重疊細胞核之γ值設為1.5。

42 欲分離之重疊細胞核 第一次形態學侵蝕運算，連通元件數目= 1 第二次形態學侵蝕運算，連通元件數目= 1 作第三次形態學侵蝕運算，連通元件數目= 1

43 第四次形態學侵蝕運算，連通元件數目=2，已分離
求出兩顆細胞核個別之重心

44 找出候選分割點 分割點會位於與左右鄰點曲率變化較大之處，對於曲率的計算，我們採用K-Curvature計算各輪廓點的曲率，其計算公式為 ci
ai＝(xi-xi+K , yi-yi+K) bi＝(xi-xi-K , yi-yi-K) ci＝cosθ＝ ci and -1 1

45 一旦量測所有輪廓點之曲率後，接著計算某輪廓點與相鄰前一點曲率變化值cur_diffpre、與相鄰後一點曲率變化值cur_diffnext
若上述兩數值為一正一負，代表此輪廓點位於 輪廓線凹陷之處，列為可能之分割點。 cur_diffpre＝ cur_diffnext＝

46 在重疊細胞核之輪廓線中，可能會找到許多候選分割點，但是根據我們的觀察，重疊細胞核在連心線兩側處會有兩個最大曲率變化的點P1，P2。
我們在連心線上種植與連心線垂直之搜尋範圍，在搜尋線範圍內搜尋是否可找到最佳分割點P1，P2，使得P1，P2與相鄰點曲率變化最大，且曲率變化值大於某個臨界值。 將P1與P2連線，即可將此二重疊細胞核分離 。

47 O1( ) O2( ) 畫出連心線 重疊之細胞核 連接最佳分割點， 分離重疊細胞核 在搜尋範圍內找出可能之分割候選點 找出最佳分割點
Best segmented Point P2 Best segmented Point P1 Candidate points 連接最佳分割點， 分離重疊細胞核 在搜尋範圍內找出可能之分割候選點 找出最佳分割點

48 下圖為實際影像之重疊細胞核分割步驟圖，藉由配合曲率找尋分割點之方式，將找出之兩分割點連線，即可分離細胞核。
求出最佳分割點 連接分割點，分離重疊細胞核的結果

49 取得初始輪廓 接著我們採用形態學邊界取出(Boundary Extraction)運算，藉此偵測出細胞核之初始輪廓，取得細胞核之初始輪廓影像，其公式如下。 Θ

50 逼近最佳輪廓 若任一原始輪廓Ci中，總共有M個輪廓點，我們以5點為間隔，將初始輪廓依取樣大小切割取樣為 j (j= )個控制點vi,j， ， 。 在控制點 所在輪廓線位置之垂直方向上種植搜尋線(Search Line)，取搜尋線上之 及 內外側各取兩點共五點為邊界候選點(Boundary Candidate)Pi,j,k， ，其中Pi,j,0 = 。

51 計算此五個邊界候選點所在位置對應之灰階影像之梯度G(Pi,j,k)與強度I(Pi,j,k)大小以求出外部能量Eext
計算邊界候選點Pi,j,k的一階導數與二階導數求出內部能量 Eint，其公式可表示如下： Eext( ) = I(Pi,j,k) + G(Pi,j,k) Eint( ) = α(Pi,j,k)’ + β(Pi,j,k)”

52 事實上，若以傳統之主動式輪廓模型對細胞影像偵測最佳輪廓，會因為間質細胞或癌化細胞核內部之亮度不均勻等因素，影響最佳輪廓之偵測。
因此本研究加入輪廓影像特徵、輪廓位置等特徵參數，採用一改良的輪廓偵測模型，將原本的輪廓能量函數公式 重新改寫為公式 加入關連性的能量函數 ，以反應更精確的偵測結果。

53 關連性輪廓偵測 1.輪廓影像特徵的相關性 2.輪廓位置特徵的相關性

54 以上之步驟應用於實際影像之結果如下圖所示
原始彩色影像 所取得之細胞核初始輪廓

55 將初始輪廓對應至原影像之灰階影像 種植搜尋線

56 所取得之最佳輪廓影像

57 特徵參數量測 我們與病理科醫師分析討論的結果，初步決定計算各細胞核之曲率、面積、緊密度、對比度等具有臨床指標意義之特徵參數，作為判別細胞發生病變與否的判斷標準。 將上述特徵參數算出之後，導入SVM進行分類動作，並以分類結果為依據，計算準確率、敏感度、特異度等數值以評估系統之效能。 為了增加判讀的正確性，本研究將位於影像邊緣之不完整細胞核暫不列入分析。

58 細胞核之面積 病變之細胞核的面積會因為異常增生而明顯增大。
本研究與醫師討論後，決定出一正常細胞核面積範圍之經驗值作為臨界值，80≦Areai≦180若影像中細胞核之面積未介於正常範圍內，即將其歸類為有問題之細胞核 病變之細胞核以紅色表示之，而判別為正常之細胞核則以黑色表示，若有面積小於正常面積範圍之細胞核，代表為壞死之細胞，以綠色表示之，但亦歸類為正常之細胞核。

59 輪廓點之曲率 我們採用K-Curvature計算各輪廓點的曲率。
若某一輪廓點與相鄰兩輪廓點之曲率差大於TC ，代表此輪廓點可能位於輪廓過度突起處或凹陷處，則可判斷此細胞核之形狀較不規則。 本研究所設定之經驗臨界值TC值為0.4

60 細胞核之緊密度 緊密度適合評估物體形狀之變化 實合判斷細胞核之形狀是否接近圓形或鬆散
當細胞核趨近圓形時，緊密度數值會被最小化，反之隨著細胞核輪廓之不規則，其值會隨之增加。 緊密度之公式為周長2/面積。

61 細胞核之對比度 癌化細胞可以內部亮度之兩種情況來判別其為病變之細胞
第一細胞核內部會因為染色體即將分裂而造成內部亮度不均，呈現亮暗程度有很大差異之情況 第二，根據細胞病理與取樣結果，若細胞核内部亮度偏暗且很均勻，亦為病變之細胞 我們設定一經驗灰階變異數範圍100≦Variancei≦300，若灰階變異數位於經驗範圍之外，即判別為病變之細胞核

62 辨識結果 經過與病理科醫師之討論，只要細胞核在上述各項特徵檢驗過程中，任何一項特徵被標記為異常，便可將該細胞核歸類為有問題之細胞核。

63 支援向量機 當系統取出所有n個細胞核之特徵參數之後，每個細胞核Ni， ，會獲得一組相對應之特徵參數數據：Curvi、Areai、Compi、Variai 我們將以上特徵參數分別正規化之後，可以得到一組正規化後的值：N_Curvi，N_Areai，N_Compi，N_Variai，正規化之公式如下：

64 支援向量機 在算出每顆細胞核Ni所對應之正規化數據之後，我們將N_Curvi、N_Areai、N_Compi、N_Variai設為細胞核Ni所對應之四維的特徵向量Xi＝(N_Curvi，N_Areai，N_Compi，N_Variai)，將Xi導入在SVM中用於處理分類問題的函式： 然後我們利用台大資工林智仁教授所提供之SVM程式進行細胞核的分類工作。

65 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望

66

67

68 接著我們將細胞核之所有特徵參數與分類結果，進一步以台大資工林智仁教授所提供之支援向量機程式作分類結果之效能評估。
在SVM實驗方面，本研究以四組隨機資料分組，將這四組資料做為訓練資料(Training Data)進行訓練動作建立模組，再利用四個模組進行交叉驗證測試工作，最後將具有最佳辨識率之結果模組作為本系統之訓練模組，以評估本系統之效能。

69

70

71

72 圖4.15：ROC曲線

73 系統執行介面

74 實驗結果討論 敏感度指標會表現出影像品質的差異，若影像之背景過於複雜、細胞核過於密集，或細胞核內部之亮度不均皆會導致敏感度變低。
在以ROC曲線評估診斷準確率而言，可以發現若只使用少數特徵參數對細胞核進行辨識工作，分類之正確率可能相對下會較低。

75 導論 乳房組織細胞病理及相關影像處理技術 研究架構與方法 實驗結果與討論 結論與未來展望

76 結論 本系統將辨識結果導入支援向量機內進行系統效能之評估，實驗證實本系統能有效辨識出病變之細胞核。
本研究分析乳癌之粗針切片與細針抹片，針對國內相關研究非常少的乳房細胞影像細胞學診斷方式，提出一套以細胞學為基礎之乳房細胞影像辨識方法，並提出分割方法，並分離之細胞核。 本系統將辨識結果導入支援向量機內進行系統效能之評估，實驗證實本系統能有效辨識出病變之細胞核。 以電腦自動化的方式達到輔助病理科醫師診斷的功能，增加診斷或判讀的正確率，有效減輕病理科醫師在人為判讀上的負擔。

77 未來展望 在細胞核分割的部分，可能因為細胞核內部亮度不均或與間質細胞之色彩差異太小，導致分割出之細胞核輪廓與實際輪廓差異太大，造成誤判。
分割重疊細胞核之方法仍有改進之空間。 此外本研究所用於實驗之影像樣本數目略顯不足，在細胞數目太多時執行速度會稍慢，這些都是未來可以再加以研究與加強之處。

78 Q And A