第六章 自組性類神經網路 類神經網路.

Presentation on theme: "第六章 自組性類神經網路 類神經網路."— Presentation transcript:

1 第六章 自組性類神經網路 類神經網路

2 6 章節目錄 第一節 序論 第二節 生物大腦皮質的特徵映射概念 第三節 自組特徵網路架構與其演算法 第四節 學習向量量化
第一節 序論 第二節 生物大腦皮質的特徵映射概念 第三節 自組特徵網路架構與其演算法 第四節 學習向量量化 第五節 自組特徵映射與學習向量量化結合模式 第六節 應用實例 第七節 SOM之其他應用 本章重點回顧 本章習題 台大生工系水資源資訊系統研究室

3 第一節 序論 許多不同型態的自組性類神經網路（Self-Organizing Neural Networks）都具有相同的特徵
第一節 序論 許多不同型態的自組性類神經網路（Self-Organizing Neural Networks）都具有相同的特徵 能夠在輸入範例的學習過程中，產生自我組織性而不需要依靠目標輸出值的誤差修正， 可以展現輸入範例的分布或相似性， 具有將輸入範例聚類到相似群組中的能力 這些特徵是根植於非監督式學習 此種演算法多用於聚類型的類神經網路， 可降低高維度系統的複雜性 例如初生兒的成長 台大生工系水資源資訊系統研究室

4 自組性類神經網路 非監督式學習 競爭式學習 包含有：
自組特徵映射網路（Self-Organizing (Feature) Map, SOM） 學習向量量化（Learning Vector Quantization, LVQ） 調適性共振理論（Adaptive Resonance Theory, ART） 本章將介紹  SOM、LVQ、SOM+LVQ 台大生工系水資源資訊系統研究室

5 SOM及LVQ 分別於 1980 年代前後期由Kohonen（1982, 1986）提出
大量應用於影像、語音辨識（Kohonen 1988; Kangas 1991; Lapidot 等人 2002）； 機器人學習（Ritter 等人 1992）； 手寫數字辨識系統（Cho 1997）； 皮質層模型（Kohnen 1995）等 。 在演算模式上也有許多研究報告提出新的方法來改善 SOM 及LVQ 的不足之處 SOM 與監督式訓練的合併模式 此模式在收斂速度及精度都比一般的神經網路為佳（Miynaga等人, 1995）。 台大生工系水資源資訊系統研究室

6 第二節 生物大腦皮質的特徵映射概念 人類的大腦表面覆蓋著一層皮質 非常的大且有許多折摺，為所有哺乳動物中最先進，
第二節 生物大腦皮質的特徵映射概念 人類的大腦表面覆蓋著一層皮質 非常的大且有許多折摺，為所有哺乳動物中最先進， 這一區為人類用意識去控制人體機能產生的地方 相互作用、連結及學習皆集中在此區內 不同區域主管不同的功能 這些區域與刺激之間的映射關係並非人類一出生時就自然形成的，而是經由學習與制約的過程中完成拓樸映射，正確地處理與反應外界的刺激。 大腦皮質上的映射關係形成後，仍可以改變映射關係中的某些部分。一旦某部分腦組織受傷，很可能會有其他部位的腦組織可以取代這些受損的組織。 台大生工系水資源資訊系統研究室

7 人腦接受不同外來刺激示意圖 台大生工系水資源資訊系統研究室

8 ANN採用大腦皮質特徵映射這樣的概念有許多優點：
更快速反應外界刺激 特徵映射以平行處理來進行，因此能迅速的處理大量資訊，符合神經系統必須能快速反應外界刺激的需求。 更容易存取儲存在網路中的資訊 特徵映射以簡單的方式提供使用者對所需要的資訊於網路中作快速存取。 更有效率處理外界資訊 以相同的映射方式處理不同的特徵或是外界刺激，使神經網路更有效率。 台大生工系水資源資訊系統研究室

9 第三節 自組特徵映射網路架構與其演算法 自組特徵映射網路（Self-Organizing Map, SOM）
第三節 自組特徵映射網路架構與其演算法 自組特徵映射網路（Self-Organizing Map, SOM） 首先由 Kohonen 提出，屬於前饋式、非監督式神經網路 以特徵映射的方式，將任意維度的輸入向量，映射至較低維（度）的特徵映射圖上 二維矩陣的SOM 架構圖 台大生工系水資源資訊系統研究室

10 依據目前的輸入向量在神經元間彼此相互競爭，優勝的神經元可獲得調整連結權重向量的機會；
而最後輸出層的神經元會依據輸入向量的「特徵」以有意義的「拓樸結構」（topological structure）展現在輸出空間中， 由於所產生的拓樸結構圖可以反應所有輸入值間的分布關係，因此將此網路稱作為自組特徵映射網路，而該映射圖也可稱為拓樸圖（topology）。 SOM網路神經元間的拓樸座標 台大生工系水資源資訊系統研究室

11 從另一個角度來看 …… 自組織特徵映射的過程也是一個聚類的過程 SOM可視為聚類演算法（clustering algorithm）的一種。
可將一群未經標示的樣本，透過此演算法，從中尋找某些相似的特性，然後再將這些具有相似特性的樣本聚集成一類。 台大生工系水資源資訊系統研究室

12 網 路 架 構 輸入層 用以表現網路的輸入變數，即訓練範例的輸入向量，或稱特徵向量，其處理單元數目依問題而定，每一個處理單元代表著輸入向量的每一個元素，亦即該輸入資料所擁有的特徵。 輸出層 用以表現網路的輸出變數，及訓練範例的聚類，其處理單元數目依問題而定。其結構本身有『網路拓樸』以及『鄰近區域』(Neighborhood)的觀念。 台大生工系水資源資訊系統研究室

13 網 路 架 構 網路架構圖 台大生工系水資源資訊系統研究室

14 演 算 法 對於 N 個維度的輸入值，以 X 表示輸入向量 第 j 個神經元的連結權重 網路中所有神經元連結權重的初始值可以隨機亂數產生
演 算 法 對於 N 個維度的輸入值，以 X 表示輸入向量 第 j 個神經元的連結權重 網路中所有神經元連結權重的初始值可以隨機亂數產生 台大生工系水資源資訊系統研究室

15 演 算 法 競爭式學習法則 每筆輸入向量都必須尋找其對應的優勝神經元，即與該輸入向量最近似的神經元，進而調整該神經元的連結權重。
演 算 法 競爭式學習法則 每筆輸入向量都必須尋找其對應的優勝神經元，即與該輸入向量最近似的神經元，進而調整該神經元的連結權重。 距離計算公式 比較所有神經元的連結權重與輸入向量間的距離 歐幾里德基（Euclidean norm）距離公式（簡稱歐氏距離）、 加權距離公式、Manhattan距離公式等 台大生工系水資源資訊系統研究室

16 演 算 法 計算距離，並選取出優勝神經元 q(X) 為輸入向量X與所有神經元連結權重的最短距離 該神經元則稱為優勝神經元 每一筆輸入向量所對應出的優勝神經元都不盡相同，因此每個神經元被調整的次數及時機也不一定相同或有規則可循，完全端視輸入向量間的分布關係。 台大生工系水資源資訊系統研究室

17 演 算 法 SOM網路學習的過程中， 有一個重要的關係存在於網路的神經元間……
演 算 法 SOM網路學習的過程中， 有一個重要的關係存在於網路的神經元間…… 神經元間有著鄰近關係，讓優勝的神經元在進行連結權重調整時，也會將這樣的訊息傳遞給鄰近的神經元，讓鄰近的神經元也隨著進行連結權重調整，如此有助於網路神經元間的拓樸映射關係。 台大生工系水資源資訊系統研究室

18 演 算 法 設定神經元間的鄰近關係之參數包括 鄰近半徑R： 鄰近區域： 以鄰近中心為中心點，鄰近半徑的長度為半徑，所圍繞的區域範圍稱鄰近區域
演 算 法 設定神經元間的鄰近關係之參數包括 鄰近半徑R： 一開始可先取較大的半徑值，隨著訓練次數或時間的增加，該鄰近半徑可以逐漸縮小 鄰近區域： 以鄰近中心為中心點，鄰近半徑的長度為半徑，所圍繞的區域範圍稱鄰近區域 台大生工系水資源資訊系統研究室

19 演 算 法 設定神經元間的鄰近關係之參數包括 鄰近中心： 鄰近函數：
演 算 法 設定神經元間的鄰近關係之參數包括 鄰近中心： 優勝神經元為鄰近中心，以該神經元為調整的中心，修正鄰近區域中所有的神經元。 鄰近函數： 台大生工系水資源資訊系統研究室

20 拓樸層間鄰近神經元及鄰近半徑遞減示意圖 台大生工系水資源資訊系統研究室

21 由競爭式學習與鄰近的關係，逐漸地形成神經元間的拓樸結構，神經元的連結權重也隨著調整而逐漸獲得訓練範例輸入資料的聚類結果。
演算流程 隨機產生 鍵結權重值 決定 R 與 μ(k) 設定演算 停止條件 START 載入訓練範例資料 計算出優勝神經元 修正鍵結權重與鄰域範圍 調整學習速率 停止? Yes END No 台大生工系水資源資訊系統研究室

22 在此以簡單的例子說明SOM的聚類特性。在（0,1）的範圍中，從均勻分布（uniform distribution）隨機選取 1000 個二維向量點為訓練範例資料點（如圖 6.6 所示） 台大生工系水資源資訊系統研究室

23 以10×10 的 SOM 網路進行訓練。網路權重初始位置如圖 6.7 所示，聚集於資料點中心位置附近的隨機亂數值；
以10×10 的 SOM 網路進行訓練。網路權重初始位置如圖 6.7 所示，聚集於資料點中心位置附近的隨機亂數值； 經過若干次數訓練後，神經元間的拓樸架構逐漸形成，網路的連結權重逐漸收斂如圖 6.8 所示， 神經元的連結權重值是以各點的位置表示，而神經元間的拓樸關係則是以線來連結，圖6.8 所呈現的拓樸架構並沒有產生線與線間交叉或重疊的現象，而是以一種相當有次序的方式相連接 台大生工系水資源資訊系統研究室

24 將圖 6.6 及圖 6.8 疊合成圖 6.9，便可看出聚類中心點會按照資料的特性來給予聚類，而神經元間的拓樸結構也會隨著資料點的分布特性來形成。 台大生工系水資源資訊系統研究室

25 向量量化（vector quantization）
第四節 學習向量量化(LVQ) 向量量化（vector quantization） 1980 年代即有人提出（Linde 等人 1980；Gray 1984; Nasrabadi 和 King 1988; Luttrell 1989） 主要目的是用於資料的壓縮 希望以較少的群集來表示整個輸入樣本空間 依據多筆輸入樣本的空間分布情形，量化成數目較少的參考向量，每個參考向量各自涵蓋特徵空間中的一塊區域 每一筆輸入向量都可以各自映射到距離自己最近的特徵空間中，並且以該空間中的參考向量當作輸出，以做到壓縮資料的目的 向量量化的演算模式也具有群集分類的效果，也是屬於競爭式 學習 台大生工系水資源資訊系統研究室

26 LVQ網路架構 Kohonen 於 1986 年時，以向量量化為基礎發展了學習向量量化（Learning Vector Quantization，LVQ）神經網路，該網路最大的特色在於它是屬於監督式學習 對於每一筆輸入樣本都應該要有相對應的實際輸出值，而這一筆實際輸出值就是該輸入向量所隸屬的類別 以 X 表示輸入向量，透過連結權重 W 與輸出類別Y 連接 台大生工系水資源資訊系統研究室

27 LVQ演算方法 以與SOM相同方式，選取優勝神經元
從優勝神經元所屬的類別與輸入向量所屬的類別進行比對，以判定分類的結果正不正確，來對 wj 進行不同策略的修正 分類正確，神經元連結權重修正方向是往輸入向量接近 分類不正確，神經元連結權重修正方向則是遠離輸入向量 台大生工系水資源資訊系統研究室

28 LVQ演算步驟 初始化各神經元連結權重值與指定類別編號 設定學習速率 設定演算 停止條件 START 載入訓練範例資料 計算出優勝神經元
修正優勝神經元權重值 調整學習速率 停止? Yes END No 台大生工系水資源資訊系統研究室

29 第五節 自組特徵映射與學習向量量化結合模式
第五節 自組特徵映射與學習向量量化結合模式 SOM + LVQ  改善 SOM 於聚類上的錯誤 1980 年代即有人提出（Linde 等人 1980；Gray 1984; Nasrabadi 和 King 1988; Luttrell 1989） 相關應用 手寫辨識系統、數字辨識、心電圖分類 …… 台大生工系水資源資訊系統研究室

30  為克服聚類上映射錯誤的情形，結合LVQ以改善此種狀況！
手寫數字辨識上，同一數字每個人寫出來不盡相同，在SOM聚類過程中，常發生分類錯誤的情形  為克服聚類上映射錯誤的情形，結合LVQ以改善此種狀況！  假定某樣本的向量空間經 SOM映射後，分為 A、B、C 三個群集 SOM映射 實際 映射 A1 A C B1 B C1 台大生工系水資源資訊系統研究室

31 第六節 應用實例 台大生工系水資源資訊系統研究室

32 的分布如圖6.13，其關係為 、 ， 在區間產生約 1100 個點當作 10×10 的 SOM 網路的訓練範例輸入點。
的分布如圖6.13，其關係為 、 ， 在區間產生約 1100 個點當作 10×10 的 SOM 網路的訓練範例輸入點。 圖6.13 z1 與z2 分布圖 台大生工系水資源資訊系統研究室

33 (1) 在資料點中心位置（0.97,1.19）附近產生微擾動的亂數值，並以此初始化網路連結權重，如圖6.14所示。
(1) 在資料點中心位置（0.97,1.19）附近產生微擾動的亂數值，並以此初始化網路連結權重，如圖6.14所示。 (2) 將1100個點資料代入10×10的網路中，進行連結權重修正與訓練，當拓樸結構形成且網路連結權重修正值的改變很小時，即網路已達收斂。當資料點越密的區域，就有越多的神經元來描述該區域 台大生工系水資源資訊系統研究室

34 以 1～0 十個數字（如圖 6.16 所示，圖中顯示十個阿拉伯數字以空白及黑填的方式，儲存在 9×4 的方格上）來訓練 3×3 的SOM網路。 圖6.16 以9×4的方格來表示1～0十個數字 台大生工系水資源資訊系統研究室

35 將 9×4 的矩陣改寫為 36×1 的向量，數字「3」的輸入方式可表示為
(1) 輸入資料處理 將 9×4 的矩陣改寫為 36×1 的向量，數字「3」的輸入方式可表示為 x3 = [ ]T 台大生工系水資源資訊系統研究室

36 (2)本例使用 3×3 的 SOM 網路進行訓練後的結果，圖中可明顯地看出9個神經元已將10個數字表現於其連結權重
(2)本例使用 3×3 的 SOM 網路進行訓練後的結果，圖中可明顯地看出9個神經元已將10個數字表現於其連結權重  因為只有 9個神經元對應10個數字的分類，很明顯地有些數字在神經元上的表現就比較模糊。 台大生工系水資源資訊系統研究室

37 再試著把網路變大，利用4×4的SOM網路進行相同的訓練，
再試著把網路變大，利用4×4的SOM網路進行相同的訓練， 由於有較多的神經元來描述10個數字，所以可以看到有些數字是由2個以上的神經元描述， 有些神經元則是一種介於多個數字間的模糊表現，產生了許多的彈性，但增加了訓練的時間與記憶體的儲藏空間， 何者為佳？應視問題而論了。 台大生工系水資源資訊系統研究室

38 (2)本例使用 3×3 的 SOM 網路進行訓練後的結果，圖中可明顯地看出9個神經元已將10個數字表現於其連結權重
(2)本例使用 3×3 的 SOM 網路進行訓練後的結果，圖中可明顯地看出9個神經元已將10個數字表現於其連結權重  因為只有 9個神經元對應10個數字的分類，很明顯地有些數字在神經元上的表現就比較模糊。 台大生工系水資源資訊系統研究室

39 設計LVQ網路來區分以下五組的三維空間向量，此五組向量分別屬於類別1與類別2。
設計LVQ網路來區分以下五組的三維空間向量，此五組向量分別屬於類別1與類別2。 向量 類別 　1 　2 台大生工系水資源資訊系統研究室

40 學習速率以 （n 為演算迭代次數）函式逐漸降低。
先選用前二組向量 x1 與 x2 做為 LVQ 網路的初始權重 w1 和w2，而 w1 與 w2 所代表的，則為分類結果為 1 與分類結果為 2 的權重值。接著我們將已知的5組向量與分類結果做為LVQ網路的訓練資料，並訂定初始學習速率為0.1，且 學習速率以 （n 為演算迭代次數）函式逐漸降低。 經過5000代的迭代運算（權重隨著迭代次數增加逐漸收斂，如圖6.19）之後，我們可以得到權重 w1 與 w2 的結果為： w1=[ 1 , , ]T 、 w2=[ – , 1 , ]T 台大生工系水資源資訊系統研究室

41 圖6.19 在訓練階段LVQ網路連結權重收斂趨勢圖
圖6.19 在訓練階段LVQ網路連結權重收斂趨勢圖 台大生工系水資源資訊系統研究室

42 第七節 SOM之其他應用 6.7.1 手寫數字辨識系統 手寫數字辨識系統的演算法，一般可分為兩類： 統計方法（statistical）
6.7.1 手寫數字辨識系統 手寫數字辨識系統的演算法，一般可分為兩類： 統計方法（statistical） 包含樣板比對、點密度量測、字跡的軌跡等 語句方法（syntactic） 由數字的輪廓、骨架來判定，如字型的接合點、凹凸段及筆觸 類神經網路的演算法較偏向統計方式。 與其他演算模式相較下，類神經網路中的 SOM 模式在樣本辨識問題上具有強大的處理能力。 台大生工系水資源資訊系統研究室

43 6.7.2 預測電力負載 為了研究氣候變化對耗電量的影響，Beccali（2004）結合了非監督式學習（SOM）與監督式學習（BP）的類神經網路，用來預測未來 24 小時的都市近郊電力負載。採用了 2001 ~ 2003 年氣象資料如：溫度，相對濕度，太陽輻射等，及供應給義大利巴勒莫鎮（Palermo）電力負載歷史資料，做為類神經網路之訓練資料。 電力負載輸入變數共有 622 筆，用五組不同拓樸層大小的 SOM（8 × 8; 10 ×10; 12 ×12; 14 ×14; 16 ×16）來比較，採隨機產生初始權重值，鄰近區域之形狀為六角形，鄰近半徑由5降至1，學習速率則由0.01降至0.001（隨著迭代次數增加而做適當的調整）。結果表現最佳的模式為14 ×14之SOM網路，即196個神經元，迭代次數為1800次。 經 SOM 聚類的電力負載資料，結合氣象資料(溫度、相對溼度、太陽輻射)後，利用 BPNN 預測未來 24 小時都市近郊之電力負載。 台大生工系水資源資訊系統研究室

44 6.7.3 醫療影像校準 在醫學領域裡，常見的X射線（X-RAY）、電腦斷層造影（CT）、磁振造影（MRI）、正子斷層造影（Positron Emission Tomography，PET）等，皆為輔助醫師診斷疾病的有力工具，特別是若將MRI、PET、CT等影像資訊彼此互補，做一校準動作並重疊顯示，即「醫療影像校準」，可獲得更多更精確的資料，提高病症辨識率。近年來將SOM類神經網路其聚類的特性應用於醫療影像比對和影像校準的研究也如雨後春筍，多不勝數，又近十年來電腦硬體技術的突飛猛進，現今己經可運用於臨床上。。 Coppini et al.（2004）以 SOM 類神經網路做影像比對，將網路輸入及輸出部分，分別命名為刺激影像和目標影像，透過 Kohonen’s 演算法，將每一個 SOM 的神經元對應至每一個目標影像的像素，採用128×128大小的 SOM 類神經網路，迭代次數 10 萬次。結果顯示 SOM 對於經過大範圍的影像轉換，包括彷射轉換和局部變形等，有良好的比對結果。 台大生工系水資源資訊系統研究室

45 本章重點回顧 監督式學習與非監督式學習的不同，在於學習過程是否有實際的正 確值可供比對
SOM輸出層的神經元會根據輸入向量的特徵，以有意義的拓樸結構 展現在輸出空間中，所產生的拓樸結構圖可以反應輸入向量本身的 特徵 LVQ 網路最大的特色在於它是屬於監督式、競爭性學習網路，因此， 對於每一筆輸入樣本都應該要有相對應的實際輸出值，而這一筆實 際輸出值就是該輸入向量所隸屬的類別。 台大生工系水資源資訊系統研究室

46 本章習題 6.1 下表為 10 個二維特徵向量 將這10個特徵量以（x, y）座標型式畫在圖上，並作簡單的聚類。
一SOM 網路有 3×3 的輸出單元，如下圖所示，若其初始權重如下表所示，將初始權重以（x, y）座標型式畫在圖上。 10個特徵向量 9個初始權重 X1 X2 1 1.6 0.7 2 0.2 3 0.9 0.6 4 1.8 1.9 5 6 0.1 1.2 7 8 0.8 9 0.3 10 1.3 X1 X2 1 1.1 1.2 2 1.3 1.4 3 0.8 4 0.5 0.3 5 1.6 0.9 6 1.8 7 0.6 8 0.2 9 台大生工系水資源資訊系統研究室

47 學習速率為1.0，鄰近半徑為2.0，採逐例學習，將第一範例（1.6 , 0.7）代入網路學習時，找出優勝單元。 計算權重更新的改變量。
計算其餘範例代入網路訓練後的權重改變量。 6.2 試說明監督式學習與非監督式學習的不同，並各舉一代表性的類神經網路。 6.3 試以不同大小的SOM網路，將下圖英文字母進行分類與辨識。 台大生工系水資源資訊系統研究室

48 試結合 33 的 SOM 網路與 LVQ 網路，對下圖之手寫數字進行分類與辨識。
6.4 試結合 33 的 SOM 網路與 LVQ 網路，對下圖之手寫數字進行分類與辨識。 （提示：可自行設計數字的矩陣表示方式，如第一個圖是 9  4 的矩陣可轉換成 36 個向量；或如第二個圖是 18  8 的矩陣可轉換成 144 個向量。當然，若是網格點越細密，對於分類與辨識將有越大的幫助） 台大生工系水資源資訊系統研究室