倒傳遞類神經網路 2006年3月14日星期二.

Presentation on theme: "倒傳遞類神經網路 2006年3月14日星期二."— Presentation transcript:

1 倒傳遞類神經網路 2006年3月14日星期二

2 簡報大綱 一、多層感知器網路架構 二、類神經網路的學習法則 三、增快學習效率的BPN 四、 BPN的實用層面與探索 五、應用實例
六、其他應用

3 一、多層感知器網路架構 倒傳遞類神經網路的架構為多層感知器（MLP） 前饋式網路
一般使用的學習演算法為誤差倒傳遞演算法 （Error Back Propagation, EBP），簡稱為 BP演算法 監督式學習 （MLP + EBP）稱之為 倒傳遞類神經網路 或 BPN 台大生工系水資源資訊系統研究室

4 倒傳遞類神經網路的發展……… 早期Rosenblatt（1958）發展的感知器僅為單層網路無隱藏層的存在，無法解決某些問題
1982年，Rumelhart、McClelland和他們同事成立了一個PDP（parallel distributed processing）小組 1986年提出著名的倒傳遞學習法，實現多層網路的構想 倒傳遞學習法的提出，使得多層感知器的網路架構得以實現 台大生工系水資源資訊系統研究室

5 倒傳遞類神經網路架構圖 台大生工系水資源資訊系統研究室

6 輸入層與輸出層 用來表現輸入項與輸出值，兩者神經元數目依問題型式而定；
隱藏層 神經元數目：試誤法決定 隱藏層的層數：依問題複雜度由一層增加到數層 活化函數 輸入值由輸入層直接傳入隱藏層，經加權累加後再透過 活化函數轉換可得一輸出值，同理再傳入輸出層 台大生工系水資源資訊系統研究室

7 常使用的活化函數型式 台大生工系水資源資訊系統研究室

8 二、倒傳遞類神經網路的學習法則 有很多學者提出不同的學習方式稱作學習法則(Learning Rule)，在此說明常用的基本學習法則(Basic Learning Rule)。它主要是用梯度降階法(Gadient Descent Method)及鏈鎖律(Chain Rule)，求出各結點的導函數，由此導函數來決定結點內的參數以及網路中的加權值。基本學習法則是P. Werbos在1974年提出的，又稱作Delta學習法則或梯度降階學習法則 (Gradient Descent Learning Rule) 。 Cheng-Hsiung Chiang

9 Cheng-Hsiung Chiang

10 上圖是一個全由固定結點組成的類神經網路， 所以需要學習的參數只有加權值。學習的原理是利用誤差(目標輸出值[Target Output]和實際輸出值[Actual Output]的差)來調整加權值。假設訓練資料集(Training Data Set)只有一筆資料，我們首先定義誤差衡量值(Error Measure)為： Cheng-Hsiung Chiang

11 ti是目標輸出值, oi是實際輸出量, 為了要E使最小， 而定義加權數值改變量如下：
wij是神經元i到神經元j的加權值，η是學習率(Leaming Rate)，其值通常介於[0,1]間。上式表示在負的梯度方向上有最小值。第二層的輸出值可表示為： Cheng-Hsiung Chiang

12 其中 E所以對wji的梯度值為： Cheng-Hsiung Chiang

13 加權值的學習過程，只是將原來的加權值加上其改變量而已 wij = wij + wij
因此可求得 也就是說 加權值的學習過程，只是將原來的加權值加上其改變量而已 wij = wij + wij Cheng-Hsiung Chiang

14 BPN學習演算法程序 台大生工系水資源資訊系統研究室

15 三、增快學習效率的BPN BPN 提升BPN搜尋效率的方法 大量的連結權重參數需要調整 訓練過程，目標函數常會落入局部最小值
慣性項（momentum term）的加入 批次學習 使用變動的學習速率（請見4.4.2之學習速率設定） 不同的轉換函數 不同的目標函數 範例重要性因子 加一隨機擾動量以跳出局部最小值 台大生工系水資源資訊系統研究室

16 1. 慣性項的加入（Zurada, 1992） 其中 及 是目前及下一期之參數改變量，
將慣性項加入原來的權重調整方程式 ： 目前瞬時誤差的最陡坡降方向加上前一次迭代調整值的某一比例 其中 及 是目前及下一期之參數改變量，  則是慣性常數(Momentum Constant) 台大生工系水資源資訊系統研究室

17 加入慣性項的BPN調整二維權重向量之示意圖
對輸入資料中有極端值（outliers）或隨機的不穩定性（如雜訊），可明顯地降低該筆資料在搜尋方向的偏執與衝擊 對平滑的目標函數則可放大在原有搜尋方向的步幅，進而加速達到收斂的情況。 台大生工系水資源資訊系統研究室

18 2. 批次學習（batch learning） 將一批（多組或全部）範例載入後，依次求得每一組的權重改變量，將其累加起來再平均以更新權重值
第 p 個輸入範例所造成的權重值改變量 以批次學習更新權重值的優點有： 效果穩定 具有平滑作用，學習效果佳 適用於細緻複雜的最佳化搜尋方法 缺點或代價為其需要較大量的儲存空間及運算的技巧 台大生工系水資源資訊系統研究室

19 一層隱藏層或兩層隱藏層？（Kecman, 2001）
四、 BPN的實用層面與探索 架構設定條件與限制 一層隱藏層或兩層隱藏層？（Kecman, 2001） 在許多理論研究的結果與工程領域的模擬應用上都顯示，隱藏層的層數不需要超過兩層以上 Hush和Horne（1993）指出 使用兩層隱藏層的網路，各隱藏層只需有少量神經元，可取代使用一層需要數量龐大神經元隱藏層的網路 一般可以使用特定的問題或目標函數來決定哪一種架構比較好 網路大小、訓練時間、精確度以及對硬體的需求 台大生工系水資源資訊系統研究室

20 輸入層與輸出層都可以由問題本身決定隱藏層的神經元個數的多寡對網路有相當重大的影響
隱藏層神經元的個數 輸入層與輸出層都可以由問題本身決定隱藏層的神經元個數的多寡對網路有相當重大的影響 決定網路的參數的多寡， 影響網路描述系統（問題）的能力 過少→ 無法適當描述 過多→ 過度地描述 （Over- fitting） 台大生工系水資源資訊系統研究室

21 網路修剪法 （pruning algorithm）
隱藏層神經元的個數 確定隱藏層神經元個數的常用方法有兩種（Dawson, 2001） 網路修剪法 （pruning algorithm） 先設定大數量的隱藏層神經元個數開始訓練，再逐一減少神經元個數 網路增長法 （constructive algorithm） 先設定小數目的隱藏層神經元個數開始訓練，再逐一增加神經元個數 網路增長法初始設定神經元個數為1，逐一增加神經元個數 台大生工系水資源資訊系統研究室

22 參數設定限制 讓資料平均值在0附近或是使其標準偏差較小， 可將資料正規化（normalize）至 [0.1, 0.9] 的範圍間
輸入項資料處理 讓資料平均值在0附近或是使其標準偏差較小， 搜尋過程中較不容易產生權重發散，造成無限大或負無限大的值出現 讓權重調整的速率相近似 可將資料正規化（normalize）至 [0.1, 0.9] 的範圍間 輸出值的限制 目標輸出值必須考慮到神經元所使用的活化函數特性 建議在學習階段目標輸出值最好介於 0.1 到 0.9 之間。 台大生工系水資源資訊系統研究室

23 根據問題的型態或需求來改變目標函數的型態皆以誤差平方和為函數組合
目標函數的型態與訓練停止標準 根據問題的型態或需求來改變目標函數的型態皆以誤差平方和為函數組合 台大生工系水資源資訊系統研究室

24 學習速率小 學習速率大 收斂過程因此趨緩，但迭代次數就相對地提高； 可加速搜尋效率，但容易造成搜尋過程中，目標函數產生不穩定的振盪情形
學習速率設定 學習速率小 收斂過程因此趨緩，但迭代次數就相對地提高； 學習速率大 可加速搜尋效率，但容易造成搜尋過程中，目標函數產生不穩定的振盪情形 學習速率的設定需多次嘗試，並因問題與訓練範例資料有所不同 在批次學習中，建議使用變動的學習速率提高搜尋效率 台大生工系水資源資訊系統研究室

25 一般建議 連結權重在初始化 應設定很小值的隨機亂數，可以避免網路訓練過程是從一個特定的權重值開始搜尋，而容易落入局部解或需要很多的迭代次數
權重初始化 一般建議 連結權重在初始化 應設定很小值的隨機亂數，可以避免網路訓練過程是從一個特定的權重值開始搜尋，而容易落入局部解或需要很多的迭代次數 針對每一層權重的設定 落在 [–0.5/(此層神經元個數)] 與 [0.5/（此層神經元個數）] 之間均勻分布（uniform distribution）的隨機亂數 針對一層隱藏層的 BPN 先將隱藏層的連結權重設定介於 –0.5 與 0.5 之間的隨機亂數，再進行修正 台大生工系水資源資訊系統研究室

26 五、應用實例 台大生工系水資源資訊系統研究室

27 在多層的類神經網路應用中，倒傳遞類神經網路是最常被用來處理非線性函數映射問題。本例題將以一層隱藏層的倒傳遞類神經網路來模擬函數
(a)產生符合上述函數之三組資料群，分別為訓練資料400組、驗證資料200組與測試資料100組。 (b) 利用 (a) 產生的資料以倒傳遞類神經網路來訓練、驗證及測試函數值。 台大生工系水資源資訊系統研究室

28 隨機產生700組（x,y）資料點 ，將資料分割為訓練、驗證與測試三部分
輸入資料處理 隨機產生700組（x,y）資料點 ，將資料分割為訓練、驗證與測試三部分 台大生工系水資源資訊系統研究室

29 網路架構 (3) 訓練網路 台大生工系水資源資訊系統研究室

30 訓練結果 表4.3 (a)輸入層連結權重值 wji (b)輸出層連結權重wkj 表4.4 網路偏權值bj 台大生工系水資源資訊系統研究室

31 (4) 網路驗證與測試 200個驗證資料目標輸出值之三維立體圖 100個測試資料目標輸出值之三維立體圖 台大生工系水資源資訊系統研究室

32 明渠流場模擬，以倒傳遞類神經網路針對不同坡度與寬深比之明渠流場試驗量測結果，進行流速剖面之模擬，其中影響因子為：渠底坡度（S）、寬深比（B/H）、資料點之高程位置（y/H），以及速度剖面垂線量測之位置（Z），而模式訓練與驗證資料來源取自參考文獻（楊等，2001 & 2002）。 台大生工系水資源資訊系統研究室

33 訓練階段RMSE趨勢圖 訓練資料 驗證資料 台大生工系水資源資訊系統研究室

34 模式推估值與實測資料速度分布圖 台大生工系水資源資訊系統研究室

35 六、其他應用 倒傳遞類神經網路常用於： 1. 分類、診斷 2. 函數推估、預測 3. 訊號處理 4. 非線性控制系統
台大生工系水資源資訊系統研究室