第五章 輻狀基底函數 類神經網路 類神經網路

5 章節目錄 第一節 序論 第二節 RBF網路架構 第三節 RBF中心點選取法 第四節 RBF學習演算法 第五節 應用實例 第六節 其他應用 第一節 序論 第二節 RBF網路架構 第三節 RBF中心點選取法 第四節 RBF學習演算法 第五節 應用實例 第六節 其他應用 本章重點回顧 本章習題 台大生工系水資源資訊系統研究室

第一節 序 論 輻狀基底函數類神經網路 ( Radial Basis Function ANN ) 或稱為半徑式類神經網路 第一節 序 論 輻狀基底函數類神經網路 ( Radial Basis Function ANN ) 或稱為半徑式類神經網路 特質主要在於模擬大腦皮質層軸突的局部調整功能 為基本前饋式類神經網路 以函數逼近的方式來建構網路，最早衍生於解決多變數的內插問題， 後由Powell(1987)加以發展，以不規則位置的資料點，求得相對應的輻狀基底函數， 之後陸續有許多學者也提出類似理論，解決內插問題與近似的理論。 台大生工系水資源資訊系統研究室

其可視為在解決高維度空間的曲線調適問題，其學習過程即是在多維空間中找尋適切之曲面，而此曲面能利用統計原理經由訓練資料進行最佳的調適，以使訓練資料與曲面間之誤差達到最小。 以降雨為例： 由一個雨量資料 P經 RBFNN 所建構之降雨－逕流模式 台大生工系水資源資訊系統研究室

… … RBF類神經網路每一層所扮演的角色各有不同… 輸入層→輸入資料與網路連結的介面層 1 2 3 4 5 輸入層 隱藏層 … … 輸入層 隱藏層 台大生工系水資源資訊系統研究室

… … 隱藏層→僅一層，將輸入經非線性轉換至隱藏層 （將輸入空間進行非線性映射到隱藏空間） 1 2 3 4 5 輸入層 隱藏層 C … … 輸入層 隱藏層 台大生工系水資源資訊系統研究室

y 1 2 3 4 5 … … 輸出層→扮演著將隱藏層的輸出進行線性組合(或線性映射)獲得輸出值的角色 輸入層 隱藏層 C … … 輸入層 隱藏層 台大生工系水資源資訊系統研究室

高維度空間的範例分類(pattern-classification)問題，比低維度空間更符合線性分離趨勢，因此我們經常會建構高維度隱藏空間的 RBFNN，即隱藏層神經元個數較多。 ◆ 模擬函數 Z = cos(3x)sin(2y) 共121筆輸入 隱藏層神經元 2個 藍色為函數值 紅色為RBF推估值 台大生工系水資源資訊系統研究室

另一方面，由於隱藏層神經元的個數，會直接影響網路建構輸入與輸出間映射關係的能力，愈高維度的隱藏層空間將可帶來愈精確的近似推估值(Mhaskar, 1996; Niyogi和Girosi, 1996)。 隱藏層神經元 8個 藍色為函數值 紅色為RBF推估值 ◆模擬函數Z = cos(3x)sin(2y) 共121筆輸入 台大生工系水資源資訊系統研究室

第二節 RBF 網路架構 屬於基本的前饋式類神經網路，其架構包含了輸入層、單一隱藏層及輸出層。 台大生工系水資源資訊系統研究室

當訓練範例資料輸入網路後，直接由輸入層將輸入向量傳給隱藏層中的每個輻狀基底函數，也就是計算輸入向量與隱藏層各神經元中心點的距離後，經函數轉換獲得隱藏層各神經元的輸出。 cj 表隱藏層第j 個神經元中心點 表輻狀基底函數 表示x與cj間之歐氏距離 台大生工系水資源資訊系統研究室

將隱藏層的輸出值經加權傳至輸出層即可求得網路輸出值。 y 為輸出層的輸出值， 為隱藏層第j個神經元至輸出層的權重值， 為隱藏層第j個神經元的輸出值。 台大生工系水資源資訊系統研究室

輻狀基底函數 的型式 (1) 線性函數 (2) 三次函數 (3) 薄平面曲線函數 (4) Duchon多變數曲線 輻狀基底函數 的型式 (1) 線性函數 (2) 三次函數 (3) 薄平面曲線函數 (4) Duchon多變數曲線 台大生工系水資源資訊系統研究室

(5) 高斯函數 (6) 二次多變數函數 (7)二次多變數倒函數 → 本章所採用的為”高斯函數” 台大生工系水資源資訊系統研究室

第三節 RBF 中心點選取法 中心點選取之重要原因 RBF 並沒有特定的方法可用來決定隱藏層神經元的個數M、每個神經元的中心點cj以及標準偏差σj。因此，建構RBFNN一般採用複合式學習法，即前階段採非監督式學習選取中心點，而後階段採監督式學習調整連結權重向量。 中心點選取之重要原因 (1) 降低中心點的個數，可有效地降低網路的複雜度，也可以有效地過濾雜訊(noise)； (2) 決定中心點的個數，等於決定了整個網路的大小； (3) 中心點的初始位置，對於網路訓練的收斂速度與穩定性有著相當大的影響。 台大生工系水資源資訊系統研究室

在前階段非監督式學習中，採用中心點選取法，也就是在選取中心點的過程，同時決定了隱藏層神經元的個數與位置。可分為： 隨機選取 聚類法(clustering)選取： K-Means聚類法、Fuzzy C-Means聚類法、模糊最小-最大分類法、模糊減法聚類法、山型聚類法等(CH07) 非監督式選取 垂直最小平方法 台大生工系水資源資訊系統研究室

5.3.1 隨機選取法 RBF中心點選取最簡單的方法就是從訓練範例資料點，隨機選取固定個數的中心點(Haykin, 1999) 。 為了避免造成所有的輻狀基底函數過度陡峭或過度平緩，建議採用標準偏差值，即 式中m1為中心點個數 dmax為所有中心點間最大的距離值 輻狀基底函數採高斯函數 台大生工系水資源資訊系統研究室

須備大量的訓練範例資料才能夠經由隨機選取，獲得具有代表性的中心點。 其缺點有二： 須備大量的訓練範例資料才能夠經由隨機選取，獲得具有代表性的中心點。 當輸入空間範圍很大的時候，選取的中心點也必須夠多才足具代表性。 台大生工系水資源資訊系統研究室

5.3.2 垂直最小平方法(OLS) OLS是由Chen等人(1991)提出的方法，其中心點選取的主要概念是將所有訓練範例的輸入點皆視為潛在的中心點，當加入一個新的中心點時，網路輸出誤差值便會減少。 OLS選取中心點的停止標準為誤差值達到可接受的程度即可。 演算方法根據著名的 Gram-Schmidt 垂直理論。 台大生工系水資源資訊系統研究室

Gram-Schmidt 垂直理論 U = SA 將一組ui的向量（以 U 矩陣表示，   ），轉換成一組垂直基底向量si (orthogonal basis)(以 S 矩陣表示， )，使得垂直基底向量si涵蓋的空間與非垂直基底向量ui涵蓋的空間相同。 ◆ 利用Cholesky分解法表示 U 矩陣 U = SA 其中 是上三角矩陣， 為正對角矩陣 台大生工系水資源資訊系統研究室

先將 設定給 ；其次，為了求得 ，且 必須垂直 ，先計算 (如下左式)，代入下右式後，可求得 。 圖為三維度空間中，將 U 矩陣 轉換成 S 矩陣的示意圖 先將 設定給 ；其次，為了求得 ，且 必須垂直 ，先計算 (如下左式)，代入下右式後，可求得 。 台大生工系水資源資訊系統研究室

垂直最小平方法(OLS) 推估值 觀測值 將訓練範例所有資料點代入(5-3)式求得網路輸出值，以矩陣形式表示為 (5.17) 訓練範例資料目標輸出值可表示如下 觀測值 (5.18) 台大生工系水資源資訊系統研究室

, 利用最小平方法可求得 的最小值（詳見5.4.1節） W的最佳解 為 網路輸出值為 利用最小平方法可求得 的最小值（詳見5.4.1節） W的最佳解 為 (5.19) 網路輸出值為 (5.20) 可利用 Gram-Schmidt 垂直理論將輻狀基底函數 分解成 (5.21) , 台大生工系水資源資訊系統研究室

故（5.18）式可改寫成（5.22）式 上式中 由最小平方法可得 為（5.23）式和（5.24）式 為 S 的 pseudo inverse (5.22) 上式中 由最小平方法可得 為（5.23）式和（5.24）式 (5.23) 為 S 的 pseudo inverse (5.24) 台大生工系水資源資訊系統研究室

是垂直基底向量矩陣，所以目標輸出值d的平方和可表示為 (5.25) (5.25)等式右邊中之計算方式又可表為 台大生工系水資源資訊系統研究室

因此對應第p個中心點時，誤差下降率(error reduction ratio)為 中心點的選取流程是從訓練範例資料輸入點中，逐漸挑出誤差下降率最大值 的點，並將其累加，直到滿足所設定的正確率為止 台大生工系水資源資訊系統研究室

OLS 計算流程 1. 先計算input各組的距離來計算 s 2. 接著計算ψ值 3. 當 4. 當 計算 5. 把(4)帶入(3)後，再找出 直到 台大生工系水資源資訊系統研究室

第四節 RBF 學習演算法 ★ RBFNN架構最重要的部分是 →隱藏層函數的個數 & 中心點的選取 不同中心點的選取方法也影響到中心點的位置及個數 學習的策略也會因中心點的選取方法不同而有所不同 學習策略都是以求得誤差的最小平方和為目標，可分為只修正輸出層的參數及修正整個網路所有參數。 (LMS法) (坡降法、最陡坡降法、牛頓法…) →修正輸出層參數、隱藏層中心點的位置與標準偏差… 台大生工系水資源資訊系統研究室

5.4.1 利用最小平方法求權重向量 再參數修正時，最簡單的做法是先設定各參數值(ci、σi等) ，僅修正輸出值權重wj。 假設d(p)是第p個訓練範例資料的目標輸出值， y(p)是輸出層在第p個訓練範例資料的網路輸出值， e(p)是第p個訓練範例資料之目標輸出值與網路推估值的誤差。 台大生工系水資源資訊系統研究室

e(p)等於零時，也就是網路能夠完全正確地預測第p個訓練範例資料之目標輸出值，因此，在網路的訓練與修正階段，我們希望能夠對於整個訓練範例資料獲得最小誤差值，即E值最小。 台大生工系水資源資訊系統研究室

固定輻狀基底函數，調整連結權重向量 步驟1：從訓練範例資料的輸入向量中，選取 RBFNN 的隱 藏層各神經元(基底函數)的中心點，且中心點的個 數需足以涵蓋輸入向量所分布的空間； 步驟2：依所選取的中心點及(5.11)式，計算基底函數的標 準偏差； 步驟3：依目標輸出值與(5.19)式，求取網路的最佳連結權 重向量值W *； 步驟4：依(5.20)式可計算網路輸出值。 台大生工系水資源資訊系統研究室

5.4.2 序率坡降法(SGA) SGA(Ham, 2001)是以最陡坡降法的觀念搜尋瞬時的目標函數如下式，使修正 RBFNN 中的所有參數：包括隱藏層中心點位置、輻狀基底函數的形狀(或)以及輸出層的權重，故可視為一種線上學習演算法。 台大生工系水資源資訊系統研究室

演算法與推導過程與第四章第三節誤差倒傳遞演算法相似，即分別使 因此網路中的 、 、 修正公式如下式 (5.31) (5.32) (5.33) 台大生工系水資源資訊系統研究室

利用序率坡降法調整 RBFNN 參數（含 c, σ, w）之主要程序 步驟1：從訓練範例資料的輸入向量中，隨機選取中心點； 步驟2：由所選取的中心點及(5.11)式計算基底函數的標準 偏差值； 步驟3：隨機設定連結向量的初始值； 步驟4：依輸入向量資料，計算網路輸出值； 步驟5：計算網路輸出值與目標輸出值的誤差來更新網路參 數值， (1) 以(5.31)式更新權重向量 w， (2) 以(5.32)式更新基底函數的中心值 c， (3) 以(5.33)式更新基底函數的標準偏差 σ； 步驟6：檢測網路訓練是否已達收斂條件，如果尚未收斂， 則回到步驟4。 台大生工系水資源資訊系統研究室

第五節 應用實例 台大生工系水資源資訊系統研究室

以RBFNN模擬與推估函數 ，x, y的範圍設定為 ，隨機產生400個點，其中300個點當作訓練資料，100個點當作驗證資料。   以RBFNN模擬與推估函數 ，x, y的範圍設定為 ，隨機產生400個點，其中300個點當作訓練資料，100個點當作驗證資料。 (a) 使用 OLS 選取中心點，正確率為0.8，並利用LMS訓練 RBFNN的權重向量。 (b) 使用隨機選取法，並利用 LMS 訓練 RBFNN 之權重向 量，建構出RBFNN，其中心點個數與 (a) 相同。 (c) 比較上述兩種方法於函數模擬及推估上之效果。 台大生工系水資源資訊系統研究室

利用OLS從300個訓練範例資料點選取16個中心點   (a)利用OLS決定中心點個數及選取中心點，正確率設定為0.8， 本例題  = 0.159，選取中心點個數為16 利用OLS從300個訓練範例資料點選取16個中心點 台大生工系水資源資訊系統研究室

(i)將訓練資料代入網路計算輸出結果，得RMSE=0.0203   (i)將訓練資料代入網路計算輸出結果，得RMSE=0.0203 300 個訓練資料目標輸出值以－表示，網路輸出值以 × 表示 300 個訓練資料目標輸出值以○表示，網路輸出值以 × 表示 台大生工系水資源資訊系統研究室

(ii)將驗證資料代入網路計算輸出結果，得RMSE=0.0212   (ii)將驗證資料代入網路計算輸出結果，得RMSE=0.0212 100個驗證資料目標輸出值以 － 表示，網路輸出值以 × 表示 100 個驗證資料目標輸出值以 ○ 表示，網路輸出值以 × 表示 台大生工系水資源資訊系統研究室

利用OLS從300個訓練範例資料點選取16個中心點   (b) 隨機選取中心個數設為16，然而因隨機選取，每次選擇的中 心點皆有所不同，亦使得有所差異。 利用OLS從300個訓練範例資料點選取16個中心點 台大生工系水資源資訊系統研究室

(i)將訓練資料代入網路計算輸出結果，得RMSE=0.636   (i)將訓練資料代入網路計算輸出結果，得RMSE=0.636 300 個訓練資料目標輸出值以 － 表示，網路輸出值以 × 表示 300 個訓練資料目標輸出值以 ○ 表示，網路輸出值以 × 表示 台大生工系水資源資訊系統研究室

(ii)將驗證資料代入網路計算輸出結果，得RMSE=0.1998   (ii)將驗證資料代入網路計算輸出結果，得RMSE=0.1998 100 個驗證資料目標輸出值以 － 表示，網路輸出值以 × 表示 100 個驗證資料目標輸出值以 ○ 表示，網路輸出值以 × 表示 台大生工系水資源資訊系統研究室

  (c) 上述結果顯示： (i) 以OLS為中心點選取法，配合LMS訓練RBFNN之權重，可獲致非常一致的模擬與推估函數值； (ii) 以隨機選取固定個數之中心值，配合LMS訓練RBFNN之權重的方式，可能因中心點選取的個數不足或選取的中心點不恰當，而無法像OLS一樣有效地選取中心點，造成模擬與推估的函數值皆有明顯誤差。 台大生工系水資源資訊系統研究室

  在1977 年Mackey和Glass發表了一篇重要的論文，利用一階微分-延遲方程式（first-order differential-delay equations）作為生理學系統之模式，（5.34）式即為著名的Mackey-Glass方程式，為一非線性延遲微分方程式；此式在不同的 值呈現不同的物理行為，若 值小是一種週期性的現象，而 值大（ ）則顯現出混沌現象；而混沌時間序列Mackey-Glass序列（ ）經常被廣泛地運用於類神經網路與模糊邏輯理論之各種模式準確度的檢測標準。 （5. 34） 台大生工系水資源資訊系統研究室

以此時間序列為RBFNN模式之可行性與精確度進行檢測，模式之輸入變數為 ，輸出變數為 。   以此時間序列為RBFNN模式之可行性與精確度進行檢測，模式之輸入變數為 ，輸出變數為 。 (a) 使用OLS選取中心點，正確率為0.9，並利用LMS訓練 RBFNN的權重向量。 (b) 使用隨機選取法選取20個中心點，並利用SGA來修正輻 狀基底函數的中心點與標準偏差、連結權重。 (c) 比較以上兩種方法在中心點位置的不同及其影響。 台大生工系水資源資訊系統研究室

利用OLS從Mackey-Glass時間序列之500個訓練範例資   (a) 利用OLS決定中心點個數及選取中心點，正確率設定為0.9， 本例題  = 0.0527，選取中心點個數為83 。 利用OLS從Mackey-Glass時間序列之500個訓練範例資 台大生工系水資源資訊系統研究室

(i)將訓練資料代入網路計算輸出結果，得RMSE=0.0451   (i)將訓練資料代入網路計算輸出結果，得RMSE=0.0451 訓練範例資料（時間從 118 到 617 ）與OLS-RBFNN之網路推估值以及其推估誤差 訓練範例資料（時間從118到617）目標輸出值以○表示，OLS-RBFNN之網路推估值以 × 表示 台大生工系水資源資訊系統研究室

(ii)將驗證資料代入網路計算輸出結果，得RMSE=0.0424   (ii)將驗證資料代入網路計算輸出結果，得RMSE=0.0424 驗證範例資料（時間從 618 到 1117 ）與OLS-RBFNN之網路推估值以及其推估誤差 驗證範例資料（時間從618到1117）目標輸出值以○表示，OLS-RBFNN之網路推估值以 × 表示 台大生工系水資源資訊系統研究室

利用隨機選取從 Mackey-Glass 時間序列之 500 個訓練範   (b) 隨機選取中心個數設為20，並利用SGA來修正輻狀基底函數 的中心點與標準偏差、連結權重 。 利用隨機選取從 Mackey-Glass 時間序列之 500 個訓練範 台大生工系水資源資訊系統研究室

將訓練資料代入網路計算輸出結果，得RMSE=0.0.0052   將訓練資料代入網路計算輸出結果，得RMSE=0.0.0052 訓練範例資料（時間從118到617）與OLS-RBFNN之網路推估值以及其推估誤差 訓練範例資料（時間從118到617）目標輸出值以○表示，OLS-RBFNN之網路推估值以 × 表示 台大生工系水資源資訊系統研究室

(ii)將驗證資料代入網路計算輸出結果，得RMSE=0.0052   (ii)將驗證資料代入網路計算輸出結果，得RMSE=0.0052 驗證範例資料（時間從618到1117 ）與OLS-RBFNN之網路推估值以及其推估誤差 驗證範例資料（時間從618到1117）目標輸出值以○表示，OLS-RBFNN之網路推估值以 × 表示 台大生工系水資源資訊系統研究室

  (c) 上述結果顯示： (i)以OLS為中心點選取法配合LMS訓練RBFNN之權重，可獲致不錯的推估結果，但仍有許多推估值與目標輸出值有較大差異，且需要相當數量的中心點（83個），才能達到設定的正確率與誤差容忍度，相較之下，相當不經濟； (ii)以隨機選取法，配合SGA修正RBFNN的中心點位置、標準偏差及權重的方式，可獲致相當不錯的推估值，且所需的中心點數量僅20個，因此，我們可以知道SGA的確可以有效地降低中心點數量的需求，再透過參數調整使得RBFNN有更好的表現，使得其RMSE能夠遠小於OLS所獲得的結果。 台大生工系水資源資訊系統研究室

第六節 其他應用 5.6.1 電力系統故障分析 Mahanty and Gupta(2004) 運用RBF 研究傳輸線故障情況的分類及故障位置之預測。瞬時電流(電壓)及各種影響電流之因子(電阻、起始端角度等)被應用為類神經網路的輸入資訊，針對故障分類(Fault classifier)及故障位置(Fault locator)兩部分做探討。結果顯示RBFNN根據不同型式的資料訓練後，可有效地分辨出不同的故障情況，此外於故障發生位置的預測也具相當的成果。 台大生工系水資源資訊系統研究室

5.6.2 股價預測 Shah (1998) 提出以 RBFNN 預測紐西蘭股票市場的趨勢。在架構 RBFNN 模式中，輻狀基底函數採高斯函數，而中心點之選取方式分別利用垂直最小平方法 (OLS) 及遺傳演算法 (GA) 優選神經元。 文中以不同股票指標，包含 S&P500、 All-Order、TWI、NZ-US X-Rate、90-Day Rate、10-Year Rate等 6 項因子，將這些因子做為模式之輸入項，而 NZSE-40 指標為輸出項；測試結果證明以相關影響因子所架構之 RBF+OLS或 RBF+GA兩種模式，針對 NZSE-40之預測是成功且有效的。 台大生工系水資源資訊系統研究室

5.6.3 病源體篩選 Yates 等 (2005) 運用四極質譜儀( Quadrupole Mass Spectrometer, QMS )與電子化之區域辨認演算，分析金黃色葡萄球菌 (S. aureus) 之頂空(headspace)，目的在識別此兩種病原體中所含之抗體類型。經由質譜儀取得實驗資料後，透過輻狀基底函數類神經網路模擬分析，試驗針對金黃色葡萄球菌進行訓練及驗證辨識所含抗菌屬於含劇毒之 MRSA 或無害的 NCTC，模擬結果顯示以輻狀基底函數類神經網路分析作為辨識因子有極佳的結果。 台大生工系水資源資訊系統研究室

本章重點回顧 輻狀基底函數網路屬於基本的前饋式類神經網路，除了輸入層與輸出層外，RBFNN 只有一層隱藏層，其網路主要概念是在隱藏層上的每個神經元建立輻狀基底函數，扮演著將輸入空間透過非線性映射至隱藏空間的功能，再藉由輸出層的權重，將隱藏空間經線性映射至輸出空間。 在網路的建構上，重點在於決定輻狀基底函數的中心點個數與位置，以及參數調整的學習演算法。 隱藏層輻狀基底函數的中心點選取方法有隨機選取法與垂直最小平方法。 台大生工系水資源資訊系統研究室

本章重點回顧 學習演算法分為： (1) 固定中心點，並以LMS訓練RBFNN之隱藏層到輸 出層的連結權重向量。 （包含各神經元基底函數的中心點、標準偏差及隱 藏層到輸出層的所有連結權重向量）。 台大生工系水資源資訊系統研究室

本章習題 5.1 將一個三維度空間的U矩陣轉換成一組垂直基底向量，且兩者涵蓋 的空 間必須相同，並利用所找到的垂直基底向量來表示 y 向量。 5.2      請證明序率坡降法（SGA）的修正式（5.31）~（5.33）式。 5.3      設計RBFNN近似函數 ；其中 。 （提示：請自行在的範圍內產生500點或更多，將其中任意300點當作訓練範例） (a) 請使用所有的訓練資料點作為 RBF 的中心點，來設計 RBFNN 的架構。 (b) 在訓練資料點中隨機選取 100 點為中心點，來設計 RBFNN 的 架構，並將結果與 (a) 比較。 (c) 利用序率坡降法修正 (b) 的中心點位置，並將結果與(a)(b) 作一 比較。 台大生工系水資源資訊系統研究室

(x, y)的範圍介於 – 4 到 4 之間，試產生729 個點（如x 從 – 4 到 4 之間， 5.4     設計 RBFNN 近似函數 (x, y)的範圍介於 – 4 到 4 之間，試產生729 個點（如x 從 – 4 到 4 之間， 每隔 0.3 產生一值），其中任意 500 點為訓練範例資料，剩餘點則 為驗證資料。 (a) 試由隨機選取法選取不同個數的中心點來建構RBFNN，並比較 訓練與驗證期間的結果。 (b) 試用OLS來決定中心點的個數（正確率設定為 0.5~0.9），並將 不同個數中心點所建構之 RBFNN 的模式結果進行比較。 台大生工系水資源資訊系統研究室

其中 ，產生符合上述函數之三組資料群，分別為訓練 資 料400組、驗證資料200組、測試資料200組。 5.5     設計 RBFNN 近似函數 其中 ，產生符合上述函數之三組資料群，分別為訓練 資 料400組、驗證資料200組、測試資料200組。 (a) 試由隨機選取法選取不同個數的中心點來建構RBFNN，並比較 訓練與驗證期間的結果。 (b) 試用OLS來決定中心點的個數（正確率設定為 0.5~0.9），並將 不同個數中心點所建構之 RBFNN 的模式結果進行比較。 (c) 選用課本上其他六種輻狀基底函數之一，作為 RBFNN的隱藏層 函數，並與上述結果作一比較。 台大生工系水資源資訊系統研究室