第23章 類神經網路 本章的學習主題  1.類神經網路的基本概念 2.類神經網路之應用 3.倒傳遞類神經網路

Presentation on theme: "第23章 類神經網路 本章的學習主題  1.類神經網路的基本概念 2.類神經網路之應用 3.倒傳遞類神經網路"— Presentation transcript:

1 第23章 類神經網路 本章的學習主題  1.類神經網路的基本概念 2.類神經網路之應用 3.倒傳遞類神經網路
第23章　類神經網路 本章的學習主題  1.類神經網路的基本概念 2.類神經網路之應用 3.倒傳遞類神經網路 4.類神經網路之運算注意事項 5.類神經網路STATISTICA軟體操作範例說明

2 23.1 類神經網路的基本概念 一種計算系統，包括軟體與硬體，它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬，它從外界環境或者其它人工類神經元取得資訊，並加以運算，再輸出其結果到外界環境或者其它人工神經元。

3 23.1 類神經網路的基本概念 圖 生物神經網路結構 圖 人工神經元結構

4 23.1 類神經網路的基本概念 圖 簡單的類神經網路

5 23.1 類神經網路的基本概念 一、類神經網路的分類 (一)依學習策略分類
23.1 類神經網路的基本概念 一、類神經網路的分類 (一)依學習策略分類 1.監督式學習網路 (supervised learning network) 2.無監督式學習網路(unsupervised learning network) 3.聯想式學習網路(associate learning network) 4.最適化應用網路(optimization application network)

6 23.1 類神經網路的基本概念 (二)依網路架構分類
23.1 類神經網路的基本概念 (二)依網路架構分類 1. 向前式架構：神經網路由神經元分層排列，形成輸入層、隱藏層、輸出層。每一層只接受前一層的輸出作為輸入，稱前向式架構。 圖 前向式架構

7 23.1 類神經網路的基本概念 2. 回饋式架構：即輸出層神經元的資訊回饋到輸入層，或層內各神經元間有連結者，或神經元不分層排列，只有一層，各神經元均可相互連結者稱回饋式架構。 圖 回饋式架構

8 23.1 類神經網路的基本概念 二、類神經網路運作範例 類神經網路的運作範例大致上分為三種： (一)訓練範例
23.1 類神經網路的基本概念 二、類神經網路運作範例 類神經網路的運作範例大致上分為三種： (一)訓練範例 1. 監督式訓練範例：由代表範例特徵的輸入變數資料，與代範例預 測或分類的目標輸出變數資料共同組成。 2. 無監督式訓練範例：由代表範例特徵的輸入變 數資料組成。 3. 聯想式訓練範例：由代表範例特徵的狀態變數資料組成，該變數 值既是輸入亦是輸出，以替代方式決定變數值。 未學習網路 + 訓練範例 學習演算 已學習網路 加權值

9 23.1 類神經網路的基本概念 (二)測試範例 (三)待推案例
23.1 類神經網路的基本概念 (二)測試範例 測試範例為評估已學習網路之學習效果所使用的範例，其形式與訓練範例相同。該範例只使用回想演算法得到推論輸出值，之後與目標輸出值比較，以評估網路學習的精確度。 (三)待推案例 網路學習完後，可用網路推論待推案例的結果。待推案例沒有目標輸出變數資料。網路根據待推案例之輸入變數資料，透過回想演算法，推論出輸出值。 已學習網路 + 測試範例 回想演算法 評估 精度 已學習網路 + 待推案例 回想演算法 推論 推論輸出值

10 23.1 類神經網路的基本概念 三、類神經網路的基本架構 類神經網路的基本架構可分三個層次： (一)處理單元的作用可用三個函數來說明
23.1 類神經網路的基本概念 三、類神經網路的基本架構 類神經網路的基本架構可分三個層次： (一)處理單元的作用可用三個函數來說明 (二)層(layer) (三)網路 (network)

11 23.1 類神經網路的基本概念 (一)處理單元的作用可用三個函數來說明
23.1 類神經網路的基本概念 (一)處理單元的作用可用三個函數來說明 1. 集成函數(summation function)：將輸入變數 資料或前一層神經元之輸出與連接加權值加以 綜合，即 I = f (W, X)。常用的函數包括加權乘 積和與歐氏距離等。 2. 作用函數(activity function)：將集成函數值與 神經元狀態加以綜合，通常是直接使用集成函 數輸出，即netjn = Ijn

12 23.1 類神經網路的基本概念 3. 轉換函數(transfer function)：將作用函數輸出值 轉換成處理單元輸出，即Yj = f (netj)。常用函數 包括硬限函數、線性函數與非線性數函數。

13 23.1 類神經網路的基本概念 (二)層(layer) 若干個具有相同作用的處理單元集合成「層」。 層本身有三個作用：
23.1 類神經網路的基本概念 (二)層(layer) 若干個具有相同作用的處理單元集合成「層」。 層本身有三個作用： 1.正規化輸出：將同層中的處理單元的原始輸出值加以正規化， 作為「層」的輸出。 2.競爭化輸出：在同層的所有處理單元之原始輸出值中，選擇 一個或數個最強值的處理單元，令其值為1，其餘為0後， 再作為「層」的輸出。 3.競爭化學習 ：在同層的所有處理單元之原始輸出值中，選擇 一個或數個最強值的處理單元，網路將只調整與該單元相連 的下層網路連結。

14 23.1 類神經網路的基本概念 (三) 網路 (network) 網路本身有兩種作用：
23.1 類神經網路的基本概念 (三) 網路 (network) 網路本身有兩種作用： 1. 學習過程(learning)：從範例中學習，以調整網路連接加權值的過程。 2. 回想過程(recalling)：以輸入資料決定網路輸出資料的過程。

15 23.2 類神經網路之應用 類神經網路的應用極為廣泛，在工業與工程方面的應用 包含工業與工程資料分析、工業與工程故障診斷、工業與工 程決策諮詢、工業與工程製程監控、工業與工程最適化問題 求解。 在商業與金融方面的應用包括商業決策、商業預測、商 業分析；在科學與資訊方面的應用包括醫學疾病診斷、醫學 影像診斷、氣象預測、化學儀器分析解釋、複雜現象映射與 模式化、感測資料分類、軍事目標追蹤、犯罪行為聚類分析、 性向測驗分析、資料庫聯想搜尋、電腦輔助教學、電腦音樂、 專家系統等。

16 23.2 類神經網路之應用 表 23 - 1 類神經網路架構模式 網路架構 學習策略 向前式架構 回饋式架構 監督式學習 認知機
23.2 類神經網路之應用 表 類神經網路架構模式 網路架構 學習策略 向前式架構 回饋式架構 監督式學習 認知機 倒傳遞網路 (BPN) 機率神經網路 (PNN) 學習向量量化網路 (LVQ) 反傳遞網路 (CPN) 波茲曼機 (BM) 時空樣本識別網路(STPR) 新認知機 (也可作無監督式學習) 無監督式學習 自組織映射圖 (SOM) 自適應共振理論 (ART) 聯想式學習 霍普菲爾網路 (HNN) 雙向聯想記憶網路( BAM) 最適化應用 霍普菲爾—坦克網路 (HTN) 退火神經網路 (ANN)

17 23.3 倒傳遞類神經網路 　　倒傳遞網路是應用一個訓練範例的一輸入值向量X，與一目標輸出向量T，修正網路加權值W，而達到學習的目的。基本原理是利用最陡坡降法的觀念，將誤差函數予以最小化。 誤差函數 Tj=輸出層目標輸出值 Aj=輸出層推論輸出值

18 23.3 倒傳遞類神經網路 一、網路架構 倒傳遞網路在隱藏層與輸出層之非線性轉換函數，最常使用雙彎曲函數，即
23.3 倒傳遞類神經網路 一、網路架構 輸入層：輸入變數資料，該層處理單元數目依問題而定。處理單元之轉換函數為線性函數，亦即 f(x)=x。 隱藏層：表現輸入層處理單元間的交互影響。處理單元之轉換函數為非線性函數。 輸出層：輸出變數，該層處理單元數目依問題而定。處理單元之轉換函數為非線性函數。 倒傳遞網路在隱藏層與輸出層之非線性轉換函數，最常使用雙彎曲函數，即

19 23.3 倒傳遞類神經網路 圖 倒傳遞類神經網路模型

20 23.4 類神經網路運算注意事項 資料的準備—樣本數
23.4 類神經網路運算注意事項 資料的準備—樣本數 若樣本數接近所需估計的權重數時，就會產生過度配適 (over-fitting)的情形，使模型失去通則性 (generalizability)。 樣本數應為5至10倍的連結權重數。 連結權重數未知時： 樣本數則為輸入變數數目的平方值 樣本數≧c×(輸入變數數目×輸出變數數目) 隨機分配樣本為訓練樣本與測試樣本

21 23.4 類神經網路運算注意事項 資料的準備—檢視資料 輸入變數應使用計量資料：對於非計量變數值應重新編碼。 極端值應被仔細地考慮甚至刪除。
23.4 類神經網路運算注意事項 資料的準備—檢視資料 輸入變數應使用計量資料：對於非計量變數值應重新編碼。 極端值應被仔細地考慮甚至刪除。 變數標準化。

22 23.4 類神經網路運算注意事項 定義模型架構 隱藏層層數 一般問題可取一層隱藏層，較複雜的問題則取二層隱 藏層。 隱藏層處理單元數目
23.4 類神經網路運算注意事項 定義模型架構 隱藏層層數 一般問題可取一層隱藏層，較複雜的問題則取二層隱 藏層。 隱藏層處理單元數目 (輸入層單元數+輸出層單元數)/2 (輸入層單元數*輸出層單元數)1/2 若問題複雜度較高，隱藏層單元數目宜多。 若測試範例之誤差值遠高於訓練範例之誤差值，則隱 藏層單元數目應減少，反之，則應增加。

23 23.4 類神經網路運算注意事項 模型估計 在網路的訓練過程中，訓練範例與測試範例的誤差值 均會逐漸降低，但若測試範例的誤差停止下降，甚至 開始上升時，則表示有過度訓練的情形發生，因此研 究者應在測試範例之誤差上升前即停止訓練。

24 23.4 類神經網路運算注意事項 評估模型結果 評估模型包括評估輸出變數的預測或分類水準。在預測的問題上，通常使用誤差均方根來評估模型；在分類的問題中，可利用分類矩陣(classification matrix)來計算出個案被正確分類的機率是多少。

25 23.4 類神經網路運算注意事項 模型效度 最後一步是要確認所找到的解是整體最適且要盡可能的一般化。研究者應該使用不同的處理單元數目去測試，以確定不可能再達到更好的解。

26 模型之評估指標 誤差均方根(RMSE) 絕對誤差平均 (MAD) 絕對百分比誤差平均(MAPE) 誤差平均 (ME) S. D. Ratio R2 1－(S. D. Ratio)

27 23.4 類神經網路運算注意事項 六、使用類神經網路之優缺點 類神經網路的能力可處理複雜的關係，特別是非 線性的關係。 預測及分類。
23.4 類神經網路運算注意事項 六、使用類神經網路之優缺點 類神經網路的能力可處理複雜的關係，特別是非 線性的關係。 預測及分類。 無法針對輸入變數的相對重要性以及變數間的相 關提供解釋。

28 範 例

29 範例結果—類神經網路權重 H1 H2 H3 H4 H5 Threshold -0.5708 -1.0318 -0.2104 0.1838
0.5564 從屬動機(AFM) 1.0144 0.7152 0.0135 權力動機(PM) 0.0231 成就動機(ACM) 0.6255 0.9140 能力(AB) 0.7037 0.1983 0.7491 與公司分享(KS_CO) 0.8147 0.6751 與會員分享(KS_KS) 0.7024 0.2659 0.9349 資訊基礎(IFT) 0.6626 0.7198 0.0337 認同基礎(IDT) 0.4535 0.4382 隱藏層處理單元 行為意圖 (BI) H1 0.4850 H2 H3 H4 H5 0.6034

30 範例結果—各輸入變數之重要程序排序 由敏感度分析可得知，影響「行為意圖(BI)」最重要的變
AFM PM ACM AB KS_CO KS_KS IFT IDT 訓練範例 7 4 3 2 5 8 1 6 測試範例 由敏感度分析可得知，影響「行為意圖(BI)」最重要的變 數為「資訊基礎(IFT)」與「能力(AB)」，次要 變數為「與會員分享(KS_KS)」。

31 範例結果—模式之評估 評估指標 計算方式 類神經網路 誤差均方根(RMSE) 0.646 絕對誤差平均(MAD) 46.26%
絕對百分比誤差平均(MAPE) 10.62% 誤差平均(ME) 0.082 S. D. Ratio 0.619 R2 1－(S. D. Ratio) 0.381 註1：e＝目標輸出值(T)－推論輸出值(A)。 註2：n為樣本數。 註3：Sd表樣本資料之標準差；Se表誤差之標準差