資料採礦與商業智慧 第四章 類神經網路－Neural Net.

Presentation on theme: "資料採礦與商業智慧 第四章 類神經網路－Neural Net."— Presentation transcript:

1 資料採礦與商業智慧 第四章 類神經網路－Neural Net

2 類神經網路－Neural Net 一九五○年代的科學家，為了解決一些較為困難的問題，於是開始思考模仿人類大腦中思考以及運作的方式，其中尤其是模仿神經元的運作，只是剛開始時，對於神經網路的設計並非命名為神經元，而是稱為「感知器(perception)」，感知器也就是神經元的最初始概念與模型，但是當時僅是將其作為一種分類功能的分類器來使用罷了。後續因為瓶頸無法突破，導致類神經網路的技術，一度沈寂了三、四十年，直到一九八○年代才又再度復甦，現在已被廣泛的利用，遍及各領域，其中包括電力使用預測、橋樑破壞預測、行動輸具設計、醫療異常檢核、交通運量預測等。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

3 4.1 類神經網路基本概念 類神經網路 (neural network)，又名為平行分散處理器 (parallel distributed processors)、自我組織系統 (self-organizing systems)、適應系統 (adaptive systems)、類神經網路 (artificial neural networks)等，它使用大量簡單的相連人工神經元來模仿生物神經網路的能力。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

4 4.1 類神經網路基本概念 人工神經元是生物神經元的簡單模擬，它從外界環境或者其它人工神經元取得資訊，並以非常簡單的運算，將輸出其結果到外界環境或者其它人工神經元，以便用於推估、預測、決策、診斷。因為藉著仿照生物神經網路結構的非線形預測模型，而通過學習進行模式識別。 類神經網路是模仿生物神經網路的資訊處理系統，透過使用大量簡單的人工神經元來模仿生物神經網路的能力。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

5 4.1 類神經網路基本概念 1943年，McCulloch & Pits設計出簡易的神經元模型。這時候所設計的神經元被無法提供太多的協助，僅能處理一些較為簡單的問題，因為資訊科技不夠發達，無法迅速並大量的處理資料。 1982年，Hopfield提出霍普菲爾網路(Hopfield neural network, HNN)，證明誤差可以收斂至一局部最小值；1986年Rumelhart等人發展出倒傳遞網路 (back propagation network, BPN) ，使得類神經網路的訓練方式可以避開之前設計上的缺陷，由此開始讓類神經網路又蓬勃的發展起來。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

6 4.1 類神經網路基本概念 類神經網路能夠被廣為使用的原因：
4.1 類神經網路基本概念 類神經網路能夠被廣為使用的原因： 類神經網路本身在理論的建立與模式的開發有了突破，最明顯包括霍普菲爾網路與倒傳遞網路。 解決電腦科學與人工智慧一些難題的需要，如樣本學習、機械學習。 電子、光學等技術的進展提供了實現「神經電腦」的可能性，例如基於VLSI的神經電腦與光神經電腦的誕生。 從現代生理學、認知學、心裡學對生物神經網絡的瞭解，提供了發展新的類神經網路模式的啟示。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

7 4.1 類神經網路基本概念 類神經網路主要的概念就是使用資訊科技去模仿生物神經元處理、傳遞與學習的過程及能力，在目前已知的領域中，我們可以知道人類的大腦中約存在著1011個神經元（或神經細胞），每個神經元約含103個突觸(synapse)，因此在我們的大腦中至少有1014個突觸（神經節）。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

8 4.1 類神經網路基本概念 突觸內儲存的資訊就是生物神經網路中儲存資訊的地方，因此資訊訊號的強度就是生物神經網路需要學習並調整的重點。
4.1 類神經網路基本概念 突觸內儲存的資訊就是生物神經網路中儲存資訊的地方，因此資訊訊號的強度就是生物神經網路需要學習並調整的重點。 人工神經元即是模仿生物神經元的此一架構，以演算法進行簡化的模擬。 人工神經元是最基本的類神經網路單元，又稱為處理單元 (processing element, PE) 或節點 (node)。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

9 4.1 類神經網路基本概念 類神經網路是基於腦神經系統研究所啟發的一種資訊處理技術，它由巨量的神經細胞（或稱神經元）組成，包括：
4.1 類神經網路基本概念 類神經網路是基於腦神經系統研究所啟發的一種資訊處理技術，它由巨量的神經細胞（或稱神經元）組成，包括： 神經核(soma)：神經細胞呈核狀的處理機構。它是神經細胞的核心，其作用，大概是將數突（神經樹）收集到的資訊在此作轉換，再由軸索（神經軸）軸將信號傳送到其它的神經細胞中。 軸索（神經軸）(axon)：神經細胞呈軸索狀的輸送機構，連接在神經細胞核上，用來傳送由神經細胞核與神經細胞間的訊號與資訊。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

10 4.1 類神經網路基本概念 數突（神經樹）(dendrites)：神經細胞呈樹狀的輸出入機構，可分為兩種：輸入神經樹及輸出神經樹。輸入神經樹是用來接收其他神經細胞傳來的信號。而輸出神經樹則是用來傳送信號至其它神經細胞。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

11 4.1 類神經網路基本概念 突觸（神經節）(synapse)：神經樹上呈點狀的連結機構亦稱為神經節。每個神經細胞約有103個神經節。神經節是神經網路上的記憶儲存體，它表示兩個神經細胞間聯結的強度，我們亦稱之為加權值(weight)。突觸的形式有兩種：興奮型和抑制型。假如生物電流流經激發型突觸(excitatory synapse)，則會增加電流流動的脈衝速率(pulse rate)。倘若假如生物電流流經抑制型突觸(inhibitory synapse)，則會降低脈電流流動的脈衝速率。至於影響脈衝速率的因素，主要是輸入訊號的強弱。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

12 4.1 類神經網路基本概念 當外界的各種不同資訊或知覺，透過感官器官接收後，傳遞進神經細胞；而神經細胞的突觸 (synapse) 會將輸入訊號作處理轉換，再經由樹突 (dendrites) 傳遞至細胞核 (soma)，最後軸突 (axon) 傳遞至樹突，作為下一個神經元的輸入訊號。神經細胞樹突是輸入的路徑，突觸訊號轉換是神經鍵或加權值 (weight)，軸突相當於輸出路徑。類神經網路即是許多人工神經元連結組成，進行模仿生物神經網路，而人工神經元是基本類神經網路單元，或稱之為處理單元 (processing element, PE)或節點 (node) (Haykin, 1994)。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

13 4.1 類神經網路基本概念 類神經網路的優點： 具有過濾功能：在神經網路中某一個輸入與某一個輸出關係，並不是直接由網路中某一個節點所單獨負責的，事實上，每一個節點只會映射出輸入-輸出模式的一個特徵值(Micro Feature)。當網路所有特徵組合在一起時，才能映射出完整的輸入-輸出模式。因此當某一節點所輸入要處理的信號具有雜訊或數據不完整時，此一輸入對網路所造成的影響，將不會有想像中那麼嚴重。 具有適應性學習能力：每種類型的類神經網路都有特定的學習演算法，經由演算法可調整節點與節點之間的連結權重值。透過不斷的調整權重值得到正確的輸入-輸出模式，這種能力稱之為適應性學習能力。 多輸入與多輸出系統：輸入輸出層可具有任意數目的節點，所以類神經網路是一個真正多輸入多輸出系統。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

14 4.1 類神經網路基本概念 類神經網路的特性： 平行處理 錯誤容忍度
4.1 類神經網路基本概念 類神經網路的特性： 平行處理 類神經網路採用大量平行計算，經由許多不同的人工神經元來做運算處理，有別於傳統的范紐曼式 (Von Neumann) 電腦（即目前的數位電腦）。 錯誤容忍度 類神經網路在運作時具有很高的錯誤容忍度，如果輸入資料混雜少許的雜訊干擾，仍然不會影響其運作的正確性。而且即使有部分人工神經元失效，整個類神經網路仍能有效運作。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

15 4.1 類神經網路基本概念 聯想記憶(associative memory) 解決最佳化(optimization)問題
4.1 類神經網路基本概念 聯想記憶(associative memory) 在回歸型神經網路中，並沒有所謂的資料記憶區，但是網路卻可以記住“需記住＂的訓練範例，爾後若對其輸入訊號進行運算，整個網路藉由運算過程可聯想出相對應的輸出值。此種記憶方式，我們稱為 “聯想式記憶”，而它的聯想過程，我們稱為“內容定址”(content addressing)，以別於目前數位電腦所採用的“記憶體位址定址＂。 解決最佳化(optimization)問題 所謂最佳化問題，是指在一問題領域中，我們希望找到一組設計變數值，使其在滿足設計限制下，使整個設計目標達到最佳化狀態。讓我們舉個例子來說明這個概念： 「考慮一旅行員要到N城市作生意，試找出一條從某城市出發，連貫這些城市，又回到原出發城市的最短路徑。」  若我們能找到這樣一條路徑，便是解決了一個 “組合最佳化問題”，而類似這樣的問題，我們可藉助於類神經網路來幫忙解決。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

16 4.1 類神經網路基本概念 超大型積體電路實現 (VLSI implementation)
4.1 類神經網路基本概念 超大型積體電路實現 (VLSI implementation) 類神經網路的結構具有高度的互連性 (interconnection)，而且簡單，有規則性，易以超大型積體電路來實現。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

17 4.2 演算法簡介 類神經網路通常利用一組範例資料建立系統模型，在依據此模型進行推估、預測、診斷及決策。
4.2 演算法簡介 類神經網路通常利用一組範例資料建立系統模型，在依據此模型進行推估、預測、診斷及決策。 而類神經網路由許多人工細胞（又可稱為類神經元、人工神經元及處理單元）組成，每一處理單元的輸出則成為其他處理單元的輸入。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

18 4.2 演算法簡介 處理單元之輸出、入值計算式可用下列函數表示： (4.1) 其運算符號說明如下： Yi：類神經元模型的輸出訊號。
4.2 演算法簡介 處理單元之輸出、入值計算式可用下列函數表示： (4.1) 其運算符號說明如下： Yi：類神經元模型的輸出訊號。 ƒ：類神經元模型活化函數(activation function)，其目的是將從其他處理單元輸入的輸入值之加權乘積轉換為處理單元輸出值。 Wij：類神經網路的神經節強度。 Θj：類神經元模型的門檻值(threshold) ，亦稱內部臨界值或偏移值。 類神經網路是由多個神經元所組成，而每一個鏈結有一加權值Wij，用以表示第i個輸入單元對第j個輸出單元影響強度。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

19 4.2 演算法簡介 在人工神經元模型中，我們所看到的X1、X2、X3……Xn是類神經網路輸入的變數值，而Wij是類神經網路的神經節強度，也就是我們所設定的權重或權數 (weight)。輸入的變數值乘上權重後，加總的值必須要大於門檻值Θj，並且透過轉換函數，才能夠繼續傳遞至下一個人工神經元，否則就會被汰除。 類神經網路處理資料時，需先將資料分成訓練組 (training set) 與測試組 (test set)。首先將訓練組的資料匯入輸入節點後，調整各個節點的權重比值，讓類神經網路的計算輸出能夠符合所設定的要求且大於門檻值。再者，利用測試組的資料，驗證模型的準確度，同時可以協助此一模型進行預測的任務。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

20 4.2 演算法簡介 一般來說，類神經網路的架構概分為三層：輸入層、隱藏層與輸出層。
4.2 演算法簡介 一般來說，類神經網路的架構概分為三層：輸入層、隱藏層與輸出層。 輸入層：負責接收到外界的資訊或變數，以線性轉換的方式轉換後再交由隱藏層處理。 隱藏層：專司變數間相互關係的處理，使用非線性轉換的方式將資訊或變數處理。隱藏層可是需求或設計的理念，分為單層式或多層式。 輸出層：將隱藏層處理後的資訊與線性轉換的方式輸出，讓使用者可以使用。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

21 4.2 演算法簡介 此外，類神經網路的類型，依學習特性的差異可分為：
4.2 演算法簡介 此外，類神經網路的類型，依學習特性的差異可分為： 監督式學習網路 (supervised learning network)：感知機、倒傳遞神經網路、機率神經網路、學習向量量化網路。 非監督式學習網路 (unsupervised learning network)：自組織映射圖、自適應共振理論。 聯想式學習網路 (associated learning network)：霍普非爾網路、雙向記憶網路。 最適化應用網路 (optimization application network)：霍普菲爾坦克網路、退火神經網路。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

22 4.2 演算法簡介 另依網路架構加以分類則可分為 前授式網路架構 (feed-forward network) 與
4.2 演算法簡介 另依網路架構加以分類則可分為 前授式網路架構 (feed-forward network) 與 回授式網路架構 (feedback network) 資料採礦與商業智慧 第四章 類神經網路－Neural Net

23 4.3 資料格式與設定 「Model name」為設定這個節點經過塑模後所產生的結果名稱。點選auto表示節點產生由系統自行命名；而點選custom的話，則可依使用者的喜好或需求來設定節點名稱。一般為了美觀以及能夠一目瞭然，大多使用custom的選項，讓後續分析的工作更順利。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

24 4.3 資料格式與設定 「Method」提供六種神經網路訓練法，分別有：快速法、動態法、多重法、修剪法、輻射基底函數網路法及徹底修剪法等六種，以符合分析時不同的需求，我們將在後續說明。 「Prevent overtraining」提供減少過度訓練的可能，並將資料依比例抽樣後進行分析，同時可以在「set random seed」設定亂數種子，讓資料每一次的分析能夠從同樣的位置開始以獲得相同的結果，否則每次分析的結果將會略有差異。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

25 4.3 資料格式與設定 「Stop on」則是可以提供我們設定停止的基準，共有四種選項內容。 1. 達成預設值則停止。
4.3 資料格式與設定 「Stop on」則是可以提供我們設定停止的基準，共有四種選項內容。 1. 達成預設值則停止。 2. 準確率達成使用者設定值則停止。 3. 迴圈數達到使用者預設值則停止。 4. 時間到達使用者預設值則停止。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

26 4.3 資料格式與設定 「Optimize」可讓使用者依各家硬體條件不同來做最適化的設定。
4.3 資料格式與設定 「Optimize」可讓使用者依各家硬體條件不同來做最適化的設定。 Speed的選項表示系統在進行訓練時，以最快速度為考量，因此會佔用最大的記體體以及CPU的運算能力，同時間可能無法同時多工進行其他工作，缺點是若需系統資源過大而硬體又無法配合時，有可能造成當機的狀態。 Memory的選項表示系統在進行訓練時，會以電腦內現可使用的記憶體額度作為分析速度的考量，缺點是速度較慢，要耗費較多的時間在等待處理的過程中。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

27 4.3 資料格式與設定 類神經網路節點使用的六種方法：
4.3 資料格式與設定 類神經網路節點使用的六種方法： 1. 快速法 (Quick)：預設是使用單層的隱藏層，訓練的方式是使用倒傳神經網路 (BPN)。 2. 動態法 (Dynamic)：訓練期間使用拓樸結構(topology)，會一直增加神經元來增加效益，直到達成預期的精確度。動態訓練有二階段︰找到拓撲網路並且訓練到結束。 3. 多重法 (Multiple)：多重網路的訓練是模擬平行的形式來進行，在初始時，所有特定網路的網路都會被訓練，並於達到用戶設定值時，將最終的模型輸出。如果沒有使用任何設定，則會依照預設值來產出拓樸結構。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

28 4.3 資料格式與設定 4. 修剪法 (Prune)：這種方法從一個大的網路開始並在訓練的過程中，移除（或修剪）在隱藏層和輸入層中最差的值。 這種方法通常較慢，但是與其他方法相比較，它經常產生較好的結果。 5. 輻射基底函數網路法 (RBFN)：RBFN使用類似於k-means的群聚技術去切割資料，基礎是依目標欄位值。 6. 徹底修剪 (Exhaustive prune)：這種方法與修剪法有關。這種方法從一個大的網路開始並在訓練的過程中，移除（或修剪）在隱藏層和輸入層中最弱的值。因為使用徹底修剪，所以訓練參數會在整個模型空間中尋找最好的值。雖然這種方法通常最慢，但是它經常產生最好的結果。需要注意的是，這種方法可能會花費非常長的時間來做訓練，尤其面對大型資料集。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

29 4.3 資料格式與設定 1. 「Continue training existing model」：在預設的條件之下，系統每一次執行本節點時，會重新完成一個新的訓練模型，使用者可以藉由這個選項，繼續訓練上一次完成的模型，唯獨RBFN的訓練方法會在每一次都建立一個新的模型。 2. 「Use binary set encoding」：二進位集合編碼的功能，主要在於協助使用者處理輸入集合型資料的欄位，能夠以壓縮的二進位編碼方式加快處理速度，但是必須增加較多的隱藏層處理單元。 3. 「Show feedback graph」：把訓練過程的情況以回饋圖呈現顯示。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

30 4.3 資料格式與設定 4. 「Model selection」：模型選擇是讓使用者決定當模型的訓練終止時，選擇提出訓練期間最佳值或是提出最終值的選項。 5. 「Sensitivity analysis」：敏感性分析的主要功能，在於提供使用者對於輸入的欄位資料中，有哪些的欄位資料對於預測值是較為重要的資訊，以供使用者參考。 6. 「Generate log file」：產生記錄檔的選項可以將訓練過程中的各項資訊記錄至指定的位置，同時產生一個記錄檔。 7. 「Log filename」：產生記錄檔的同時，可以指定記錄檔的檔名。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

31 4.3 資料格式與設定 1. 「Mode」：選擇簡易模式或是進階模式。
4.3 資料格式與設定 1. 「Mode」：選擇簡易模式或是進階模式。 2. 「Hidden layers」：隱藏層。隱藏層式類神經網路學習的主要單元，越多的隱藏層能夠處理更多更複雜的資料，以能夠或的更佳的學習效果，相對地，則必須花費更多的處理與學習時間。隱藏層最多可以設定三層，並且指定每一層的隱藏單元數。 3. 「Persistence」：當訓練成效不彰時，要求模型繼續訓練的次數。 4. 「Learning rate」：學習速率。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

32 4.3 資料格式與設定 5. 「Alpha」：也就是動量（momentum）的意思。Alpha的值介於0至1之間，目的是藉此值的調整，來保持動量能夠沿著相同的方向變動。 6. 「initial Eta」：設定初始學習率。 7. 「Eta decay」：設定學習率的衰減值。 8. 「High Eta」：設定學習率最高值。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

33 4.3 資料格式與設定 9. 「Low Eta」：設定學習率最低值。
4.3 資料格式與設定 9. 「Low Eta」：設定學習率最低值。 Eat是由我們所設定的初始學習率開始，一直降到學習率最低值，再回復到學習率最高值開始演算並學習，從中找尋最佳的解，其中由初始值遞減到最低值以及由最高值地減到最低值的衰減程度，則是依設定的衰減值來完成。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

34 4.3 資料格式與設定 選用徹底修剪法選項時，本選項並沒有進階的模式設定內容，演算的方式以系統設定值為主。 資料採礦與商業智慧
4.3 資料格式與設定 選用徹底修剪法選項時，本選項並沒有進階的模式設定內容，演算的方式以系統設定值為主。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

35 4.3 資料格式與設定 1. 「Mode」：選擇簡易模式或是進階模式。
4.3 資料格式與設定 1. 「Mode」：選擇簡易模式或是進階模式。 2. 「Topologies」：拓撲結構。可設定一至三個隱藏層，以逗號做區隔；多重拓撲網路結構，以分號做區隔，設定方式如表列。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

36 4.3 資料格式與設定 項次 類型 編碼方式 1 1層隱藏層，包含10個神經元 10 2 3層隱藏層，各別包含15、20、25個神經元
4.3 資料格式與設定 項次 類型 編碼方式 1 1層隱藏層，包含10個神經元 10 2 3層隱藏層，各別包含15、20、25個神經元 15,20,25 3 1層隱藏層： 第1個隱藏層包含10、11、12、13、14、15、16個神經元，中間數字間隔為1。 4 2層隱藏層： 第1個隱藏層包含15、20、25個神經元，中間數字間隔為5。 第2個隱藏層包含3~18個神經元，中間數字間隔為5。 , 5 多重網路拓撲結構，分別生成兩層隱藏層： 第一個隱藏層：包含10、11、12、13、14、15、16個神經元，中間數字間隔為1。 ; 資料採礦與商業智慧 第四章 類神經網路－Neural Net

37 4.3 資料格式與設定 3. 「Persistence」：當訓練成效不彰時，要求模型繼續訓練的次數。
4.3 資料格式與設定 3. 「Persistence」：當訓練成效不彰時，要求模型繼續訓練的次數。 4. 「Learning rate」：學習速率。 5. 「Alpha」：也就是動量（momentum）的意思。Alpha的值介於0至1之間，目的是藉此值的調整，來保持動量能夠沿著相同的方向變動。 6. 「initial Eta」：設定初始學習率。 7. 「Eta decay」：設定學習率的衰減值。 8. 「High Eta」：設定學習率最高值。 9. 「Low Eta」：設定學習率最低值。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

38 4.3 資料格式與設定 1. 「Mode」：選擇簡易模式或是進階模式。
4.3 資料格式與設定 1. 「Mode」：選擇簡易模式或是進階模式。 2. 「Hidden layers」：隱藏層。隱藏層式類神經網路學習的主要單元，越多的隱藏層能夠處理更多更複雜的資料，以能夠或的更佳的學習效果，相對地，則必須花費更多的處理與學習時間。隱藏層最多可以設定三層，並且指定每一層的隱藏單元數。 3. 「Hidden Rate」：修剪隱藏層單元的比率。 4. 「Hidden Persistence」：當訓練成效不見轉好時，要求模型繼續修剪隱藏層的次數。 5. 「Input Rate」：修剪輸入層單元的比率。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

39 4.3 資料格式與設定 6. 「Input Persistence」：當訓練成效不見轉好時，要求模型繼續修剪輸入層的次數。
4.3 資料格式與設定 6. 「Input Persistence」：當訓練成效不見轉好時，要求模型繼續修剪輸入層的次數。 7. 「Persistence」：當訓練成效不見轉好時，要求模型繼續訓練修剪前的次數。 8. 「Overall Persistence」：當訓練成效不見轉好時，要求模型繼續修剪隱藏層及輸入層單元的次數。 9. 「Learning rate」：學習速率。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

40 4.3 資料格式與設定 10. 「Alpha」：也就是動量（momentum）的意思。Alpha的值介於0至1之間，目的是藉此值的調整，來保持動量能夠沿著相同的方向變動。 11. 「initial Eta」：設定初始學習率。 12. 「Eta decay」：設定學習率的衰減值。 13. 「High Eta」：設定學習率最高值。 14. 「Low Eta」：設定學習率最低值。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

41 4.3 資料格式與設定 1. 「Mode」：選擇簡易模式或是進階模式。
4.3 資料格式與設定 1. 「Mode」：選擇簡易模式或是進階模式。 2. 「RBF clusters」：指定分群的群數，也就是隱藏層的單元數。 3. 「Persistence」：當訓練成效不彰時，要求模型繼續訓練的次數。 4. 「Eta」：學習率，對於RBFN為常數。 5. 「Alpha」：也就是動量（momentum）的意思。Alpha的值介於0至1之間，目的是藉此值的調整，來保持動量能夠沿著相同的方向變動。 6. 「RBF overlapping」：輻射基底函數重疊值。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

42 4.3 資料格式與設定 選用徹底修剪法選項時，本選項並沒有進階的模式設定內容，演算的方式以系統設定值為主。 資料採礦與商業智慧
4.3 資料格式與設定 選用徹底修剪法選項時，本選項並沒有進階的模式設定內容，演算的方式以系統設定值為主。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

43 4.4 應用範圍 類神經網路模型對於資料處理的彈性較大，對於資料串流中提供的旗標型數值、群組型數值、字元型數值以及數值型數值都能夠允許進入並演算，對於使用者來說十分方便。 資料在進入節點時，資料的方向亦會影響分析的結果： 「In」表示資料僅進入「Neural Net」模型節點作分析及演算。 「Out」表示資料僅進入「Neural Net」模型節點中作為輸出預測標的欄位值。 「Both」表示資料無法進入「Neural Net」模型節點，表示拒絕資料進入節點中分析。 「None」表示資料無法進入「Neural Net」模型節點，表示拒絕資料進入節點中分析。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

44 4.5 個案實做 步驟一：從光碟中開啟本章練習檔案，選擇Ms Excel(.xls)檔，並選擇相對應的資料來源節點。Ms Excel檔請使用Excel(.xls)節點。勾選「First row contains field names」，表示檔案中的第一列為欄位名稱。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

45 4.5 個案實做 步驟三：當我們使用Type節點將資料通過串流讀取後，可以發現其中的SEX欄位讀取的資料型態並非我們所預期的類型，此時我們可以藉由下拉式選單來調整SEX欄位的資料型態為群組（Set）。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

46 4.5 個案實做 步驟四：從本書附的光碟中，開啟本章的練習檔案，可以選擇Ms Excel(.xls)檔或是SPSS(.sav)檔，並選擇相對應的資料來源節點。Ms Excel檔請使用Excel(.xls)節點，SPSS(.sav)檔請選用SPSS節點，並在選擇之後依需要更選節點內的選項。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

47 4.5 個案實做 步驟五：連結點圖（Plot）可以將資料中的不同屬性呈現出來。設定點圖中的選項，決定資料呈現的維度（2D或3D），並且藉由下拉式選單選定維度中的資料內容，以圖中為例，我們選擇二維的資料呈現，而以身高及體重作為兩軸的項目，同時其中的資料以年齡作為區別的標的。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

48 4.5 個案實做 步驟六：點選節點執行後，可以看到下列畫面，也就是資料堆疊後的圖示，將資料予以視覺化呈現。 資料採礦與商業智慧
4.5 個案實做 步驟六：點選節點執行後，可以看到下列畫面，也就是資料堆疊後的圖示，將資料予以視覺化呈現。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

49 4.5 個案實做 步驟七：在資料視覺化後，我們對於資料中的結構與內容，已有一概略性描述的能力，因此藉由演算法中的類神經網路節點（Neural Net）將資料中更為精緻的脈絡淬取出來並善加利用。連結類神經網路節點，並設定其中所需的相關選項，以本圖為例，我們選用RBFN作為分析的方法。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

50 4.5 個案實做 步驟八：點選執行後，可以在下圖中見到探勘模型中的相關結果敘述，包括使用的神經元數、分析目標欄位、輸入欄位等等。
4.5 個案實做 步驟八：點選執行後，可以在下圖中見到探勘模型中的相關結果敘述，包括使用的神經元數、分析目標欄位、輸入欄位等等。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

51 4.5 個案實做 步驟九：在類神經網路模型的後端連接一個表單節點，可以讓我們更清楚的瞭解演算的結果。表單中增加的兩個欄位，表示演算法對於目標欄位的預測結果以及其可靠度，提供我們做為參考。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

52 4.5 個案實做 步驟十：在所建立的類神經模型後端連接評估圖節點，可以用圖示的方法將我們所建立的模型效益呈現出來。評估圖的呈現有許多不同的方式，讀者可以依個人需求作設定。 資料採礦與商業智慧 第四章 類神經網路－Neural Net

53 4.5 個案實做 步驟十一：下圖則是使用評估圖節點所呈現的模型效益。圖中的黑色對角線表示我們使用100%的資料才能夠找出所有我們希望尋找的目標資料（或是顧客）；但是藉由所建立的模型，只要花費約原資料的47%即可達到相同的效益，因此此模型對我們來說具有相當的助益。 資料採礦與商業智慧 第四章 類神經網路－Neural Net