研討會期間敬請關機… Copyright 2003-12, SPSS Taiwan Corp..

Presentation on theme: "研討會期間敬請關機… Copyright 2003-12, SPSS Taiwan Corp.."— Presentation transcript:

1 研討會期間敬請關機… Copyright , SPSS Taiwan Corp.

2 Clementine中文版研討會 世新大學 校 園 巡 禮 Copyright , SPSS Taiwan Corp.

3 Agenda 資料採礦的秘辛 資料採礦觀念介紹 資料採礦到底是什麼？為什麼要做資料採礦？
Data Mining 和統計及OLAP有什麼不同？ Data Mining 和 Data Warehousing 的關係 Data Mining 的方法與特徵 怎麼做好Data Mining？ 何謂CRISP-DM？ Copyright , SPSS Taiwan Corp.

4 Agenda Clementine中文版功能介紹 Clementine的工作環境及其方便容易的操作
對應CRISP-DM，Clementine有哪些功能 Clementine 在商業理解階段提供的功能 Clementine 在資料理解階段提供的功能 Clementine 在資料預備階段提供的功能 Clementine 在塑模階段提供的功能 Clementine 在評估階段提供的功能 Clementine 在部署階段提供的功能 Copyright , SPSS Taiwan Corp.

5 資料採礦的秘辛 Copyright , SPSS Taiwan Corp.

6 Data Mining 是什麼？ Data Mining是從資料中找出有用珍貴知識的一個過程
增加銷售 交叉銷售 減少流失 降低成本 忠誠的客戶 警察找出罪犯 醫學找出疾病 國稅局找逃稅 何謂珍貴？ 何謂珍貴？ Why Who What When Where How 何謂過程？ 何謂過程？ 許多技術知識的融合（統計、人工智慧、未來的基因演算法…等），並非一個演算法就可以解決全部問題 資料 資訊 知識 將沈睡的資料中的資訊轉變為活的知識 ，進而成為決策的智慧 Copyright , SPSS Taiwan Corp.

7 為什麼要做 Data Mining？ 競爭日益劇烈，了解客戶需求才能佔有優勢 過去及現在和客戶互動方式的改變 過去 互動單純
直接了解客戶個人化需求 現在 互動複雜 難直接了解客戶個人化需求 電子化 Copyright , SPSS Taiwan Corp.

8 Data Mining 和統計不同？ 統計 Data Mining 先假設再檢定 母體參數未知 資料量不可太大 沒有事先假設
多數狀況下母體參數已知 資料量越大越好，小資料也可以挖只是較不可靠 融合各種知識，包括統計、Machine Learning、人工智慧、基因等 Copyright , SPSS Taiwan Corp.

9 Data Mining 和 OLAP 不同？ OLAP On-Line Analytical Process
對手邊資料的多維度呈現，無法呈現隱藏行為模式 對現有資料的分析 Data Mining 包括對手邊資料的呈現，以及OLAP無法呈現的隱藏行為模式 除了分析過去資料，也可以預測未來 Copyright , SPSS Taiwan Corp.

10 Data Mining 和資料倉儲的關係 何謂資料倉儲 (Data Warehousing)？
將現有資料、歷史資料、外部資料等經過有系統的整合，把資料選取、分類、轉換達到最佳化後，融入一個設計好的關連式資料庫中，以利資料分析者存取，大量改進效率。 Data Mining 及 OLAP 都是由資料倉儲中取出資料分析 Data mining 為何要從資料倉儲開始？ 也可以從檔案、資料庫中存取資料 資料倉儲提供的資料量更足夠 從多種資料檔或資料庫中取出檔案可能遭遇格式不 符不一致的問題，要多花時間在整合上，若有資料 倉儲，可以省去不少麻煩。 Copyright , SPSS Taiwan Corp.

11 Data Mining 的方法 Classification Clustering Estimation Prediction
群集 非監督式，未知有幾類，將性質類似的資料加以區隔 把顧客資料分群對不同群體採用不同推銷手法 Classification Clustering Estimation Prediction Market Basket Analysis Description 預測 和分類推估類似，不同在於是預測未來，將新資料帶入既有資料建立的模型預測結果 銀行新申請信用卡的客戶要給多少額度 推估 和分類的不同在於目標變數為連續值，常和分類配合 用分類判斷為會貸款客戶後，再推估會貸款的金額 購物籃分析 找出哪些事件會一起發生 超級市場發現男性客戶會一起購買啤酒跟尿布 分類 目標變數（依變數、反應變數）為類別的狀況 信用卡公司將既有資料分為「偽卡」「非偽卡」找出偽卡的模式 描述 增進對於資料的認識，圖形視覺化呈現，或規則、決策樹等 Copyright , SPSS Taiwan Corp.

12 Data Mining 的其他特徵 Interactive 互動性 Automation 電腦自動化 Continuing 連續性，是動態的
團隊分工合作 具有決策功能，使企業組織創新、再造 目標：一對一 Copyright , SPSS Taiwan Corp.

13 怎樣才能做好 Data Mining Process Environment Tools
符合 Data Mining 的程序，如 CRISP-DM Environment 企業組織內部要有共識 從管理階層、資訊部門、行銷企劃單位、基層執行單位等都要能分工合作 Tools 好的 Data Mining 工 具才能讓Data Mining 發揮功效 配合資料倉儲 Copyright , SPSS Taiwan Corp.

14 CRISP-DM 標準流程 Cross-Industry Standard Process for Data Mining
SPSS 和 NCR 在 1996 年為克萊斯勒做資料採礦時訂出的一套標準程序，並參加了專家意見修訂，目前版本為1.0 商業理解 (Business Understanding) 資料理解 (Data Understanding) 資料預備 (Data Preparation) 塑模 (Modeling) 評估 (Evaluation) 部署(或佈署) (Deployment) Copyright , SPSS Taiwan Corp.

15 1. Business Understanding
了解企業方針及要解決的問題何在 訂定 Data Mining 計畫 Copyright , SPSS Taiwan Corp.

16 2. Data Understanding 收集初步資料 簡單了解資料 確認資料品質
Copyright , SPSS Taiwan Corp.

17 3. Data Preparation 資料清理、整合 格式設定，為下一步建立模型做準備
Copyright , SPSS Taiwan Corp.

18 4. Modeling 選定要建立的模型 用上一步驟的資料建立模型並測試
Copyright , SPSS Taiwan Corp.

19 5. Evaluation 評估模型及回顧整個過程 決定是否進入下一階段
Copyright , SPSS Taiwan Corp.

20 6. Deployment 計畫要怎麼部署 監控部署過程 產出報告並檢討
Copyright , SPSS Taiwan Corp.

21 CRISP-DM 流程圖 以資料為中心 不斷循環 不是從頭做到尾，有需要時可以往回
Copyright , SPSS Taiwan Corp.

22 Clementine 中文版 功能介紹 現代淘金者 的最佳資料採礦工具
Copyright , SPSS Taiwan Corp.

23 工作環境—完全中文化 Copyright , SPSS Taiwan Corp.

24 工作環境—介面介紹 操作管理區：管理操作時期產生的stream, 輸出, 模型 串流工作區：實際上用來建 構DM流程的所有的動作、
設定…的區域 節點調色版：不同的node代表不同功能的工具，不同的活頁代表不同的DM 流程的工具集合 專案管理區：以DM專案的角度來管理stream, 輸出, 模型 Copyright , SPSS Taiwan Corp.

25 工作環境—專案管理 一個專案可以包括多個串流、圖表、各種外部檔案，全部可以利用右下角的專案管理員整理起來。
優點：不用每次都去找要用的檔案跟相關串流，直接開啟專案，所有相關物件都會出現在專案管理員中。 Copyright , SPSS Taiwan Corp.

26 工作環境—配合CRISP-DM流程 可將各種檔案及流程圖分門別類整理在六個CRISP-DM步驟的資料夾中，方便任何使用人員隨時存取。
很清楚所做過的流程，有架構不紊亂。即使非原始的建立者也可以迅速進入狀況。 也可依自己需求增減資料夾 Copyright , SPSS Taiwan Corp.

27 工作環境—管理員 Clementine會自動將所有流程放在「串列」區，跑出的圖表放在「輸出」區，建立的模型則放在「模型」區，隨時可以點選不用重跑一遍。且這些結果都可儲存保留。 Copyright , SPSS Taiwan Corp.

28 工作環境—用串流方式呈現 上使用者在工作區自由發揮，利用豐富的工具，設計出最符合實際需要的流程。彈性大、自由度高。
Copyright , SPSS Taiwan Corp.

29 工作環境— Windows 作業環境 配合基本的windows功能如剪貼、滑鼠拖曳、右鍵功能表、鍵盤快速鍵直接操作等，讓熟悉windows的使用者可以馬上上手。 Copyright , SPSS Taiwan Corp.

30 基本功能—自動配置 Copyright , SPSS Taiwan Corp.

31 基本功能—加入節點註解 加入註解，滑鼠游標移過去就可以看到註解。 Copyright , SPSS Taiwan Corp.

32 基本功能—超級節點 Copyright , SPSS Taiwan Corp.

33 基本功能—超級節點 Copyright , SPSS Taiwan Corp.

34 CRISP-DM 中的Clementine功能
Clementine中文版在商業理解(I)提供的功能 把計畫、專業術語相關檔案直接存放在專案中，任何使用 Clementine 7.2 中文版的人員都可以隨時輕鬆查閱。 Copyright , SPSS Taiwan Corp.

35 商業理解(I)—外部檔案 把術語對照表、計畫專案文件等放入專案中，任何計畫參與者都可以隨時隨地開啟這些檔案查詢閱覽。
Copyright , SPSS Taiwan Corp.

36 CRISP-DM 中的Clementine功能
Clementine中文版在資料理解(II)提供的功能 各式各樣的前端資料輸入 統計敘述、表格、標記、檢查遺漏狀況 豐富的圖形種類 圖形多變化，依照所需呈現資料 Copyright , SPSS Taiwan Corp.

37 資料理解(II)—讀取資料 Copyright , SPSS Taiwan Corp.

38 資料理解(II)—檢視資料 利用表格節點，可以隨時看見資料在串流中任何步驟的狀況。
Copyright , SPSS Taiwan Corp.

39 資料理解(II)—檢視資料 Copyright , SPSS Taiwan Corp.

40 資料理解(II)—檢視資料 Copyright , SPSS Taiwan Corp.

41 資料理解(II)—檢視資料 Copyright , SPSS Taiwan Corp.

42 資料理解(II)—檢視資料 Copyright , SPSS Taiwan Corp.

43 資料理解(II)—直方圖 連續變數的分佈。 Copyright , SPSS Taiwan Corp.

44 資料理解(II)—散佈圖 兩個連續變數的分佈。 Copyright , SPSS Taiwan Corp.

45 資料理解(II)—散佈圖 也可以用散佈圖畫類別變數 Copyright , SPSS Taiwan Corp.

46 資料理解(II)—分佈圖 類別變數的分佈狀況 Copyright , SPSS Taiwan Corp.

47 資料理解(II)—關聯網 類別變數間的關聯 Copyright , SPSS Taiwan Corp.

48 CRISP-DM 中的Clementine功能
Clementine中文版在資料預備(III)提供的功能 列處理功能 行處理功能 設定全域變數供其他節點使用 透過圖形產生衍生變數，省去自己 撰寫的時間 Copyright , SPSS Taiwan Corp.

49 資料預備(III)—列處理(選取) Copyright , SPSS Taiwan Corp.

50 資料預備(III)—列處理(抽樣) Copyright , SPSS Taiwan Corp.

51 資料預備(III)—列處理(平衡) Copyright , SPSS Taiwan Corp.

52 資料預備(III)—列處理(整合) Copyright , SPSS Taiwan Corp.

53 資料預備(III)—列處理(合併) Copyright , SPSS Taiwan Corp.

54 資料預備(III)—行處理(類型) Copyright , SPSS Taiwan Corp.

55 資料預備(III)—行處理(過濾器) Copyright , SPSS Taiwan Corp.

56 資料預備(III)—行處理(導出) Copyright , SPSS Taiwan Corp.

57 資料預備(III)—行處理(填入器) Copyright , SPSS Taiwan Corp.

58 資料預備(III)—行處理(設成旗標) Copyright , SPSS Taiwan Corp.

59 資料預備(III)—自動產生複雜節點 Copyright , SPSS Taiwan Corp.

60 資料預備(III)—其他功能 此外，資料預備階段還有提供以下功能： 合併- 將這個月與下個月記錄合併 排序- 將資料根據某些欄位排序
整體- 將某個變數的值（最大值、平均數等）設定為global變數。 歷史- 用於時間序列資料 等等 Copyright , SPSS Taiwan Corp.

61 CRISP-DM 中的Clementine功能
Clementine中文版在塑模(IV)提供的功能 多種群集、分類、預測、關聯規則模型 分類樹一覽無遺的瀏覽器 詳盡的統計報表 將預測結果隨心所欲呈現 混合式模型一點也不難 Copyright , SPSS Taiwan Corp.

62 塑模(IV)—關聯規則 Copyright , SPSS Taiwan Corp.

63 塑模(IV)—Kohonen Copyright , SPSS Taiwan Corp.

64 塑模(IV)—K-Means Copyright , SPSS Taiwan Corp.

65 塑模(IV)—類神經網路 Copyright , SPSS Taiwan Corp.

66 塑模(IV)—C5.0 Copyright , SPSS Taiwan Corp.

67 塑模(IV)—Logistic 迴歸 Copyright , SPSS Taiwan Corp.

68 塑模(IV)—主成分/因子 Copyright , SPSS Taiwan Corp.

69 塑模(IV)—混合式模型 Copyright , SPSS Taiwan Corp.

70 CRISP-DM 中的Clementine功能
Clementine中文版在評估(V)提供的功能 多樣化的評估圖形 同時將多個模型的結果做比較 Copyright , SPSS Taiwan Corp.

71 評估(V)—比較預測準確度 Copyright , SPSS Taiwan Corp.

72 評估(V)—評估圖形 Copyright , SPSS Taiwan Corp.

73 CRISP-DM 中的Clementine功能
Clementine中文版在部署(VI)提供的功能 各種格式的檔案輸出 自動化產生設計好的報告格式 和 Solution Publisher 結合 Copyright , SPSS Taiwan Corp.

74 部署(VI)—自動產生報告 Copyright , SPSS Taiwan Corp.

75 部署(VI)—各種檔案輸出 Copyright , SPSS Taiwan Corp.

76 內建應用範例說明 CAT Clementine Application Template Telco(針對電信業所做的範本)
建立churn與cross-selling 模型 CRM(針對百貨零售業所做的範本) 建立顧客價值區隔與特性、郵寄行銷的模型、顧客在不同區隔間變化的模型 Web-Mining(針對電子商務網站所做的範本) 以瀏覽者與顧客不同層級的資料並結合多個 web log的資料處理方法建立多個模組 Copyright , SPSS Taiwan Corp.

77 Take a break… Copyright , SPSS Taiwan Corp.

78 Clementine中文版 應用案例展示 Copyright , SPSS Taiwan Corp.

79 Clementine中文版如何應用於CRM?
Copyright , SPSS Taiwan Corp.

80 Asia/Pacific CRM Market ($M)
200 180 160 140 120 100 80 60 40 20 Source: IDC. 2003 2001 2007 Copyright , SPSS Taiwan Corp.

81 為什麼要進行CRM? 過去 購物以必要性為基準 現在 心理因素逐漸影響顧客的消費行為 顧客的接觸管道多元化
Copyright , SPSS Taiwan Corp.

82 何謂CRM? 發現需求 記憶偏好 學習 行動 OLTP = 企業/組織的眼與耳 Database = 企業/組織的腦
Data Mining = 企業/組織的智慧 行動 Marketing = 企業/組織的手與腳 Copyright , SPSS Taiwan Corp.

83 Measurement (historical)
Analytical CRM 的演化 Business Value Measurement (historical) Prediction (future) Real-time Personalization 這些流失客戶是位於哪個地區? 我們流失了多少客戶? Data Mining OLAP 我們應該即時提供這位客戶什麼服務? Query & Reporting 哪些是高風險客戶以及原因是? Time From SPSS White Paper Copyright , SPSS Taiwan Corp.

84 Clementine 對CRM的機會在哪裡?
CRM – 了解客戶(Client) Data mining 是CRM的核心 分析型CRM (Analytical CRM) (分析測量, 預測並最佳化客戶關係) 了解客户 具有智慧型判斷能力 操作型CRM (Operational CRM) Copyright , SPSS Taiwan Corp.

85 Clementine 在CRM中的應用有哪些 ?
潛在客戶分析 (Customer acquisition) 顧客區隔 (Customer segmentation) 交叉銷售／再銷售 (Cross-selling/Up-selling) 詐欺分析 (Fraud detection) 風險評估 (Risk analysis) 顧客挽留 (Customer retention) ………………. Copyright , SPSS Taiwan Corp.

86 各產業的應用層面 電信業 客戶流失管理 顧客終身價值及利潤價值 行銷回應預測 交叉銷售/再銷售 電子商務 顧客終身價值 瀏覽行為分析
政府機構 員工流失管理 犯罪偵測 零售業 忠誠度及通路忠誠度 行銷回應預測 客戶產品偏好分析與鑑別 交叉銷售/再銷售 製造業 良率分析 製程改善 需求預測 醫療業 病人流失管理 潛在新病人分析 病人屬性區隔 Copyright , SPSS Taiwan Corp.

87 各產業的應用層面 銀行 生命科學 風險管理 基因抗藥反應分析 行銷回應預測 基因序列分析 維持顧客模型 藥物區隔分析 顧客終身價值及利潤價值
多通路行為管理 信用卡冒用偵測 保險業 交叉通路銷售 詐欺理賠分析 生命科學 基因抗藥反應分析 基因序列分析 藥物區隔分析 藥物市場風險評估 娛樂業 客戶流失管理 目標客戶分析 客戶區隔 需求預測分析 Copyright , SPSS Taiwan Corp.

88 配合CRISP-DM之應用案例展示— Clementine中文版與CRISP-DM結合
CRISP-DM(CRoss-Industry Standard Process for DM) 專案目標檔 資料理解 "Exploring" streams 資料預備 "Preparing" streams 塑模、評估 "Modeling" streams 部署應用 "Deploying" streams Copyright , SPSS Taiwan Corp.

89 案例展示： 線上即時個人化商品推薦方案 “針對線上不同的消費者 提供他們最可能購買的商品” 1 2 3 4 7
Copyright , SPSS Taiwan Corp.

90 案例展示： CRISP-DM中的資料採礦工作
Clementine中文版在商業理解(I)階段： 將專案的目標、資料 的定義等外部檔案存 放於此專案夾中 原始資料分佈圖表， 協助了解專案目標 Copyright , SPSS Taiwan Corp.

91 案例展示 CRISP-DM中的資料採礦工作
Clementine中文版在資料理解(II)階段： 欄位敘述、資料量、 類型定義、檢查遺漏 狀況各角度資料的圖 形分佈 圖形多變化，依照所 需呈現資料 Copyright , SPSS Taiwan Corp.

92 案例展示 CRISP-DM中的資料採礦工作
Clementine中文版在資料預備(III)階段： 產生衍生性變數並檢 視其分佈狀況 整合總結、排序資料 並修改欄名稱 篩選、切割並平衡資 料以提供模型建置使用 Copyright , SPSS Taiwan Corp.

93 案例展示 CRISP-DM中的資料採礦工作
Clementine中文版在塑模(IV)階段： 定義輸入/輸出模型之變數 使用決策樹、類神經演算 法進行預測 設計混合式模型，提昇模 型效果 隱藏規則一覽無遺 Copyright , SPSS Taiwan Corp.

94 案例展示 CRISP-DM中的資料採礦工作
Clementine中文版在評估(V)階段： 產生收益計算之衍生性 變數 選擇測試組資料進行評估 利用評估圖衡量模型效益 Copyright , SPSS Taiwan Corp.

95 案例展示 CRISP-DM中的資料採礦工作
Clementine中文版在部署(VI)階段： 合併新資料以進行預測 篩選符合預測之記錄 結合Clementine Solution Publisher發佈解決方案 Copyright , SPSS Taiwan Corp.

96 Clementine Solution Publisher 將資料採礦解決方案應用於隨時隨地的決策
將客戶評分以最佳化 Clementine Solution Publisher 將資料採礦解決方案應用於隨時隨地的決策 接觸方式的即時決策 Copyright , SPSS Taiwan Corp.

97 Clementine產生的無形效益 客戶 企業/組織 透過Web即可獲得產品建議 滿意度提昇 掌握目標客戶(Profit account)
加強客戶忠誠度 提高荷包佔有率(wallet share) 改善消費產品結構 降低通路成本 Copyright , SPSS Taiwan Corp.

98 最佳資料採礦工具— SPSS Clementine
May, 2003 KDnuggets : Polls : Data mining tools you regularly use 符合CRISP-DM所訂定的標準化流程 Windows為使用者介面與具有中文處理能力 強大的資料整合能力 處理大量資料的執行效能 具有豐富、可靠的modeling techniques 建立混合式模型 內建資料採礦應用樣板 CEMI擴展建置模型的使用彈性 完整的模型評估能力 良好的部署應用 Copyright , SPSS Taiwan Corp.

99 Thank you Michelle Sung Lilian Chiu spsstechsupport@mail.sinter.com.tw
智慧是知道下一步該做什麼 技術是知道如何去做 而美德就是去做 ~~喬爾頓,美國博物學家 Copyright , SPSS Taiwan Corp.

100 更 深 入 的 見 解 行銷人員 資料轉換整理 上網購物 交易資訊： ．數量 ．價格 ．時間 ．地點 交易資料 ．顧客資料 OLAP
資料倉儲 (Data Warehouse) 上網購物 OLTP 營運資料庫 交易資訊： ．數量 ．價格 ．時間 ．地點 ．顧客資料 交易資料 更 深 入 的 見 解 資料採礦 Server 行銷人員 OLAP Server Copyright , SPSS Taiwan Corp.