METAEDGE Corporation Taiwan 我所知道的統計之路 美商捷智商訊科技 METAEDGE Corporation Taiwan 曾建國 Jerry Tseng Jerry.tseng@metaedge.com.tw Confidential & Proprietary

Agenda 我所知道的統計之路 客戶關係管理 資料採礦案例

學經歷 輔大統計系 中興統研所 陽明大學公衛所研究助理 摩斯倫資訊管理顧問公司 捷智商訊科技公司

72%

研究所同學工作分佈 證券 高中 老師 銀行 資訊 資料 分析 其他 5 4 2 1

淡江統計課程 商業統計 社會統計 工業統計 其他相關課程(精算) 迴歸分析 時間數列 線性規劃 多變量分析 類別資料分析 作業研究 迴歸分析      時間數列     線性規劃      多變量分析    類別資料分析 作業研究      投資策略分析  社會統計 抽樣調查 市場調查   政府統計實務  工業統計 品質管制 實驗設計    可靠度分析    其他相關課程(精算) 壽險精算     產險精算     貨幣銀行學 財政學       保險學

我的研究所課程 一般線性模式 經濟預測 機率與測度概論 計數資料分析 分配理論 碩士論文： 統計推論 大中華經濟圈股市間之共整合研究 迴歸分析 實驗設計 決策理論 多變量分析 時間序列 碩士論文： 大中華經濟圈股市間之共整合研究 期貨營業員資格

統計相關工作 保險精算 工業統計 民意調查 市場調查 醫學統計 生物統計

保險精算 需具備之工作能力： 數理學科邏輯能力 電腦語言 需具備的統計能力： 精算考試科目

基礎數學、數理統計、保險理論(1)保險數學（1）、保險理論（2）、保險會計、保險數學（2）、保險經營 、保險理論（1）、保險數學（1）、保險理論（2）、保險會計、保險數學（2）、保險經營 台灣：http://www.airc.org.tw 美國：http://www.soa.org/eande/index.asp

工業統計 需具備之工作能力： 工業製程 需具備的統計能力： 品質管理(QC) 可靠度 管制圖

民意調查 需具備之工作能力： 政治社會學研究方法 了解選民心理的層面 重視調查品質 選情預測 需具備的統計能力： 抽樣方法 基本統計分析

市場調查 需具備之工作能力： 需具備的統計能力： 心裡學 社會學 行銷學 Sampling method (the most important) Categorical data analysis Regression Factor analysis Cluster analysis Multivariate analysis

醫學統計、生物統計 需具備之工作能力： 需具備的統計能力：

工作技能需求 Domain Know How 資料處理 Statistical Skill 抽樣 資料擷取(資料庫、SQL…) 資料品質(資料清理與除錯) 資料轉換        Statistical Skill

如果你要念研究所 統研所的路比大學窄 統研所應用比理論難

如果你要找工作 先選產業再選工作內容 選擇讓你容易找到下一個工作的工作 不要害怕做不到(做中學) 不要自我設限(統計不是主角)

Agenda 我所知道的統計之路 客戶關係管理(CRM) 資料採礦案例

新經濟模式下之客戶關係 經濟模式的改變 農業經濟 工商業經濟 網路經濟 知識經濟

新經濟模式下之客戶關係 客戶行為模式改變 產品需求改變 消費習慣改變 忠誠度降低 注重服務品質

新經濟模式下之客戶關係 互動方式的改變 Call Center Agent 業務人員親訪 DM行銷 自動語音系統 網際網路 E-Mail

新經濟模式下之客戶關係 切入點改變 產品為中心 客戶為中心 價格 編列之預算 品質 實際需求 品牌 便捷性

您所不知道的數字…………. 80 / 20法則 : 20 %的客戶創造企業 80 % 的營收 80 / 20法則 : 20 %的客戶創造企業 80 % 的營收 開發一位新顧客的成本是留住一位舊顧客的6 ~10倍。 如果能夠降低5%的顧客流失率，將可提升企業60 % ~100 %的獲利率。 高達2 / 3的顧客因為企業的疏於照顧而流失。 資訊科技的應用， 將使企業對客戶的溝通成本降低 83 %。 98 % 的市場促銷行為，最終多半流於成本浪費。 忠誠客戶將使得企業重複交易的機會更為容易， 客戶對於價格變動的敏感度亦較低。

客戶貢獻度分析 A very large A very small number of number of only marginally Profit ($MM) Percent of Accounts -80.00% -60.00% -40.00% -20.00% 0.00% 20.00% 40.00% 60.00% 80.00% 10 8 6 4 % of Accounts 2 A very large number of only marginally unprofitable accounts A very small number of highly profitable accounts -2 -4 Monthly $ Profit -6 The above is a profile of an actual banks retail customers. Notice the small green bar representing the quantity of highly profitable accounts in contrast to there monthly profitability. -8 “Highly Unprofitable Accounts" Profitable "Profitable "Unprofitable -10

客戶區隔的策略 賠錢客戶 分析客戶潛在貢獻 考慮採退出策略 不賺錢客戶 降低服務成本 採被動策略 最賺錢客戶 維持良好客戶關係 增加客戶貢獻 Profit ($MM) Percent of Accounts -80.00% -60.00% -40.00% -20.00% 0.00% 20.00% 40.00% 60.00% 80.00% 10 8 6 4 % of Accounts 2 賠錢客戶 分析客戶潛在貢獻 考慮採退出策略 不賺錢客戶 降低服務成本 採被動策略 最賺錢客戶 維持良好客戶關係 增加客戶貢獻 不許任何客戶流失 次賺錢客戶 創造能滿足客戶 需求的產品與服務 積極提昇客戶等級 -2 -4 Monthly $ Profit -6 The above is a profile of an actual banks retail customers. Notice the small green bar representing the quantity of highly profitable accounts in contrast to there monthly profitability. -8 “Highly Unprofitable Accounts" Profitable "Profitable "Unprofitable -10

顧客的交易成本分析 1.74 分行櫃員 單位交易成本 \ 美元 1.52 080 專線 0.58 自動櫃員機 (ATM) 0.44 單位交易成本 \ 美元 1.52 080 專線 0.58 自動櫃員機 (ATM) 0.44 電話理財中心 (IVR) 0.01 網路銀行 1 2 3 4 5 Source: Datamonitor, 1999.

什麼是CRM What Customers？ What Products？ What Channels？ CRM就是Customer Relationship Management，客戶關係管理。它是一管理方法，透過公司與客戶間的關係管理，可使公司辨別、吸引並增加可穫利的客戶。 What Customers？ What Products？ What Channels？

Business Intelligence CRM 系統藍圖 Front Office Customer Service Marketing Automation Operational CRM Sales Field Sales Field Service Back Office Payment 、Cash Mgmt 、Loan 、 Trade Finance 、Foreign Exchange、G/L Business Intelligence Analytical CRM Customer Activity Data Mart Product Data Warehouse Data Mining OLAP Marketing Automation (EAI Toolkits, Embedded/Mobile Agents) Closed-Loop Processing Channel Collaborative CRM Fax Call Center IVR, CTI, ACD Direct Interaction E-Mail Web Internet Bank

資料倉儲架構 Extract Transfer Cleanup Data RDB Load Warehouse DBMS MDDB 應用軟體與工具 管理平台 營運資料 Report Query EIS 資料超市 Extract Transfer Cleanup Load Data Warehouse DBMS RDB OLAP MDDB Data Mining Information Delivery System Legacy Data Repository

Business Intelligence 暫存區資料 客戶交易行為 Data Warehouse 企業智慧商訊 Business Intelligence 企業決策分析 線上多維度分析 Cubes/OLAP

How BI Solution can help 區隔客戶 – 依現有的資料將客戶分隔到不同的客群。 行銷活動(campaign)分析 – 探究並評估市場行銷活動的效能，並將季節性或其它因素考慮進去。 風險評估 – 分析過去的風險/詐騙記錄，用於評估有潛力或新取得之客戶。 脫離(churn)客戶分析 – 找出客戶轉向其它廠商的共同原因，以留住游離客戶或挽留即將離去之客戶。 相關購買產品(basket)分析 – 典型的零售業BI分析，分析不同時點下同一顧客會同時購買之產品分析。

BI Solution Loop 客戶資料 採礦與分析 瞭解客戶 需求與喜好 量身訂作適合 客戶之產品 蒐集與管理

Business Intelligence CRM 系統藍圖 Front Office Customer Service Marketing Automation Operational CRM Sales Field Sales Field Service Back Office Payment 、Cash Mgmt 、Loan 、 Trade Finance 、Foreign Exchange、G/L Business Intelligence Analytical CRM Customer Activity Data Mart Product Data Warehouse Data Mining OLAP Marketing Automation (EAI Toolkits, Embedded/Mobile Agents) Closed-Loop Processing Channel Collaborative CRM Fax Call Center IVR, CTI, ACD Direct Interaction E-Mail Web Internet Bank

METAEDGE Corporation Taiwan 美商捷智商訊科技 METAEDGE Corporation Taiwan 曾建國 Jerry Tseng Jerry.tseng@metaedge.com.tw Confidential & Proprietary

Agenda 我所知道的統計之路 客戶關係管理(CRM) 資料採礦案例

未來科技大預言 Technology Review雜誌公布改變未來的十項新興趨勢  機器與人腦的介面  • 塑膠電晶體  • 資料發掘(Data mining)  • 數位權利管理  • 生物測定學(Biometrics)  • 語言辨識處理  • 微光學技術(Microphotonics)  • 解開程式碼(Untangling code)  • 機器人設計  • 微應用流體學(Microfluidics) 

常聽見的資料採礦 卡費催繳系統為例，其先將客戶之前的催繳記錄與客戶的基本資料，包括職業、收入等輸入自建模組中，預測出最有能力繳款的欠費客戶依序列出。催繳員即可依順序打電話催繳，比傳統亂槍打鳥的催繳模式相比，客戶繳費率從傳統的10％，大幅提昇至68％。

常聽見的資料採礦 資料挖掘(Data Mining)技術適用在各種產業、任一企業中，它能協助企業挖掘資訊的價值並能轉換為企業營運的方針，例如花旗銀行利用資料挖掘(Data Mining)來辨識持卡人身分，因此每年減少兩億元以上，因盜刷而產生的銀行損失；零售業者藉由資料挖掘發現購買A品牌蘇打的客戶，有77%同時也會購B品牌的洋芋片

資料採礦定義 從儲存於資料庫的大筆資料中，有效的發掘出數值、趨勢或是相關性的過程 。

資料採礦執行步驟 訂定主題及變數 抽樣 資料擷取 資料之轉換與清理 選擇資料採礦模式 建立、測試與檢核資料採礦模型 解釋資料採礦模型

統計學預測模型流程 Population Sample Model fitting Regression Predict Testing Y=aX+b+ε ε ~ iid N(0,1)

Data Mining預測模型流程 Population Subject Model Fitting Sample 資料之整合與查核 資料清理與除錯 抽樣 假設與選擇資料採礦模型 建立資料採礦模型 Subject Model Fitting Sample 訂定資料採礦主題 Decision Tree Neural Network Rule Induction 解釋與應用採礦模型 Predict 測試與檢核資料採礦模型 Testing

訂定主題注意事項 定義主題因變數(Dependent Variable) 分析研究的範圍 研究時間點 產品別 限制條件 建立預測或是分類模型

資料常見問題 資料量不足 資料代表性不足 模型訓練 模型代表性 主題資料量不足 樣本資料量不足(甚至沒有) 季節性因素 衝擊性因素 抽樣樣本特性不足 資料轉換資訊流失 模型訓練 模型代表性 訓練模型與檢測模型

抽樣注意事項 樣本是否與母體一致 抽樣方法應用 簡單隨機抽樣 平衡抽樣 一定比率抽樣 建立檢定測試樣本

缺漏值之處理 參考其他變數 預設值取代 不予處理 刪除缺值或不合理值

測試與檢核模型注意事項 比較各模型的訓練誤差 比較較關心之變數之預估結果 比較各模型測試資料的正確率

資料採礦分析技術 群集偵測技術（Cluster Detection） 決策樹（Decision Trees） 記憶基礎推理法（Memory-Based Reasoning；MBR） 市場購物籃分析（Market Basket Analysis） 類神經網路（Neural Networks） 基因演算法（Genetic Algorithm） 區別分析（Discriminate Analysis） 羅吉斯迴歸分析（Logistic Analysis）

問題與回答

謝謝大家!! 美商捷智商訊科技

Logical Data Model 業務員代號檔 交易檔 產品代號檔 帳戶主檔 客戶主檔