第14章 顧客資料倉儲
目錄 導讀—中華賓士 第一節 資料倉儲的定義與內涵 第二節 資料倉儲的沿革 第三節 資料倉儲的學理 第四節 資料倉儲的系統模式與架構 第五節 資料倉儲的建置 第六節 資料倉儲的技術發展 個案—台灣大哥大:資料應用的點子才是重點
導讀—中華賓士 在市場競爭情勢及企業內部資料管理架構不足的原因驅動下,中華賓士高層決定投入CRM專案的經營及開發。中華賓士採取的第一個動作是建置資料倉儲系統,亦即是將依企業各個部門使用者不同的需求層面建立資料架構,重新開發適當的系統模型,以強化資料蒐集及分析的能力。 這次CRM系統的建置,是藉由分析企業使用者需求,以「維度模型」重新測度及規劃出中華賓士顧客資料的構面,且檢視原先資料架構及內容不足和正確性。透過這樣的努力,目前中華賓士的使用者已可以自行在3分鍾時間內順利依自己的需求構面取得資料,改善過去必須依賴IT人員做資料擷取,自行分析,花費3日至5日的費時費力窘境。
現今的資料通常遇到的問題 巨量的紀錄,流通筆數已大到令人無法想像。 高維度的資料,資料的維度增加傳統分析技 術的難度。 蒐集到的眾多資料,卻只採用一小部分來分 析(5% 到10%)。 蒐集資料的過程中,本身並不具有延伸性的探討特性,以導致常常忽略其未來潛在的重要性
資料倉儲的定義 資料倉儲是一種電子資訊集中儲存所在 不同來源、不同型態的資料經過淨化(Cleansing)、轉換(Transformation)之後以齊一的型態,有組織地排列儲存於倉儲內 廣義的資料倉儲指的是一種解決方案,除了資料集中儲存,還包括了線上分析的功能。
一、技術觀點 資料倉儲是利用網路、介面程式及整合工具將不同來源、不同資料結構的資料,經過萃取(Extraction)、合併(Consolidation)、過濾(Filtering)、淨化 (Cleansing)、轉換(Conversion)及統合(Aggregation)等技術,並將資料儲存在一個儲存器(Repository),供分析工具進行決策分析。
二、實務觀點 資料倉儲是將散布各地方之不同來源、不同型態的作業資料、詳細及彙總資料、歷史資料,經過整合,排除錯誤的、不足的或不恰當的資料,並以主題分類、挑選及轉換至另一種資料庫的結構中,提供管理階層快速查詢及決策分析。
資料倉儲與傳統資料庫的比較
資料倉儲與資料超市 資料倉儲(Data Warehouse)核心部分存放著企業整體廣域的資料,而資料超市(Data Mart)是針對各業務單位或部門提供決策資訊,換句話說,資料倉儲也可以是由數個資料超市所組成。
資料倉儲的優點 1.減少對主機系統的依賴,有效降低企業成本。 2.資料來源可從異質性與分散性資料庫中取得。 3.整合各單位間文件,使規格趨於一致。 4.提供即時有效的查詢與分析資訊。 5.簡單快速的操作介面。 6.根據歷史資料,分析未來趨勢,以利決策的制定
資料倉儲的缺點 1.龐大的資料倉儲建構成本。 2.複雜的開發過程。 3.開發前置作業較傳統異動式資料庫久。 4.應用程式介面不足。 5.使用者需經過教育訓練。
潛在問題 需求界定不易 具備戰略性價值資訊保存不易
企業建立資料倉儲的目的 企業建置資料倉儲的目的在於建立一個資料儲存庫(Data Repository),使作業性的資料能夠以現有的格式進行分析處理的活動,例如決策支援系統、EIS、以及其他業務人員使用的應用系統。
資料倉儲的好處 1. 讓終端應用系統使用者可以進行大規模的分析 2. 為企業的資料提供一個整合的觀點
建置資料倉儲的考慮因素 成本 架構 將資料倉儲放在企業內部網路 適當性
資料倉儲的系統模式
典型的資料倉儲架構
資料倉儲的架構主要由四大要素組成 1.資料轉換工具:將原始資料經萃取轉換成資料倉儲的格式,並檢查錯誤資料以確保倉儲系統資料的正確與完整性。 2.資料倉儲:儲存各分散之資料來源,內容包含歷史資料與目前資料,用以提供決策分析工具。 3.媒介資料:儲存倉儲資料的相關資訊,如資料的選用、存放的格式與位置、資料的擁有者、資料可靠度與資料更新的頻率等。 4.前端使用工具:提供圖形使用介面(GUI)以簡易的方式完成資料查詢與分析的工作,常見的前端使用工具如報表工具、決策支援系統(DSS)、線上分析處理(OLAP)與線上交易處理(OLTP)等。
資料倉儲的建置流程 萃取(Extraction) 合併(Consolidation) 過濾(Filtering) 清理(Cleansing) 轉換(Conversion) 整合(Aggregation)
資料倉儲的建置步驟 1.資訊系統之分析 2.需求規格說明 3.概念層設計 4.工作量與維度綱要之確認 5.邏輯層設計 6.實體層設計
資料倉儲的技術發展 線上交易處理(OLTP) 線上分析處理(OLAP) 資料庫中的知識發現(KDD)的基礎、工具與技術
線上交易處理(OLTP) 線上交易處理有下述五點特性: 支援主從式架構,交易能在網路中任一平台進行 保證交易資料的正確與完整 支援各種網路協定,能橫跨不同的網絡模式 系統必須提供交易的監督與管理工具 系統必須提供最高可用度(High Availability)與快速反應時間
線上分析處理(OLAP) 在線上分析處理資料模型中,資料是 以超方體(Cube)來表示,其中主要 包含了以下二個項目: 維度(Dimension):是一敘述性項目,如時間、地點、產品、部門等 衡量值(Measure):是一計量化的項目,如銷售金額、銷售數量、存貨量、銷售收入等
超方體的內容
線上分析處理的技術可分為三類 OLAP 工具提供以下兩大功能 多維式OLAP(MOLAP) 關聯式OLAP(ROLAP) 混合式OLAP(HOLAP) OLAP 工具提供以下兩大功能 快速的分析查詢能力 多維度資料展示
線上分析處理技術的比較
個案-台灣大哥大:資料應用的點子才是重點