資料倉儲 學習目標 了解資料倉儲的基本定義與概念 了解資料倉儲架構 說明開發與管理資料倉儲的程序 解釋資料倉儲作業

Presentation on theme: "資料倉儲 學習目標 了解資料倉儲的基本定義與概念 了解資料倉儲架構 說明開發與管理資料倉儲的程序 解釋資料倉儲作業"— Presentation transcript:

1

2 資料倉儲 學習目標 了解資料倉儲的基本定義與概念 了解資料倉儲架構 說明開發與管理資料倉儲的程序 解釋資料倉儲作業
CHAPTER 7 資料倉儲 學習目標 了解資料倉儲的基本定義與概念 了解資料倉儲架構 說明開發與管理資料倉儲的程序 解釋資料倉儲作業 解釋資料倉儲在決策支援中的角色 解釋資料整合以及抽取、轉換與載入(extraction, transformation, and load, ETL)程序 說明即時資訊倉儲 了解資料倉儲管理與安全議題 決策支援與企業智慧 Chapter 7 資料倉儲

3 前言短文 「DirecTV 利用動態資料倉儲大展鴻圖」 公司背景 問題說明 建議解決方案 結果 回答並且討論案例問題
決策支援與企業智慧 Chapter 7 資料倉儲 3

4 資料倉儲(DW) 主題 DW定義 DW特色 資料超市 ODS、EDW、metadata DW架構 DW架構 與ETL流程 DW開發
決策支援與企業智慧 Chapter 7 資料倉儲 4

5 資料倉儲定義 資料倉儲(data warehouse, DW)是為了支援決策制定產生的一群資料；它是存放對組織管理階層而言，有潛在興趣的當前與歷史性資料之處所。 資料倉儲為主題導向、整合、有時問變化性、非揮發性的資料集合 · 以支援管理決策程序。 決策支援與企業智慧 Chapter 7 資料倉儲 5

6 DW特色 主題導向 整合 有時間變化性（時間序列） 非揮發性 網站為主 關聯／多維 主從架構 即時 包含詮釋資料
決策支援與企業智慧 Chapter 7 資料倉儲 6

7 資料超市 資料倉儲結合全企業的資料庫，而資料超市(data mart)通常比較小型，並且著重特定主題或部門。資料超市為資料倉儲子系統，通常為單一主題範圍（例如行銷、營運)： 相依資料超市 直接由資料倉儲建立子系統 獨立資料超市 為策略性企業單位或部門設計的資料倉儲 決策支援與企業智慧 Chapter 7 資料倉儲 7

8 資料倉儲定義 作業資料儲存庫(ODS) 企業資料倉儲(EDW) 詮釋資料(metadata) 此類資料庫通常做為資料倉儲的中介部分
在營運資料需要多維分析時，就建立作業超市。 企業資料倉儲(EDW) 為大型資料倉儲，支援全企業中的決策活動；其大型的本質將來自許多來源的資料整合至標準格式，提供有效Bl與決策支援。 詮釋資料(metadata) 是資料中的資料；說明資料的結構與意義，從而區分為有效或無效使用 。 決策支援與企業智慧 Chapter 7 資料倉儲 8

9 資料倉儲架構與一覽圖 決策支援與企業智慧 Chapter 7 資料倉儲 9

10 資料倉儲架構 1/2 三層架構(Hoeffer, 2007) 資料倉儲本身，其中包括資料與相關軟體。
資料取得(後端)軟體，從老舊系統與外部來源抽取資料，整合與彙總以及載入資料倉儲中。 客戶(前端)軟體，讓使用者取用與分析來自倉儲資料(DSS/BI/BA引擎)。 兩層架構 在三層中的前二層結合成 有時候只有一層 決策支援與企業智慧 Chapter 7 資料倉儲 10

11 資料倉儲架構 2/2 3層架構 2層架構 1層架構 ? 第2層： 第1層： 第3層： 應用伺服器 客戶工作站 資料庫伺服器 第1層：
應用以及資料庫伺服器 決策支援與企業智慧 Chapter 7 資料倉儲 11

12 資料倉儲架構考量 決定使用哪個架構時必須考慮的議題： 應該使用哪個資料庫管理系統(DBMS)？ 是否使用平行處理以及 ／或分割？
資料升級工具是否能用來載入資料倉儲？ 應該使用什麼工具支援資料擷取與分析？ 決策支援與企業智慧 Chapter 7 資料倉儲 12

13 網站型架構 決策支援與企業智慧 Chapter 7 資料倉儲 13

14 替代型架構 1/2 決策支援與企業智慧 Chapter 7 資料倉儲 14

15 替代型架構 2/2 決策支援與企業智慧 Chapter 7 資料倉儲 15

16 企業資料倉儲 (Teradata Corporation)
交易使用者 交易資料 資料轉換 作業資料儲存(ODS) 「企業」資料倉儲 資料複製 資料超市 決策使用者 策略 使用者 戰術 OLAP報告 資料 探勘者 事件導向／ 封閉迴圈 中介軟體／企業訊息匯流 Metadata 邏輯資料模式　實體資料設計 企業、系統與資料庫管理 企業與技術——諮詢支援與教育服務 決策支援與企業智慧 Chapter 7 資料倉儲 17

17 資料倉儲結構 可能影響結構選擇決策的因素： 組織單位之問的資訊獨立性 上層管理的資訊需求 資料倉儲的緊急需求 終端使用者任務的本質
資料來源限制 執行之前的資料倉儲策略觀點 既有系統的相容性 內部 rr 人員的覺察力 技術議題 社會／政治因素 決策支援與企業智慧 Chapter 7 資料倉儲 18

18 哪個架構最好？ Bill Inmon 與 Ralph Kimball是該議題的中心人物 企業資料倉儲與資料超市方法
Ariyachandra 與Watson (2006)的實證研究 決策支援與企業智慧 Chapter 7 資料倉儲 19

19 資料整合及抽取、轉換與載入(ETL)程序
包括三個主要流程：資料取用、 資料聯合與變更擷取 各種整合技術讓metadata能夠整合： 企業應用整合(EAI) 提供工具將資料來源系統資料整合至資料倉儲中。 企業資訊整合(EII) 演變中的工具空間，提供各種資料來源即時資料整合 服務導向架構(SOA) 新的整合資訊系統方式 決策支援與企業智慧 Chapter 7 資料倉儲 20

20 資料整合及抽取、轉換與載入(ETL)流程
抽取(E)、轉換(t)與載入(l) (ETL) 流程 決策支援與企業智慧 Chapter 7 資料倉儲 21

21 ETL 影響ETL工具購買的議題 資料轉換工具很昂貴 資料轉換工具的學習曲線很長 很難測量IT組織執行成效 選擇ETL工具的重要標準
不受資料來源架構數目限制的讀取與寫入能力 自動擷取與傳遞 metadata 遵守公開標準的歷史 易於開發者與功能使用者的使用介面 決策支援與企業智慧 Chapter 7 資料倉儲 22

22 資料倉儲的助益 資料倉儲的直接助益 資料倉儲的間接助益 終端使用者可以數種方式執行衍生分析。 對公司的資料有一致的觀點是有可能的。·
好以及即時的資訊。 可以提升系統績效。 簡化資料取用。 資料倉儲的間接助益 提升企業知識 代表競爭優勢 改善客服與滿意度 協助決策制定 幫助改革企業程序 決策支援與企業智慧 Chapter 7 資料倉儲 23

23 資料倉儲開發方法 資料倉儲開發方法 哪個模式最好？ Inmon 模式：EDW 方法（由上而下）
Kimball 模式：資料超市方法（由下而上） 哪個模式最好？ 資料倉儲沒有一應俱全的策略 資料超市通常是取得建構與管理資料倉儲的便利第一步，同時讓企業使用者擁有更佳取用資料的助益；除此之外，資料超市常顯示出資料倉儲的企業價值。 取得EDW雖很理想化，然而，個別資料倉儲的開發通常提供開發EDW以及許多助益，特別是組織無法或不願意投資大型專案時。 決策支援與企業智慧 Chapter 7 資料倉儲 24

24 DW 開發方法 （Inmon 方法） （Kimball 方法） See Table 8.3 for details
決策支援與企業智慧 Chapter 7 資料倉儲 25

25 Inmon與Kimball法基本差異 決策支援與企業智慧 Chapter 7 資料倉儲

26 其他資料倉儲開發考量 一個替代方案為資料倉儲代管(hosted data warehouse)
將資料倉儲工作外包；由另一家公司在理想狀況下，有許多經驗與專長，可以開發與維護此資料倉儲。 決策支援與企業智慧 Chapter 7 資料倉儲

27 資料倉儲結構：星狀架構 決策支援與企業智慧 Chapter 7 資料倉儲 28

28 資料倉儲實做議題 專案必須符合公司策略與企業目標 。 必須獲得執行階層、管理人員與使用者的完全信任。 必須管理完成專案的使用者預期。
資料倉儲必須逐漸建立。 必須有適應力。 專案必須由 IT 與企業專業人士共同管理。 必須建立企業－供應商關係。 只載入已經清理且組織能了解的資料。 不可忽略訓練需要。 對政策變更保持警戒 · 決策支援與企業智慧 Chapter 7 資料倉儲 29

29 執行資料倉儲的風險 無使命或目標。 原始資料品質未知。 技術未到位。 不適當預算。 缺乏支援性軟體。 不能理解原始資料。 贊助者過弱。
使用者未具電腦素養。 政治問題或地盤戰。 不切實際的使用者預期。 架構與設計風險。 範圍擴展或變更需求。 供應商失去控制。 多平台。 專案中關鍵組員離開。 失去贊助者 · 過多的新科技。 必須配合某作業系統。 分散的地理環境。 團隊的地域與語言文化。 決策支援與企業智慧 Chapter 7 資料倉儲 30

30 成功資料倉儲應該避免的事 以錯誤贊助鏈做為開始 設定你無法達到的預期 政策上的無知行為 因為資訊可以取得就載入倉儲
認為資料倉儲資料庫設計與傳統資料庫設計相同 選擇技術導向而非使用者導向的資料倉儲管理員 著重傳統內部記錄導向資料，忽視外部資料以及文字、影像、或者聲音與視訊 以重疊與混淆的定義傳達資訊 相信績效、能力與擴充的承諾 在資料倉儲建立好與執行後，認為你的問題已經解決 著重特殊資料探勘以及定期報告，而非警戒 決策支援與企業智慧 Chapter 7 資料倉儲 31

31 即時資料倉儲 1/2 增加的資料量與加快的更新速度改變現代企業中資料倉儲的基本角色，傳統的資料倉儲資料通常是每週上傳，無法支援即時交易。
即時資料倉儲(real-time data warehouse, RDW)，也稱為動態資料倉儲(active data warehouse, ADW)，為透過資料倉儲載入與提供，使資料可得。 RDW/ADW的動態特性為補足並擴充使傳統資料功能提升至戰術性決策制定領域中。在組織中與顧客以及供應商直接互動的人員，將因對資訊為基礎的決策制度瞭若指掌而得到主控權。 決策支援與企業智慧 Chapter 7 資料倉儲 32

32 即時資料倉儲 2/2 傳統資料倉儲與RDW之問最顯著的差異為資料取得(data acquisition)典範的轉移(shift)。以下為造成即時資料需求的企業案例與企業要求： 企業通常無法負擔等一整天才將分析用作業資料載入資料倉儲。 直至現在，資料倉儲擷取組織的固定狀態資訊，而非每次狀態改變時漸增即時資料，長期下來，幾乎是類似的模式。 傳統的集中星型架構很難讓metadata同步。 如果是大型每晚批次載入，需要的FTL設定與處理能力必須很高，處理時問會很長。 決策支援與企業智慧 Chapter 7 資料倉儲

33 DSS 與 DW的演進 決策支援與企業智慧 Chapter 7 資料倉儲 34

34 動態資料倉儲 (Teradata Corporation提供）
決策支援與企業智慧 Chapter 7 資料倉儲 35

35 傳統與動態資料倉儲環境比較表 決策支援與企業智慧 Chapter 7 資料倉儲 36

36 資料倉儲管理 資料倉儲提供企業有效建立與使用的獨特競爭優勢，因為其大尺寸與內在本質，資料倉儲特別需要強力監督，以維持滿意效率以及生產力。
資料倉儲的成功行政與管理包括遠超於傳統資料庫管理員(DBA)的技巧與能力，資料倉儲管理員(DWA)應該熟悉高效能軟體、硬體與網路技術，並且應該擁有優異的企業洞見。 決策支援與企業智慧 Chapter 7 資料倉儲 37

37 資料倉儲的安全議題 資料倉儲的安全應該著重在四個區域：
建立有效公司與安全政策與程序。有效安全政策應該由上層經營管理階層做起，並且應該與組織內所有個人溝通。 執行選輯性安全程序與技術，以限制取用。這包括使用者授權、取用控制以及加密技術。 限制資料中心環境的實體取用。 建立有效內部控制檢查程序，並且強調安全與隱私。 決策支援與企業智慧 Chapter 7 資料倉儲 38