資料倉儲與資料前置處理 報告者：謝仁瑋.

Presentation on theme: "資料倉儲與資料前置處理 報告者：謝仁瑋."— Presentation transcript:

1 資料倉儲與資料前置處理 報告者：謝仁瑋

2 報告大鋼 資料倉儲 資料倉儲的特性 資料倉儲的實作 資料前置處理的原因

3 資料倉儲 資料倉儲(Data warehouse) 利用大量歷史資料之資料庫，提供彙總或是統計的資訊，以支援決策

4 線上分析處理與資料探勘 線上分析處理(OLAP) 資料探勘(Data mining)
是多維度結構的資料分析工具，能夠以不同的主題和角度，快速查出各種統計資料，例資料排名、增長率等。 資料探勘(Data mining) 利用分類、群集分析、關連性、序列分析、機器自我學習及其它統計方法，自歷史資料庫中，找出隱藏、未知的，但卻有用的資訊。 線上分析處理是真實的呈現出查詢的結果，而結果的解讀則是由使用者自行加以判斷。而資料探勘則是探勘出新且有用的知識，在資料的運用更勝於資料倉儲。

5 資料倉儲的特性(1) 整合的資料 􀁸 將不同來源的資料以一致的命名方式、統一度量單位、相同格式等加以整合儲存，以利未來使用者的存取。
◦ 主題導向的資料 􀁸 在公司內，各部門因為業務性質不同，所使用的作業性資料也會因部門而有所不同，像是客服部門就只會存放產品和客戶資料；製造部門就只會存放零件與供應商的資料。其中有些資料對決策並沒有幫助，例如客戶的電話。

6 資料倉儲的特性(2) 歷史性資料 資料倉儲主要是提供過去某個時期的運作狀態，例如過去三年、五年，或是最近半年的銷售金額、獲利率等資訊，藉此分析、幫助決策，決定未來企業應採取的策略。 唯讀資料 當我們將作業性資料轉移到資料倉儲後，應當就不需再做什麼變動，除非是輸入錯誤的資料，所以資料倉儲主要是在提供資料快速彙總與查詢的功能，而不在於資料修改的功能。不需更新，頂多只需定期加入新資料，或是移出部分老舊的資料

7 資料倉儲與一般資料庫的差異 􀁠 一般關聯式資料庫使用關聯資料表儲存資料；而資料倉儲則使用多維度資料庫結構

8 資料倉儲的操作 分為下鑽(dirll-down)、上捲(roll-up)、切片(slice)、轉軸(piovt) 下鑽(再細分)

9 資料倉儲的操作 上捲(一季變一年)

10 資料倉儲的操作 切片(3d轉2d) 轉軸(橫的轉縱的)

11 資料倉儲的實作 資料描述 ◦ 假設一個類似網路線上購物網站◦ 其線上資料庫(簡稱OLT: On-Line Transaction 資料庫)包含四個資料表 會員資料表 商品資料表 商品類別資料表 交易資料表

12 需求假設 假設依據訪談結果，得到以下需求 針對上述各種分析需求，發現主要的索引主軸有：客戶、產品、時間三大類。 希望能對每一位客戶做銷售分析
希望能針對每一項產品做銷售業績分析 希望能對每一分類產品做銷售業績分析 希望能對付款方式做銷售分析 希望能對年度、季、月做銷售分析 針對上述各種分析需求，發現主要的索引主軸有：客戶、產品、時間三大類。

13 過程 第一步去排不需要的資料如電話、地址等

14 設計事實資料表 在交易資料表內，交易編號與交易數量是因為銷售所產生，所以兩者一定是事實資料。
訂單中的單價與銷售總金額，也是事實資料，單價可以由產品資料表的「售價」欄位提供。 (事先將其納入，可以避免每次必須到商品資料表查詢售價，加快彙總的計算) 在事實資料表內還需要包含關聯到三個維度資料表的索引欄位：會員帳號、商品編號、交易時間。 另外還加入付款方式欄位

15 設計時間維度資料表 由交易紀錄表得知交易時間是時間維度資料，時間階層選擇「年、季、月、日」。
實際上資料庫內並沒有一個時間資料表，但是可以由交易日期欄位計算出日期所屬的「年、季、月、日」資訊(關聯)。

16 最後設計完成的資料倉儲

17 資料前置處理的原因 資料不完整(data incomplete) 資料有雜訊(noise)
資料中某些屬性值有遺缺(少寫資料) 資料有雜訊(noise) 資料有錯誤或是特例(outlier)造成 資料不一致(data inconsistency) Ex: 商品價格在台灣是以台幣計價，在美國則是美金計價

18 資料遺缺填補法 直接忽略法 人工填補法 自動填補法 將資料遺缺的地方填入”未知/unKown”

19 雜訊去除法-裝箱法(等寬分割法) 公式為W=(B-A)/N 將資料的數值範圍劃分為N 個間隔相同的區間 A和B 分別為此屬性中的最小與最大值
12, 15, 18, 21, 28, 33, 36, 45, 50, 52 , 60 , 80 欲分割為四個箱子則箱子寬度=(80-12)/4=17

20 雜訊去除法-裝箱法(等深分割法) 將資料劃分為N 個資料數量大致相同的區間 《例》假設將12樣商品的價格資料排序如下：
12, 15, 18, 21, 28, 33, 36, 45, 50, 52 , 60 , 80 四個箱子則每個箱子均含三筆資料(寬度12/4=3)

21 裝箱資料的平緩處理 邊界值是若一數值離最小值較接近便用最小值取代、若離最大值較近便由最大值取代

22 資料正規化-極值正規化 主要目的是將不同標準之下所記錄的資料轉換到同一個標準，以便提高分析時的準確度。 極值正規化 公式 +
公式 假設某a地月收入範圍為[20000(a),100000()b] ，某b地上班族月收入範圍為[2000(c)，10000(d)]；在某a地收入30000(v)元相當於某b地收入多少？

23 資料正規化-Z-分數正規化 Z-分數正規化是運用平均值和標準差做計算 公式 /標準差
公式 /標準差 假設臺灣人月收入平均為35000元，標準差是10000元，將月收入30000元做正規化