Volume、Velocity、Variety and Veracity

Presentation on theme: "Volume、Velocity、Variety and Veracity"— Presentation transcript:

1 Volume、Velocity、Variety and Veracity
策略性巨量資料-Big data -利用巨量資料(Big Data)探討 股市與景氣燈號的關連性 MA 黃潮濰 MA 陳雁怡 MA 黃建璋

2 Volume、Velocity、Variety and Veracity
What is big data?

3 Volume、Velocity、Variety and Veracity

4 Volume、Velocity、Variety and Veracity
V-Veracity : Volumn：數據量 大量資料的產生、處理、保存，談的就是Big Data就字面上的意思，就是談海量資料 Velocity：時效性 這個詞我有看到幾個解釋，但我認為用IBM的解釋來說是比較恰當的，就是處理的時效，既然前頭提到Big Data其中一個用途是做市場預測，那處理的時效如果太長就失去了預測的意義了，所以處理的時效對Big Data來說也是非常關鍵的，500萬筆資料的深入分析，可能只能花5分鐘的時間 Variety：多變性 指的是資料的形態，包含文字、影音、網頁、串流等等結構性、非結構性的資料 Veracity：可疑性 指的是當資料的來源變得更多元時，這些資料本身的可靠度、品質是否足夠，若資料本身就是有問題的，那分析後的結果也不會是正確的 「大量(Volume)且多元(Variety)的資料，必須以高時效(Velocity)完成取得、分析、處理、保存，而這些資料本身必須要是可靠無虞的(Veracity)。」。 EX : Google「GOOG-411」計劃、Netflix的推薦引擎系統計畫 等…….

5 Volume、Velocity、Variety and Veracity
London,UK

6 Volume、Velocity、Variety and Veracity

7 Volume、Velocity、Variety and Veracity
*經濟部主計處的評分標準。經濟指標評分方法

8 Volume、Velocity、Variety and Veracity
資料來源： 台灣證卷交易所 Yahoo finance 台灣銀行 OANDA ITE 行政院主計處 行政院經濟建設委員會 *主計處—GDP發佈單位 *ITE---財經資料庫 *OANDA---財經分析網站 *台灣BANK---匯率 *YAHOO FINANCE *證交所---大盤資料 *利用分析軟體、看盤軟體，

9 Volume、Velocity、Variety and Veracity
資料種類： 股市歷史資料 台灣指數 美國指數 (Dow jones & Nasdaq) 中國指數 (上證 & 深指) 匯率歷史資料 包括韓元、加拿大幣、新加坡元、人民幣、澳幣等十四國 景氣指標資料、國民生產毛額 *台灣指數196X年，資料欄位太多，SO資料分析皆截取 年 *景氣指標1984年 *14匯率有取得資料，但我們寫不出指標，so…

10 Volume、Velocity、Variety and Veracity
採集資料大小 ： 十萬筆以上欄位資料 處理方式： Excel 基本計算與分析、圖表 SQL 關聯分析、圖表 (未完成) Eview 回歸計算

11 Volume、Velocity、Variety and Veracity
**大至上有連動關係，但沒有絕對的情況

12 Volume、Velocity、Variety and Veracity
資料來源：

13 Volume、Velocity、Variety and Veracity
資料來源： 付費會員功能

14 Volume、Velocity、Variety and Veracity
資料來源： 付費會員功能

15 Volume、Velocity、Variety and Veracity
資料來源： 付費會員功能

16 Volume、Velocity、Variety and Veracity
GDP 比較 Correlation coefficient 0.56 圖一 景氣燈號 比較 大盤指數只佔景氣領先指標成份的七分之一 Correlation coefficient 0.69 圖二 相關係數計算委託由成大財金所學生計算得出 計算區間為 2007 ~ 2013 年自身取得資料

17 Volume、Velocity、Variety and Veracity
Big data 的功能 ? 科技業 電信、金融業 零售業 科技業 製造業者，亟需從製程參數彙集大量樣本 電信、金融業 基於決策輔助、精準行銷等目的 需要從川流不息的資料執行細膩分析 覓得足以帶動營收增長的線索 零售業 可以透過分析巨量資料得到詳細的數據

18 Volume、Velocity、Variety and Veracity
Big data 萬能 ? 難以預測 Big Data 可以增加的價值 技術限制或分析技巧不足 導致無法真正了解資料背後的意涵 無法聘雇專業人員處理分析巨量資料 擔心侵犯隱私權與相關安全議題

19 Volume、Velocity、Variety and Veracity
Big data vs Data Mining ? 圖片來源：Cochrane Associates Global

20 Volume、Velocity、Variety and Veracity
資料的「擷取、組織、分析、決策」 「求得資訊之涵義、追求資訊之價值」 資料的「生、流、存、算、用、看」

21 Volume、Velocity、Variety and Veracity

22 Volume、Velocity、Variety and Veracity
Business Challenges :難以預測、需要各方專家、龐大費用 Management : 常時監控數據變動、 完整記錄數據資料，以彙集大量樣本 Organization : 重新規劃資料收集流程、多方採集大量樣本與資料比對 Technology : 導入雲端科技應用、分散式運算及存取與即時分析系統 Information System : Big data 科技、平台 Business Solution :基於決策輔助、精準行銷等目的 以不斷的資料細膩分析增加資料可用性

23