Volume、Velocity、Variety and Veracity 策略性巨量資料-Big data -利用巨量資料(Big Data)探討 股市與景氣燈號的關連性 MA090204 黃潮濰 MA190104 陳雁怡 MA190108 黃建璋

Volume、Velocity、Variety and Veracity What is big data?

Volume、Velocity、Variety and Veracity

Volume、Velocity、Variety and Veracity V-Veracity : Volumn：數據量 大量資料的產生、處理、保存，談的就是Big Data就字面上的意思，就是談海量資料 Velocity：時效性 這個詞我有看到幾個解釋，但我認為用IBM的解釋來說是比較恰當的，就是處理的時效，既然前頭提到Big Data其中一個用途是做市場預測，那處理的時效如果太長就失去了預測的意義了，所以處理的時效對Big Data來說也是非常關鍵的，500萬筆資料的深入分析，可能只能花5分鐘的時間 Variety：多變性 指的是資料的形態，包含文字、影音、網頁、串流等等結構性、非結構性的資料 Veracity：可疑性 指的是當資料的來源變得更多元時，這些資料本身的可靠度、品質是否足夠，若資料本身就是有問題的，那分析後的結果也不會是正確的 「大量(Volume)且多元(Variety)的資料，必須以高時效(Velocity)完成取得、分析、處理、保存，而這些資料本身必須要是可靠無虞的(Veracity)。」。 EX : Google「GOOG-411」計劃、Netflix的推薦引擎系統計畫 等…….

Volume、Velocity、Variety and Veracity London,UK http://www.bigdatainfinancialservices.com/ http://statementdog.com/

Volume、Velocity、Variety and Veracity https://sites.google.com/site/misstust/

Volume、Velocity、Variety and Veracity *經濟部主計處的評分標準。經濟指標評分方法

Volume、Velocity、Variety and Veracity 資料來源： 台灣證卷交易所 Yahoo finance 台灣銀行 OANDA ITE 行政院主計處 行政院經濟建設委員會 *主計處—GDP發佈單位 *ITE---財經資料庫 *OANDA---財經分析網站 *台灣BANK---匯率 *YAHOO FINANCE *證交所---大盤資料 *利用分析軟體、看盤軟體，

Volume、Velocity、Variety and Veracity 資料種類： 股市歷史資料 台灣指數 美國指數 (Dow jones & Nasdaq) 中國指數 (上證 & 深指) 匯率歷史資料 包括韓元、加拿大幣、新加坡元、人民幣、澳幣等十四國 景氣指標資料、國民生產毛額 *台灣指數196X年，資料欄位太多，SO資料分析皆截取2007-2013年 *景氣指標1984年 *14匯率有取得資料，但我們寫不出指標，so…

Volume、Velocity、Variety and Veracity 採集資料大小 ： 十萬筆以上欄位資料 處理方式： Excel 基本計算與分析、圖表 SQL 關聯分析、圖表 (未完成) Eview 回歸計算

Volume、Velocity、Variety and Veracity http://index.cepd.gov.tw/Result.aspx?lang=1&type=it03&p=1^1^2007,1,2013,3^3,^,,^SR0005,SR0009,^ **大至上有連動關係，但沒有絕對的情況

Volume、Velocity、Variety and Veracity 資料來源：http://statementdog.com/economics

Volume、Velocity、Variety and Veracity 資料來源：http://statementdog.com/economics 付費會員功能

Volume、Velocity、Variety and Veracity 資料來源：http://statementdog.com/economics 付費會員功能

Volume、Velocity、Variety and Veracity 資料來源：http://statementdog.com/economics 付費會員功能

Volume、Velocity、Variety and Veracity GDP 比較 Correlation coefficient 0.56 圖一 景氣燈號 比較 大盤指數只佔景氣領先指標成份的七分之一 Correlation coefficient 0.69 圖二 相關係數計算委託由成大財金所學生計算得出 計算區間為 2007 ~ 2013 年自身取得資料

Volume、Velocity、Variety and Veracity Big data 的功能 ? 科技業 電信、金融業 零售業 科技業 製造業者，亟需從製程參數彙集大量樣本 電信、金融業 基於決策輔助、精準行銷等目的 需要從川流不息的資料執行細膩分析 覓得足以帶動營收增長的線索 零售業 可以透過分析巨量資料得到詳細的數據

Volume、Velocity、Variety and Veracity Big data 萬能 ? 難以預測 Big Data 可以增加的價值 技術限制或分析技巧不足 導致無法真正了解資料背後的意涵 無法聘雇專業人員處理分析巨量資料 擔心侵犯隱私權與相關安全議題

Volume、Velocity、Variety and Veracity Big data vs Data Mining ? 圖片來源：Cochrane Associates Global

Volume、Velocity、Variety and Veracity 資料的「擷取、組織、分析、決策」 「求得資訊之涵義、追求資訊之價值」 資料的「生、流、存、算、用、看」

Volume、Velocity、Variety and Veracity

Volume、Velocity、Variety and Veracity Business Challenges :難以預測、需要各方專家、龐大費用 Management : 常時監控數據變動、 完整記錄數據資料，以彙集大量樣本 Organization : 重新規劃資料收集流程、多方採集大量樣本與資料比對 Technology : 導入雲端科技應用、分散式運算及存取與即時分析系統 Information System : Big data 科技、平台 Business Solution :基於決策輔助、精準行銷等目的 以不斷的資料細膩分析增加資料可用性