大數據的解決方案 (以Hadoop為中心) 目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集

Presentation on theme: "大數據的解決方案 (以Hadoop為中心) 目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集"— Presentation transcript:

1 大數據的解決方案 (以Hadoop為中心) 目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集
樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器

2 大數據的大？ 分散式檔案系統 儲存 備份 防災 恢復 HDFS Google S3 Others Hypter table HBase
Cassandra 目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器 Hypter table HBase Others

3 大數據的快？ 串流+即時分析 串流 清理 判斷 決策 Spark Tez Storm Shark Dremel SPSS Pregel
目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器 Dremel SPSS MapReduce

4 大數據的多？ 高速網路+感測器 觀察 產生 收集 傳送 感測器 Web 手機 平板 其它裝直 IPv6 節能技術 Others 5G
目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器 IPv6 節能技術 Others

5 大數據的雜？ NoSQL+NewSQL 數位 文字 非結構 結構化 KV Doc Mem Graph TokuDB InfiniDB
MySQL Cluster 目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器 Infobright TokuDB InfiniDB

6 大數據的鎂？ 數學+程式+軟體 理論 分析 工具 實作 統計學 線性代數 機率論 資料科學 商用軟體 開源專案 程式語言 第三方函數
目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器 第三方函數 商用軟體 開源專案

7 大數據的好？ 機器學習+預測 預測 應用 商用 非商用 人工智慧 Mahout Weka 其它 預測 新理論 商用 科學研究
目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器 科學研究 預測 新理論

8 機器哪裏來？ 小而密集的機器 叢集 雲端 P2P 晶片 Grid 虛擬機 容器 Amazon Google GPU 叢集 裝置 晶片
Hadoop 服務 目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器 P2P GPU 叢集 裝置 晶片

9

10 目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器

11 目前做不到的：機率性太高的(博奕) 大數據的核心：預測 預測來自於：分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理 關聯性的尋找來自於分析 分析所需的處理能力 分析依據的理論 運算能力及儲存能力 雲端運算 虛擬化 容器

12

13 大數 據生 態圈 大數據收集 大數據應用 大數據處理 大數據理論 Android 開發 iOS開發 物聯網 車聯網 感測器 機器 學習 文字
語音 辨識 影像 辦識 模式 辨識 HTML CSS3 網頁 開發 監控 系統 Drones 機器人 NLP 資料 分析 資料 清洗 資料 倉儲 Mahout Arduino Raspberry Pi 穿戴 裝置 健康 裝置 Google 眼鏡 Weka 視覺化 資料 融合 資料 發現 搜索 引擎 虛擬 實境 擴增 實境 智慧 家居 智慧 辦公 智慧 城市 決策 分析 推薦 系統 防止 詐騙 無人 駕駛 網路 爬蟲 4G/LTE 5G 寬頻 iBeacon RF …. 疾病 預測 災害 預測 Elastic search Apache Lucene Splunk 大數據處理 大數據理論 Map Reduce Cassandra Azure Avro MongoDB 線性 代數 工程 數學 統計學 機率 理論 大數據 基礎 Spark Storm Cloudera Horton Works MapR 叢集 理論 分片 理論 多重資 料模式 ETL JSON XML Hadoop NoSQL NewSQL HDFS YARN 正規 表示法 ETL R 語言 Python 語言 Java 語言 VMware Hyper-V KVM Xen Vagrant Open Stack Scala 語言 Git Github SPSS SAS Chukwa Nutch 叢集 Linux Apache Mesos Zoo Keeper Paxos Linux OLAP R Studio Excel CSV SKLearn …