Business Model and Core Technologies of Cloud Computing 雲端運算-商業模式、核心技術與架構 Business Model and Core Technologies of Cloud Computing Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

Haduzilla / Hadop4Win / Ezilla WHO AM I ? 這傢伙是誰啊？JAZZ？ 講者介紹： 國網中心　王耀聰　副研究員/交大電控八九級碩士 jazz@nchc.org.tw 所有投影片、參考資料與操作步驟均在網路上 http://trac.nchc.org.tw/cloud 由於雲端資訊變動太快，愛護地球，請減少不必要之列印。 行動力薄弱的開發者 TRTC WSU/ Haduzilla / Hadop4Win / Ezilla FOSS使用者 Debian/Ubutnu Access Grid Motion/VLC Red5 Debian Router DRBL/Clonezilla Hadoop 推廣者 DRBL/Clonezilla Partclone/Ezilla Hadoop Ecosystem

Agenda 演講大綱 雲端商業模式及三大關鍵技術 雲端運算與鴻海產品線之關聯 架構即服務：虛擬化技術 平台即服務：資料分析技術 軟體即服務：網頁服務技術

Three Key Technologies of Cloud Computing 雲端商業模式及三大關鍵技術 Three Key Technologies of Cloud Computing Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

What is Cloud Computing ? 什麼是雲端運算啊？ What is Cloud Computing ? http://www.youtube.com/watch?v=bJLSAcU6O3U 當紅「雲端運算」 你瞭解了嗎？ http://www.youtube.com/watch?v=VIMtd3nfPqc 雲端產業 8分鐘就上手

Paradigm Shift of Cloud Business Model !! 雲端商業模式的典範轉移 軟體從買斷變成租賃 Office 2007 → Google Docs / Office 365 硬體從買斷變成租賃 PC / Server → Hosting / Colocation → Amazon EC2 / S3 軟體從單機變成行動 Outlook → Webmail → Mail Web Apps → Mail Mobile Apps 硬體從固定變成行動 PC / Server → NB / Tablet → Pad / Mobile

The wisdom of Clouds (Crowds) 雲端序曲：雲端的智慧始終來自於群眾的智慧 2006年8月9日 Google執行長施密特（Eric Schmidt）於SES'06會議中首次使用 「雲端運算（Cloud Computing）」來形容無所不在的網路服務 2006年8月24日 Amazon以Elastic Compute Cloud命名其虛擬運算資源服務 Source: http://www.cnet.co.uk/i/c/blg/cat/software/cloudcomputing/clouds1.jpg

New IT Architecture toward Cloud Computing !! 用雲掌握資料，加以分析，形成智能給端用 雲端設計新思維：端的智能來自於雲的服務 Devices share the wisdom of Cloud 雲 資料中心 提供服務 端 各類裝置 存取服務

美國國家標準局NIST給雲端運算所下的定義 National Definition of Cloud Computing 美國國家標準局NIST給雲端運算所下的定義 5 Characteristics 五大基礎特徵 4 Deployment Models 四個佈署模型 3 Service Models 三個服務模式 1. On-demand self-service. 隨需自助服務 2. Broad network access 隨時隨地用任何網路裝置存取 3. Resource pooling 多人共享資源池 4. Rapid elasticity 快速重新佈署靈活度 5. Measured Service 可被監控與量測的服務

雲端運算的四種佈署模型 4 Deployment Models of Cloud Computing Public Cloud 公用雲端 Target Market is S.M.B. 主要客戶為 中小企業 Dynamic Resource Provisioning between public and private cloud 私有雲端動態根據計算需求 調用公用雲端的資源 以大型企業 為主要客戶 Enterprise is key market 私有雲端 Private Cloud Hybrid Cloud Community Cloud 社群雲端 Academia 學術為主

3 Service Models of Cloud Computing 三種服務模式（商業模式市場區隔） IaaS Infrastructure as a Service 架構即服務 PaaS Platform as a Service 平台即服務 SaaS Software as a Service 軟體即服務

Key Driving Forces of Cloud Computing 雲端運算的關鍵驅動力 個人 用任何連網裝置 都可以存取資料 端 隨需 行動服務 Mobile Service 企業 租賃取代買斷 動態隨需付費 全球 資料往雲擺 減少資料傳輸 降低 經營成本 Cost Down 因應 資料爆炸 Data Explore 雲

Three Key Technologies !! 三種服務模式vs.三大關鍵技術 隨需 行動服務 Mobile Service SaaS Software as a Service 軟體即服務 Web 2.0 網頁服務 因應 資料爆炸 Data Explore PaaS Platform as a Service 平台即服務 Big Data 資料分析 降低 經營成本 Cost Down IaaS Infrastructure as a Service 架構即服務 Virtualization 虛擬化技術

Roadmap to build Your Enterprise Cloud !! 佈建企業雲端的時程規劃 智慧服務 SaaS 採用雲端服務 Cloud CRM 上下游整合 Mashup Service 分析平台 PaaS 建立API Public API 供應鍊共享 Supply Chain 目前多數 還在這裡 基礎建設 IaaS 初期常態租賃 Static VM 後期動態租賃 Dynamic VM 建立私有雲 Build Private Cloud 導入公有雲 Adopt Public Cloud / Community Cloud 形成混合雲 Be Hybrid Cloud

Gartner Priority Matrix for Cloud Computing, 2010 !! 連 Gartner 也是這麼說的！ 兩年內應該 導入虛擬化技術 五年內應該 導入 Big Data Source: “Hype Cycle for Cloud Computing, 2011“, David Mitchell Smith, Gartner http://www.gartner.com/id=1753115

The Relation betweeen Cloud Computing and Foxconn 雲端運算與鴻海產品線之關聯 The Relation betweeen Cloud Computing and Foxconn Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

Cloud Market Segmentation of Foxconn !! 鴻海集團的雲端定位 應用軟體 供應商 端 各類裝置 存取服務 行動裝置 共通平台 軟體服務 供應商 雲 資料中心 提供服務 資料中心 機房維運 基本硬體 建設組件

Let's focus on the product of Foxconn !! 鴻海產品線的雲端定位 物聯網 應用軟體 供應商 居家照護 行動裝置 共通平台 手　機 機上盒 軟體服務 供應商 準系統 資料中心 機房維運 主機板 伺服器 交換器 路由器 基本硬體 建設組件 儲存器 光纖卡

Relation between Cloud Technologies and Foxconn Products!! 給鴻海產品線與雲端關鍵技術的八個建議 光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4

Introduction to Virtualization Technologies 架構即服務：虛擬化技術 Introduction to Virtualization Technologies Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

CIO 2010 : Virtualization, Cloud and Web 2.0 Source: Gartner Executive Programs : “ Leading in Times of Transition: The 2010 CIO Agenda ”

First Wave of Cloud : Virtualization 企業導入雲端第一波主打：虛擬化！！ 導入虛擬化的效益高於雲端運算 導入評量指標： 總硬體使用率(100% CPU使用?) 總電源開銷、空調、管理人力 商業解決方案： VMWare ESXi / vSphere Microsoft Hyper-V Citrix XenServer 預期效益： 減少伺服器採購成本與營運成本 (Server Consolidation) 增加管理彈性與災害復原機制 (Ex. 異常斷電造成的服務修復)

Virtual Hardware / OS 模擬硬體/作業系統 Physical Hardware / OS 實際硬體/作業系統 Virtualization ?? Emulator ?? 模擬器，最早的虛擬化技術?? Virtual Hardware / OS 模擬硬體/作業系統 QEMU Physical Hardware / OS 實際硬體/作業系統 Mac4Lin mame4iphone

What is Virtualization ??虛擬化技術有哪些呢?? Application Virtualization 應用程式虛擬化 桌面虛擬化 Desktop Virtualization Client Virtualization Presentation Virtualization 顯示虛擬化 OS-level Virtualization 作業系統虛擬化 Network Virtualization 網路虛擬化 Storage Virtualization 儲存虛擬化 Source: http://en.wikipedia.org/wiki/Virtualization

虛擬化技術對應的自由軟體 Open Source for Virtualization Application Virtualization Ex. VMWare ThinApp Redhat SPICE Desktop Virtualization Client Virtualization Presentation Virtualization VNC, FreeNX, FreeRDP OS-level Virtualization Xen, KVM, OpenVZ QEMU, VirtualBox Network Virtualization OpenFlow vSwitch Storage Virtualization Lessfs, SDFS

美國國家標準局的定義主要鎖定虛擬化技術 NIST Mapping of Cloud Technologies 5. Measured Service 可被監控與量測的服務 Monitoring / AAA 狀態監控與認證收費機制 VM Management Tool 虛擬機器管理平台 1. On-demand self-service. 隨需自助服務 2. Broad network access 隨時隨地用任何網路裝置存取 OS-level Virtualization 作業系統虛擬化 Network Virtualization 網路虛擬化 3. Resource pooling 多人共享資源池 4. Rapid elasticity 快速重新佈署靈活度 Storage Virtualization 儲存虛擬化

OS-level Virtualization Network Virtualization Storage Virtualization NIST Mapping of Open Source Cloud 美國國家標準局的定義對應自由軟體技術 Monitoring / AAA 狀態監控與認證收費機制 Ganglia, Nagios / OpenID, SAML VM Management Tool 虛擬機器管理平台 OpenStack (美) OpenNebula (歐) OS-level Virtualization 作業系統虛擬化 Xen, KVM, OpenVZ Network Virtualization 網路虛擬化 OpenFlow vSwitch Storage Virtualization 儲存虛擬化 Lessfs, SDFS, ZFS

光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手 機 物聯網 路由器 主機板 Web 2.0 網頁服務 資料分析 8 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4 趨勢(1) 為了建構虛擬化架構，需要共通儲存設施！ 建議(1) 進行對儲存虛擬化支援性的測試及策略聯盟 行動(1) 從RAID到分散式檔案系統的效能測試

Why Storage Virtualization !! 為何需要儲存虛擬化？ VM Server #1 VM Server #2 Cold Migration VM #1 VM #1 服務可能 會中斷 VHD Of VM #1 Copy File VHD Of VM #1

Why Storage Virtualization !! 為何需要儲存虛擬化？ VM Server #1 VM Server #2 Live Migration VM #1 VM #1 服務不中斷 儲存虛擬化 儲存抽象化 儲存標準化 Shared Network Storage (Ex. NFS, iSCSI, AoE, NAS, SAN) VHD Of VM #1

Why Storage Virtualization !! 為何需要儲存虛擬化？ VM Server #1 VM Server #2 Windows VM #1 Windows VM #2 Shared Storage Facility (Ex. NAS, SAN) VHD Of VM #1 VHD Of VM #2 Same Files Windows Windows

Deduplication? 去除重複儲存的資料？ 資料整合為跨單位整合的第一步!! 商業硬體方案：EMC、NetApp 自由軟體方案： ZFS、Lessfs、SDFS...

光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手 機 物聯網 路由器 主機板 Web 2.0 網頁服務 資料分析 8 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4 趨勢(2) 為了建構虛擬化架構，需要新的網路拓樸！ 建議(2) 進行對網路虛擬化支援性的測試及策略聯盟 行動(2) 導入OpenFlow / OpenVSwitch 標準

Why Network Virtualization !! 為何需要網路虛擬化？ VM Server #1 VM Server #2 VM #1 VM #2 VM #3 VM #4 Virtula Switch #1 Virtula Switch #2

Why Network Virtualization !! 為何需要網路虛擬化？ VM Server #1 VM Server #2 VM #1 VM #2 VM #3 VM #4 Physical Switch

Why Network Virtualization !! 為何需要網路虛擬化？ VM Server #1 VM Server #2 Migration VM #1 VM #2 VM #3 VM #4 Overlay Network needs New Protocol VLAN #2 VLAN #1 Physical Switch

Why Network Virtualization !! 為何需要網路虛擬化？ VM Server #1 VM Server #2 VM #1 VM #4 VM #3 VM #2 Dynamic Overlay Network VLAN #2 VLAN #1 Physical Switch

OpenFlow Network Virtualization 網路虛擬化標準 Open Networking Foundation為非營利組織，致力推廣「軟 體定義網路(Software-Defined Networking; SDN)」的新網 路方法 SDN包含幾個相當重要的元素，其中關鍵為OpenFlow，其能 為服務供應商提供更精確的網路基礎設施管理能力 http://www.openflow.org/

光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手 機 物聯網 路由器 主機板 Web 2.0 網頁服務 資料分析 8 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4 趨勢(3) 為了建立資料中心，主機板大量出貨！ 建議(3) 設計支援虛擬化、省電、高工作溫度的主機板 行動(3) 評估Open Compute Project

2009/04/01 谷歌公開神秘的伺服器設計（愚人節？） Google Servers (2009-04-02上傳) http://www.youtube.com/watch?v=J139Aelaf0g

1. 主機板透過直流供電（12V），電池當UPS（電容防突波） → 所以後來演變成「貨櫃電腦」也是直流供電！ Google 伺服器設計師 Ben Jai(翟本喬，現任台達電) 1. 主機板透過直流供電（12V），電池當UPS（電容防突波） → 所以後來演變成「貨櫃電腦」也是直流供電！ → 直流供電的轉換效率較佳（少一級AC/DC），降低廢熱 → 谷歌甚至注意以12伏特經由銅線導電會比5伏特來有效率 2. 兩顆硬碟（為了 Big Data 運算特性） 3. 記憶體插滿（這依舊是為了 Big Data 運算特性） 4. 主機板拿掉不必要的介面晶片（光碟機、音效卡、顯示卡） → 省電！只留必要的介面（RS232,鍵盤滑鼠，USB，網路） http://tfajang.pixnet.net/blog/post/24425368-google神秘伺服器大公開

Open Compute Project of Facebook 臉書的開放運算計畫 http://opencompute.org/ ，Since 2011 April

[1] Open Compute Project：facebook的謀略 http://www.bnext.com.tw/article/view/cid/0/id/17924 [2] 帶動開放雲端平台　華碩支持Open Compute Project(OCP)專案 http://www.digitimes.com.tw/tw/dt/n/shwnws.asp?id=0000259916_1YA8G7432BZVPB5RJ1HZX

http://www.netadmin.com.tw/article_content.aspx?sn=1202070005

光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手 機 物聯網 路由器 主機板 Web 2.0 網頁服務 資料分析 8 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4 趨勢(4) 嵌入式裝置進入多核心時代！ 建議(4) 選擇應用軟體多的嵌入式作業系統！ 行動(4) 評估導入嵌入式虛擬化技術！

Virtualization for Embedded Device ? 虛擬化只用在「雲」嗎？那「端」呢? 雲 端 集中，大廠 Centerized， Enterprise 多元，中小廠 Diversify， SMB

嵌入式軟體採用虛擬化技術的三大動機 Motivation for Embedded Virtualization co-existence of different OS environment on the same platform 讓同一個硬體平台上共存不同的作業系統 isolating critical components from an untrusted OS environment 在不被信任的作業系統上建立獨立的管制區 an indirection level for remote control of OS environments 為作業系統建立一個間接的遠端遙控機制 多核心 Multiple Cores 參考來源：Embedded systems virtualization: Consider a Hypervisor http://www.eetimes.com/design/automotive-design/4016811/Embedded-systems-virtualization-Consider-a-Hypervisor 參考來源：10 questions to ask when choosing a virtualization solution http://www.eetimes.com/design/eda-design/4006406/10-questions-to-ask-when-choosing-a-virtualization-solution

應用程式是在同一個裝置跑多作業系統的關鍵驅動力 Application : Key drivers of Multiple OS in one device 應用程式是在同一個裝置跑多作業系統的關鍵驅動力 圖片來源：http://www.iphonic.tv/iphone_screen_amaze.png 圖片來源：http://en.wikipedia.org/wiki/File:Smartphone_share_current.png 參考來源：iPhone - Playing mame4iphone with a WiiMote http://www.youtube.com/watch?v=2AqgIWPnrlc 參考來源：Android running on iPhone! http://linuxoniphone.blogspot.com/2010/04/ive-been-working-on-this-quietly-in.html http://www.youtube.com/watch?v=5yO2KQHkt4A 參考來源：Android on Motorola Rokr E6 http://www.youtube.com/watch?v=-QAWd4ljV3g 參考來源：Dual Boot Windows Mobile and Android http://www.redmondpie.com/how-to-dual-boot-windows-mobile-and-android-on-windows-phone-9140407/ http://www.youtube.com/watch?v=Nvj4ObHmxCI

Communicate with Message Channel Digital Rights Management Virtualization for Embedded Security 為了安全性，必須建立獨立的管制區 區域間用訊息傳遞方式溝通 Communicate with Message Channel DRM 音樂授權 Digital Rights Management 通訊模組 控制程序 GSM / 3 G Module Controller 參考來源：Embedded systems virtualization: Consider a Hypervisor http://www.eetimes.com/design/automotive-design/4016811/Embedded-systems-virtualization-Consider-a-Hypervisor 參考來源：Securing Smart Grid Devices - Using Virtualization to Protect the Grid http://embeddedinnovator.com/securing-smart-grid-devices

firmware-over-the-air Remote control to wipe data Upgrade and Data Security : Key drivers of remote control 有助於作業系統升級並保護手機被偷時的資料安全 FOTA 韌體升級管制 firmware-over-the-air 遠距資料清除 Remote control to wipe data 讓不同版本共存 Co-exist OS 輸入*#06#查IMEI 參考來源：Embedded systems virtualization: Consider a Hypervisor http://www.eetimes.com/design/automotive-design/4016811/Embedded-systems-virtualization-Consider-a-Hypervisor

Open Source for Embedded Virtualization 嵌入式虛擬化技術的自由軟體 Embedded XEN on ARM platforms http://embeddedxen.sf.net

Introduction to Big Data and related Technologies 平台即服務：資料分析技術 Introduction to Big Data and related Technologies Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

WHAT What is Big Data ? 何謂海量資料 趨勢 定義 挑戰：管理維度 The Six Dimensions 定義 Definitions 趨勢 Trends Source: http://www.2010taipeiexpo.tw/ct.asp?xItem=17186&CtNode=5952&mp=3

Trends of Market Needs 市場需求趨勢 美國軟體就業市場分析，根據indeed與simply hired兩間公司的趨勢觀察，都得到一樣的結果： Big Data > Cloud Computing > Hadoop > NoSQL Gartner CIO Agenda 2012 前三名： [1] Business Intelligence (Big Data) [2] Mobile technology [3] Cloud Computing 參考來源：http://www.gartner.com/DisplayDocument?id=1524714

How BIG? 讓我們先來認識一下容量單位

Data Explosion!!始於2007的「資料大爆炸」時代 2007年，IDC預估2010年會成長六倍！（相較2006年） 2006 161 EB 2010 988 EB (預測) 出處：The Expanding Digital Universe, A Forecast of Worldwide Information Growth Through 2010, March 2007, An IDC White Paper - sponsored by EMC http://www.emc.com/collateral/analyst-reports/expanding-digital-idc-white-paper.pdf

Data Explosion!!始於2007的「資料大爆炸」時代 2009年，IDC預估2011年會成長十倍！（相較2006年） 2006 161 EB 2007 281 EB 2010 988 EB (預測) 2011 1773 EB (預測) 出處：The Diverse and Exploding Digital Universe, An Updated Forecast of Worldwide Information Growth Through 2011 March 2008, An IDC White Paper - sponsored by EMC http://www.emc.com/collateral/analyst-reports/diverse-exploding-digital-universe.pdf

Data expanded 1.6x each year !!每年約略1.6倍 追蹤歷年的IDC數據： 2006 161 EB 2007 281 EB 2008 487 EB 2009 800 EB (0.8 ZB) 2010 988 EB (預測) 2010 1200 EB (1.2 ZB) 2011 1773 EB (預測) 2011 1800 EB (1.8 ZB) 景氣差而成長趨緩？ 或受新技術抑制？ 出處：Extracting Value from Chaos, June 2011, An IDC White Paper - sponsored by EMC http://www.emc.com/collateral/about/news/idc-emc-digital-universe-2011-infographic.pdf

What is Big Data?! 何謂『海量資料』？ 海量資料泛指資料大小已無法用一般軟體擷取、管理與處理； 單一資料集大小介於數十TB至數PB的資料。 'Big Data' = few dozen TeraBytes to PetaBytes in single data set. 出處：http://en.wikipedia.org/wiki/Big_data 多個檔案，容量100TB 一個資料庫，容量100TB 一個檔案，容量100TB

Gartner Big Data Model ? 海量資料的模型？ 海量資料的挑戰在於如何管理「數量」、「增加率」與「多樣性」 Volume 資料數量 (amount of data) Velocity 資料增加率 (speed of data in/out) Variety 資料多樣性 (data types, sources) Batch (批次作業) Realtime (即時資料) TB EB Unstructured 非結構化資料 Semi-structured 半結構化資料 Structured 結構化資料 PB 參考來源： [1] Laney, Douglas. "3D Data Management: Controlling Data Volume, Velocity and Variety" (6 February 2001) [2] Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data, June 2011

Six Dimensions of Big Data? 六個維度？ Velocity 資料增加率 Volume 資料數量 Variety 資料多樣性 資料驗證 Validation 資料複雜度 Complexity 資料族系 Lineage Source: Big Data, not Big Problems, http://www.talend.com/products-big-data/

12D of Information Management? 12個維度？ 品質管控 權限管控 Big Data 只是終極 資訊管理 的開端！ 數量管控 Source: Gartner (March 2011), 'Big Data' Is Only the Beginning of Extreme Information Management, 7 April 2011, http://www.gartner.com/id=1622715

Why should we care? 為何需要關切 What is Big Data ? 何謂海量資料 Why should we care? 為何需要關切 智慧 Wisdom 知識 Knowledge 資料 Data WHY

Why we call it “ SMART ” !! 智慧打哪兒來？！ Smart Phone 智慧手機 Smart Car 智慧車輛 SMART 哪裡長 智慧了？ Smart Grid 智慧電網 Smart City 智慧城市 Smart Home 智慧家庭 Smart Meter 智慧電錶 智慧 Wisdom 知識 Knowledge 資料 Data

Can Machine understand You? 讓機器更懂你？ http://www.ettoday.net/news/20120215/25085.htm

Evolution of Software / Service 軟體演化勢必走向『智能化』 行動版　隨時存取 Mobile Cloud Service 網路版 多人共享 Share Service Software 單機版 個人使用 Personal Software 實體 Physical Mobile Mail Web Mail E-Mail 信箱 Mailbox Mobile TV Web TV Ex. Youtube 電視盒 Setop Box 電視 TV M-Office Google Docs Office 打字機 Typer Writer Flash Wengo Skype 數位電話 PBX 電話 Telephone 微網誌 Twitter 部落格 Blog 電子佈告欄 BBS 佈告欄 Bullet Borad

How to handle it ? 三大因應策略 智慧服務 SaaS 資料安全 Security 儲存虛擬化 Dedup. HOW

The SMAQ stack for big data 海量資料處理的資訊架構 未來處理海量資料的人必需知道SMAQ（Storage, MapReduce and Query） 做網頁相關的人可能聽過LAMP 參考來源：The SMAQ stack for big data，Edd Dumbill，22 September 2010，　　　 　　　　　http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 圖片來源：http://smashingweb.ge6.org/wp-content/uploads/2011/10/apache-php-mysql-ubuntu.png

The SMAQ stack for big data 海量資料處理的資訊架構 用來儲存分散、沒有關聯的非結構化資料 參考來源：The SMAQ stack for big data，Edd Dumbill，22 September 2010，　　　 　　　　　http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html

The SMAQ stack for big data 海量資料處理的資訊架構 運用批次處理的方式，將運算工作平均分散到許多的伺服器做運算。 參考來源：The SMAQ stack for big data，Edd Dumbill，22 September 2010，　　　 　　　　　http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html

The SMAQ stack for big data 海量資料處理的資訊架構 將算完的結構化資料儲存到可供查詢的資料庫系統 參考來源：The SMAQ stack for big data，Edd Dumbill，22 September 2010，　　　 　　　　　http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html

Three Core Technologies of Google .... Google的三大關鍵技術 .... Google shared their design of web-search engine SOSP 2003 : “The Google File System” http://labs.google.com/papers/gfs.html OSDI 2004 : “MapReduce : Simplifed Data Processing on Large Cluster” http://labs.google.com/papers/mapreduce.html OSDI 2006 : “Bigtable: A Distributed Storage System for Structured Data” http://labs.google.com/papers/bigtable-osdi06.pdf

MapReduce Google File System Open Source Mapping of Google Core Technologies Google三大關鍵技術對應的自由軟體 Hadoop Distributed File System (HDFS) Sector Distributed File System Hadoop MapReduce API Sphere MapReduce API, ... HBase, Hypertable Cassandra, .... Google File System To store petabytes of data MapReduce To parallel process data BigTable A huge key-value datastore 更多不同語言的MapReduce API實作： http://trac.nchc.org.tw/grid/intertrac/wiki%3Ajazz/09-04-14%23MapReduce 其他值得觀察的分散式檔案系統： IBM GPFS - http://www-03.ibm.com/systems/software/gpfs/ Lustre - http://www.lustre.org/ Ceph - http://ceph.newdream.net/

光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手 機 物聯網 路由器 主機板 Web 2.0 網頁服務 資料分析 8 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4 趨勢(5) 建構資料分析架構，需要龐大的儲存設施！ 建議(5) 思考如何從硬體架構增加I/O 行動(5) 從RAID、PCIe SSD介面著手

http://www.eettaiwan.com/articleLogin.do?artId=8800664853

光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手 機 物聯網 路由器 主機板 Web 2.0 網頁服務 資料分析 8 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4 趨勢(6) 建構資料分析架構，需要龐大的儲存設施！ 建議(6) 思考硬體架構該如何匹配，才能增加I/O 行動(6) 從南北橋晶片下手

I/O Impedance ? 資料通量達成匹配？ 電路講究阻抗匹配，資料探勘講究計算與讀寫通量的匹配。 FLOPS=~IOPS FLOPS >> IOPS

當讀寫I/O遠慢於CPU運算時，會發生IOWAIT 程式執行與狀態監控形成回饋控制（Feedback Control）

Web 2.0, Distributed Databases and NoSQL 軟體即服務：網頁服務技術 Web 2.0, Distributed Databases and NoSQL Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

New IT Architecture toward Cloud Computing !! 用雲掌握資料，加以分析，形成智能給端用 雲端設計新思維：端的智能來自於雲的服務 Devices share the wisdom of Cloud 雲 資料中心 提供服務 端 各類裝置 存取服務

曾經有人問道：我是學電機的，那電機與控制跟雲端有甚麽關聯性？ 4. 下載最佳路徑 1. 上傳行進軌跡 6. 上傳最佳路徑執行狀態 (判斷是否需要修正） 3. 運算 最佳路徑 2. 運算 掃過區域 起始座標 掃過區域 5. 執行 最佳路徑 曾經有人問道：我是學電機的，那電機與控制跟雲端有甚麽關聯性？

Web 1.0 vs Web 2.0 非同步回應的資訊架構

Common Architecture 通用架構 RESTful API 3. 取得分析結果 (AJAX Response) 分散式資料庫(Q) 2. 查詢分析結果 (AJAX Request) 資料分析平台(MA) 資料來源/受控體 物聯網/遠距醫療 手機/機上盒 1. 上傳初始資料 4. 上傳修正資料 共用儲存架構(S)

How to scale up web service in the past ? 大型網頁服務的參考架構 Source: http://www.slideshare.net/mallipeddi/scalable-lamp-development-for-growing-web-apps

Tools used by large scale websites 大型網頁服務常用的軟體組件 Perlbal - http://www.danga.com/perlbal/ 多個網頁伺服器的負載平衡 Load balancer MogileFS - http://www.danga.com/mogilefs/ 分散式檔案系統 Distributed File System for small files 有公司認為 MogileFS 比起 Hadoop 適合拿來處理小檔案 memcached - http://memcached.org/ 共享記憶體?? Share Memory 把資料庫或經常讀取的部分，用記憶體快取(Cache)方式存放 Moxi - http://code.google.com/p/moxi/ Memcache 的 PROXY More Resource: http://code.google.com/p/memcached/wiki/HowToLearnMoreScalability http://www.slideshare.net/techdude/scalable-web-architectures-common-patterns-and-approaches

Data, Information, Knowledge, Wisdom 知識管理模型：資料、資訊、知識與智慧 http://www.pursuantgroup.com/blog/tag/dikw-model/

Business Intelligence 商業智慧 Data Mining 資料探勘 若想要達成商業智慧的目標，請先做資料整合、資料倉儲與探勘平台 Data Warehouse 資料倉儲 Data Integration 資料整合 ERP 金流 CRM 人事 MES 倉管物流 KMS 資訊流 TOM 資訊流 Logs / Files 系統日誌 Compute 計算設施 虛擬化 Virtualization Network 網路設施 Storage 儲存設施

Data Integration ? 怎麼做資料整合？ Source : http://en.wikipedia.org/wiki/Data_integration Figure 2: Simple schematic for a data- integration solution. A system designer constructs a mediated schema against which users can run queries. The virtual database interfaces with the source databases via wrapper code if required. Figure 1: Simple schematic for a data warehouse. The ETL process extracts information from the source databases, transforms it and then loads it into the data warehouse.

The way toward Business Inteligence 通往商業智慧的漫長道路 Storage Virtualization 儲存虛擬化 Network Virtualization 網路虛擬化 OS-level Virtualization 作業系統虛擬化 Data Integration 資料整合 Data Warehouse 資料倉儲 Data Mining 資料探勘 Business Inteligence 商業智慧

Data Scientist !! 成功關鍵在於資料科學家!! 會「統計」的人照過來！ 財星雜誌(FORTUNE)等均報導今年最熱門的職缺是「資料科學家」！ Source : http://tech.fortune.cnn.com/2011/09/06/data-scientist-the-hot-new-gig-in-tech/ http://visualoop.tumblr.com/post/4052912103/the-role-of-the-data-scientist

光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手 機 物聯網 路由器 主機板 Web 2.0 網頁服務 資料分析 8 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4 趨勢(7) 未來人們將透過各種裝置存取整理過的資料！ 建議(7) 跳脫單機思維，走向跨不同裝置的共用介面 行動(7) 從資料分析結果，建立巨型共用資料庫

光纖卡 伺服器 機上盒 居家照護 儲存器 交換器 準系統 手 機 物聯網 路由器 主機板 Web 2.0 網頁服務 資料分析 8 手　機 物聯網 路由器 主機板 Web 2.0 網頁服務 8 Big Data 資料分析 5 6 7 Virtualization 虛擬化技術 1 2 3 4 趨勢(8) 未來人們將透過口語、手勢來跟裝置互動！ 建議(8) 跳脫機械思維，發揮「以人為本」的精神！ 行動(8) 用AJAX搭配Apps，發揮資料整理後的效益

走向雲端運算的道路是一場「整體戰」！ 要靠各產品線各部門一同打拚！ 建議(1) 進行對儲存虛擬化支援性的測試及策略聯盟 行動(1) 從RAID到分散式檔案系統的效能測試 建議(2) 進行對網路虛擬化支援性的測試及策略聯盟 行動(2) 導入OpenFlow / OpenVSwitch 標準 建議(3) 設計支援虛擬化、省電、高工作溫度的主機板 行動(3) 評估Open Compute Project 建議(4) 選擇應用軟體多的嵌入式作業系統！ 行動(4) 評估導入嵌入式虛擬化技術！ 建議(5) 思考如何從硬體架構增加I/O 行動(5) 從RAID、PCIe SSD介面著手 建議(6) 思考硬體架構該如何匹配，才能增加I/O 行動(6) 從南北橋晶片下手 建議(7) 跳脫單機思維，走向跨不同裝置的共用介面 行動(7) 從資料分析結果，建立巨型共用資料庫 建議(8) 跳脫機械思維，發揮「以人為本」的精神！ 行動(8) 用AJAX搭配Apps，發揮資料整理後的效益

Slides - http://trac.nchc.org.tw/cloud Questions? Slides - http://trac.nchc.org.tw/cloud Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw