How to prepare yourself for the upcoming Cloud Era 站上雲端。扭轉趨勢 How to prepare yourself for the upcoming Cloud Era Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

What are the trend of next 10 years ? 什麼是下個十年的熱門工作技能? 似乎亞洲國家特別熱愛雲端?! Too Hot in Asia ?!

How hot is Cloud and Virtualization ? 雲端運算與虛擬化有多熱門呢? 雲端運算 虛擬化

Are the trends telling the truth ? 你確定沒有被圖表晃點嗎? iPad iPhone Android 雲端運算

Part 1 : Overview of Cloud Computing 淺談雲端運算的定義與驅動力 Part 1 : Overview of Cloud Computing Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

什麼是雲端運算啊？ What is Cloud Computing ? http://www.youtube.com/watch?v=Z5f2FQkLfdo (中文版) http://www.youtube.com/watch?v=ae_DKNwK_ms (原文版)

雲端序曲：雲端的智慧始終來自於群眾的智慧 The wisdom of Clouds (Crowds) 雲端序曲：雲端的智慧始終來自於群眾的智慧 2006年8月9日 Google執行長施密特（Eric Schmidt）於SES'06會議中首次使用 「雲端運算（Cloud Computing）」來形容無所不在的網路服務 2006年8月24日 Amazon以Elastic Compute Cloud命名其虛擬運算資源服務 Source: http://www.cnet.co.uk/i/c/blg/cat/software/cloudcomputing/clouds1.jpg

什麼是雲端運算啊？可以個簡單的定義嗎？ What is Cloud Computing ? 雲端運算怎麼聽起來要買一些新硬體、新軟體啊？ Is it about buying NEW Hardware and Software? 雲端運算可能只是拿來振興經濟的幌子吧？ Is it a trap to another bubble economy ? 我聽你們在那裡講五四三..... Cloud Computing is as simple as 5..4..3..2..1...

美國國家標準局NIST給雲端運算所下的定義 National Definition of Cloud Computing 美國國家標準局NIST給雲端運算所下的定義 5 Characteristics 五大基礎特徵 4 Deployment Models 四個佈署模型 3 Service Models 三個服務模式 1. On-demand self-service. 隨需自助服務 2. Broad network access 隨時隨地用任何網路裝置存取 3. Resource pooling 多人共享資源池 4. Rapid elasticity 快速重新佈署靈活度 5. Measured Service 可被監控與量測的服務

雲端運算的四種佈署模型 4 Deployment Models of Cloud Computing Public Cloud 公用雲端 Target Market is S.M.B. 主要客戶為 中小企業 Dynamic Resource Provisioning between public and private cloud 私有雲端動態根據計算需求 調用公用雲端的資源 以大型企業 為主要客戶 Enterprise is key market 私有雲端 Private Cloud Hybrid Cloud Community Cloud 社群雲端 Academia 學術為主

3 Service Models of Cloud Computing 雲端運算的三種服務模式（市場區隔） IaaS Infrastructure as a Service 架構即服務 PaaS Platform as a Service 平台即服務 SaaS Software as a Service 軟體即服務

2 R&D directions : Cloud or Device 兩大研究方向：你該選「雲」還是「端」? 雲 端 集中，大廠 Centerized， Enterprise 多元，中小廠 Diversify， SMB

One key spirit of Cloud Computing 用一句話說明雲端運算!服務才是王道! Anytime 隨時 Key spirit of Cloud ~ 形成服務才是重點!! Everything as a Service !! Anywhere 隨地 With Any Devices 使用任何裝置 Accessing Services 存取各種服務 Cloud Computing =~ Network Computing 雲端運算 =~ 網路運算

Evolution of Cloud Services 雲端服務只是軟體演化史的必然趨勢 行動版　隨時存取 Mobile Cloud Service 網路版 多人共享 Share Service Software 單機版 個人使用 Personal Software 實體 Physical Mobile Mail Web Mail E-Mail 信箱 Mailbox Mobile TV Web TV Ex. Youtube 電視盒 Setop Box 電視 TV M-Office Google Docs Office 打字機 Typer Writer Flash Wengo Skype 數位電話 PBX 電話 Telephone 微網誌 Twitter 部落格 Blog 電子佈告欄 BBS 佈告欄 Bullet Borad

Key Driving Forces of Cloud Computing 雲端運算的關鍵驅動力 用任何連網裝置 都可以存取資料 端 隨需 行動服務 Mobile Service 租賃取代買斷 動態隨需付費 資料往雲擺 減少資料傳輸 降低 經營成本 Cost Down 因應 資料爆炸 Data Explore 雲

（"It's the economy, stupid"） 卡維爾（James Carville）自創這句標語， 「笨蛋！重點在經濟」 （"It's the economy, stupid"） 卡維爾（James Carville）自創這句標語， 促使柯林頓當上美國第42屆總統。 - 1992 年 「笨蛋！重點還是在經濟」 （"It's STILL the economy, stupid"） 卻讓小布希嘲笑是幼稚的總統。 - 2002 年 雲端時代，谷歌會說：「笨蛋！重點在資料」 （"It's the data, stupid"） 誰掌握了你的資料，就有機會掌握你的荷包 想想看，電腦、手機掉了，您心疼的是甚麽呢？ - 2007 年

2007 Data Explore Top 1 : Human Genomics – 7000 PB / Year Top 2 : Digital Photos – 1000 PB+/ Year Top 3 : E-mail (no Spam) – 300 PB+ / Year Source: http://www.emc.com/collateral/analyst-reports/expanding-digital-idc-white-paper.pdf Source: http://lib.stanford.edu/files/see_pasig_dic.pdf

Lesson #1: One cluster can't fit all ! 教訓一：叢集的單一設定無法滿足所有需求! Answer #1: Virtual Cluster 新服務：虛擬化叢集 Lesson #2: Grid for Heterogeneous Enterprise ! 教訓二：格網運算該用在異業結盟的資源共享! Answer #2: Peak Usage Time 尖峰用量發生時間點

Source : http://awsmedia. s3. amazonaws

教訓三：資料搬運的網路與時間成本! Lesson #1: One cluster can't fit all ! 教訓一：叢集的單一設定無法滿足所有需求! Answer #1: Virtual Cluster 新服務：虛擬化叢集 Lesson #2: Grid for Heterogeneous Enterprise ! 教訓二：格網運算該用在異業結盟的資源共享! Answer #2: Peak Usage Time 尖峰用量發生時間點 Lesson #3: Extra cost to move data to Grid ! 教訓三：資料搬運的網路與時間成本! Answer #3: Total Cost of Ownership 總擁有成本 Cost Down is the Key Drive !! 降低營運成本才是企業導入雲端運算的關鍵考量!!

Part 2 : How to improve your IT competitiveness using Cloud Service 如何運用雲端技術協助企業提昇競爭優勢 Part 2 : How to improve your IT competitiveness using Cloud Service Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

CIO 2010 : Virtualization, Cloud and Web 2.0 Source: Gartner Executive Programs : “ Leading in Times of Transition: The 2010 CIO Agenda ”

雲端運算 大量資訊分析 智慧裝置 參考來源：善用雲端架構 打造企業人才庫，作者：麥肯錫，出處：天下雜誌455期（2010/09） http://www.cw.com.tw/article/print.jsp?id=41776

社交網路 即時搜尋 評價排行榜 New Data Science : Social Network + Realtime Search 當「社交網路」遇上「即時搜尋」 ＝ 即時市場行銷分析 評價排行榜 即時搜尋 社交網路 參考來源：創意行銷／臉書行銷 每天400萬顧客在線上　　　【經濟日報╱潘俊琳】 　　　　　http://udn.com/NEWS/FINANCE/FIN11/5901891.shtml

雲端運算 平板行動應用 社交溝通協作 多媒體內容 次世代分析 社交分析 情境感知運算 儲存等級記憶體 無所不在的運算 模組化基礎建設 Source：http://www.digitimes.com.tw/tw/dt/n/shwnws.asp?Cnlid=4&cat=400&cat1=20&id=0000205798_CUZ63ZS3LCRY7E7UBK6V8

端 雲 平板行動應用 社交網路 社交溝通協作 評價排行榜 多媒體內容 SaaS : Web 2.0 即時搜尋 次世代分析 社交分析 PaaS : Big Data 社交分析 情境感知運算 智慧裝置 IaaS : Virtualization 儲存等級記憶體 大量資訊分析 無所不在的運算 模組化基礎建設 雲 雲端運算 雲端運算

Adjust #1: Virtualization 企業導入雲端第一波主打：虛擬化！！ 導入虛擬化的效益高於雲端運算 導入評量指標： 總硬體使用率(100% CPU使用?) 總電源開銷、空調、管理人力 商業解決方案： VMWare ESXi / vSphere Microsoft Hyper-V Citrix XenServer 預期效益： 減少伺服器採購成本與營運成本 (Server Consolidation) 增加管理彈性與災害復原機制 (Ex. 異常斷電造成的服務修復)

How to Evaluate the need of Virtualization ? 如何評估對虛擬化的需求?? 關鍵驅動因素 預算刪減?節約能源?提高現有硬體使用率? 導入評估工具 Microsoft Assessment and Planning (MAP) Toolkit for Hyper-V Hyper-V 評估工具: 收集 Server 使用情況，產生評估報告等 Open Source: MRTG, Gangalia, Nagios, .... 蒐集CPU用量、記憶體用量、尖峰負載發生時間、批次排程時間 隱含額外成本 若想獲得虛擬化帶來的好處（災害復原與動態負載平衡），需要 額外建置共享的儲存設施。

Thin Client and VDI for next IT procurement ? 未來改採購精簡型電腦與桌面虛擬化?? 桌面虛擬化的需求越來越高?? 導入評量指標： 總電源開銷、空調、管理人力 既存共用儲存設施 資料機敏性高，不容外洩 商業解決方案： VMWare Viewer 4 Microsoft Hyper-V Citrix XenDesktop 預期效益： 降低電力損耗(需評估) 減少資料外洩(搭配資安政策) Source:http://www.vmware.com/files_inline/images/vdi_diagram_new_01.gif

Hidden Cost : Storage Virtualization 潛在成本：儲存虛擬化 資料整合為跨單位整合的第一步!! 導入評量指標： 資料所有權/散佈權/重覆比例 資料成長量= ?? PB/Year 現有資料副本個數/災害復原能力 商業硬體方案：EMC、NetApp 商業軟體方案：IBM GPFS 自由軟體方案： Lustre、ZFS、GlusterFS... 預期效益： 減少資料重覆(Data Deduplication) 提供異地副本備份、災害復原機制

企業導入雲端第二波主打：Web 2.0！！ Adjust #2: Web 2.0 Web 2.0 的精神在『使用者參與』 導入評量指標： 行銷與市場調查的成本 產品銷售通路的成本 產品協同開發的需求 雲端服務解決方案： Salesforce.com CRM Google Apps for Business iPhone Apps, Android Apps .... 預期效益： 減少行銷與市場調查成本 增加銷售管道與協同合作機制 隨需行動服務新商機

Webonomics, The Attention Economy, Cloudonomics 網頁經濟、注意力經濟、雲端經濟：重點都在吸引眼球注意力 參考來源：創意「舌刷」Orabrush如何靠YouTube行銷影片一年大賣3000萬元、113個國家 　　　　　http://mr6.cc/?p=5228

企業導入雲端第三波主打：Big Data！！ Adjust #3: Big Data 企業導入雲端第三波主打：Big Data！！ 參考來源：提升商業分析效果　資料倉儲業提倡資料社交化　（2010/10/27） 　　　　　http://goo.gl/2GoMo

Part 3 : How to prepare yourself for the upcoming Cloud Era 因應雲端新時代的準備 Part 3 : How to prepare yourself for the upcoming Cloud Era Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw

我還在學校唸書～ 雲端運算跟各科系的關係？ 我唸的是電機系耶～嵌入式系統跟雲端會有關係嘛？ 我唸音樂、生物的，雲端跟我們有啥關係啊？

http://www.youtube.com/watch?v=NJgQboewoOg

http://www.youtube.com/watch?v=s0f3JeDVeEo

Devices share the wisdom of Cloud

http://soundcloud.com

http://cloud.genomics.org.cn

我還在找工作～ 我該學哪些與雲端有關的技能呢？ 我已經有穩定的工作～ 我該幫公司導入哪些雲端技術呢？

Web 2.0 介面, Mashups, Workflows, … Reference Cloud Architecture 雲端運算的參考架構 User-Level Middleware Core Middleware User-Level System Level IaaS PaaS SaaS 虛擬化 Virtualization VM, VM management and Deployment 控制管理 Control Qos Neqotiation, Ddmission Control, Pricing, SLA Management, Metering… 程式語言 Programming Web 2.0 介面, Mashups, Workflows, … 應用軟體 Application Social Computing, Enterprise, ISV,…

Open Source to build Cloud Service 建構雲端服務的自由軟體 硬體設施 Hardware Infrastructure: Computer, Storage, Network 虛擬化 Virtualization VM, VM management and Deployment 控制管理 Control Qos Neqotiation, Ddmission Control, Pricing, SLA Management, Metering… 程式語言 Programming Web 2.0 介面, Mashups, Workflows, … 應用軟體 Application Social Computing, Enterprise, ISV,… Xen, KVM, VirtualBox, QEMU, OpenVZ, ... OpenNebula, Enomaly, Eucalyptus , OpenQRM, ... Hadoop (MapReduce), Sector/Sphere, AppScale eyeOS, Nutch, ICAS, X-RIME, ...

Building IaaS with Open Source 用自由軟體打造IaaS服務 硬體設施 Hardware Infrastructure: Computer, Storage, Network 虛擬化 Virtualization VM, VM management and Deployment 控制管理 Control Qos Neqotiation, Ddmission Control, Pricing, SLA Management, Metering… 程式語言 Programming Web 2.0 介面, Mashups, Workflows, … 應用軟體 Application Social Computing, Enterprise, ISV,… eyeOS, Nutch, ICAS, X-RIME, ... Hadoop (MapReduce), Sector/Sphere, AppScale OpenNebula, Enomaly, Eucalyptus , OpenQRM, ... Xen, KVM, VirtualBox, QEMU, OpenVZ, ...

What is Virtualization ?? 虛擬化技術有哪些呢?? Application Virtualization 應用程式虛擬化 Source: http://en.wikipedia.org/wiki/Virtualization 桌面虛擬化 Desktop Virtualization Client Virtualization Presentation Virtualization 顯示虛擬化 OS-level Virtualization 作業系統虛擬化 Network Virtualization 網路虛擬化 Storage Virtualization 儲存虛擬化

虛擬化技術對應的自由軟體 Open Source for Virtualization 應用程式虛擬化 桌面虛擬化 Application Virtualization 應用程式虛擬化 Ex. VMWare ThinApp Redhat SPICE Desktop Virtualization 桌面虛擬化 Presentation Virtualization 顯示虛擬化 VNC, FreeNX OS-level Virtualization 作業系統虛擬化 Xen, KVM, OpenVZ Network Virtualization 網路虛擬化 OpenFlow vSwitch Storage Virtualization 儲存虛擬化 Lessfs, SDFS

美國國家標準局的定義主要鎖定虛擬化技術 NIST Mapping of Cloud Technologies 5. Measured Service 可被監控與量測的服務 Monitoring / AAA 狀態監控與認證收費機制 VM Management Tool 虛擬機器管理平台 1. On-demand self-service. 隨需自助服務 2. Broad network access 隨時隨地用任何網路裝置存取 OS-level Virtualization 作業系統虛擬化 Network Virtualization 網路虛擬化 3. Resource pooling 多人共享資源池 4. Rapid elasticity 快速重新佈署靈活度 Storage Virtualization 儲存虛擬化

美國國家標準局的定義對應自由軟體技術 NIST Mapping of Open Source Cloud Monitoring / AAA 狀態監控與認證收費機制 Ganglia, Nagios / OpenID, SAML VM Management Tool 虛擬機器管理平台 OpenNebula, Eucalyptus OS-level Virtualization 作業系統虛擬化 Xen, KVM, OpenVZ Network Virtualization 網路虛擬化 OpenFlow vSwitch Storage Virtualization 儲存虛擬化 Lessfs, SDFS, ZFS

VMM Tool #1: Eucalyptus 原是加州大學聖塔芭芭拉分校(UCSB)的研究專案 It was a research project of UCSB, USA 目前已轉由Eucalyptus System這間公司負責維護 Now Eucalyptus System provide technical supports. 創立目的是讓使用者可以打造自己的EC2 It designed to help user to build their own Amazon EC2 特色是相容於 Amazon EC2 既有的用戶端介面 Its feature is compatible with existing EC2 client. 優勢是Ubuntu 9.04 已經收錄 Eucalyptus 的套件 Ubuntu Enterprise Cloud powered by Eucalyptus in 9.04 目前有提供 Eucalyptus 的官方測試平台供註冊帳號 You can register trail account at http://open.eucalyptus.com/ 缺點：目前仍有部分操作需透過指令模式 Cons：you might need to type commands in some case 關於 Eucalyptus 的更多資訊，請參考 http://trac.nchc.org.tw/grid/wiki/Eucalyptus

VMM Tool #2: OpenNebula http://www.opennebula.org 由歐洲研究學會(European Union FP7 )贊助 Sponsor by European Union FP7 將實體叢集轉換成具管理彈性的虛擬基礎設備 Turn Physical Cluster into Virtual Cluster 可管理虛擬叢集的狀態、排程、遷徙(migration) manage status, scheduling and migration of virtual cluster Ubuntu 9.04 provide package of opennebula 缺點：需下指令來進行虛擬機器的遷徙(migration)。 Cons：You need to type commands to check or migration 關於 OpenNebula 的更多資訊，請參考http://trac.nchc.org.tw/grid/wiki/OpenNEbula

Building PaaS with Open Source 用自由軟體打造PaaS雲端服務 硬體設施 Hardware Infrastructure: Computer, Storage, Network 虛擬化 Virtualization VM, VM management and Deployment 控制管理 Control Qos Neqotiation, Ddmission Control, Pricing, SLA Management, Metering… 程式語言 Programming Web 2.0 介面, Mashups, Workflows, … 應用軟體 Application Social Computing, Enterprise, ISV,… Xen, KVM, VirtualBox, QEMU, OpenVZ, ... OpenNebula, Enomaly, Eucalyptus , OpenQRM, ... Hadoop (MapReduce), Sector/Sphere, AppScale eyeOS, Nutch, ICAS, X-RIME, ...

Three Core Technologies of Google .... Google的三大關鍵技術 .... Google shared their design of web-search engine SOSP 2003 : “The Google File System” http://labs.google.com/papers/gfs.html OSDI 2004 : “MapReduce : Simplifed Data Processing on Large Cluster” http://labs.google.com/papers/mapreduce.html OSDI 2006 : “Bigtable: A Distributed Storage System for Structured Data” http://labs.google.com/papers/bigtable-osdi06.pdf

MapReduce Google File System Open Source Mapping of Google Core Technologies Google三大關鍵技術對應的自由軟體 Hadoop Distributed File System (HDFS) Sector Distributed File System Hadoop MapReduce API Sphere MapReduce API, ... HBase, Hypertable Cassandra, .... Google File System To store petabytes of data MapReduce To parallel process data BigTable A huge key-value datastore 更多不同語言的MapReduce API實作： http://trac.nchc.org.tw/grid/intertrac/wiki%3Ajazz/09-04-14%23MapReduce 其他值得觀察的分散式檔案系統： IBM GPFS - http://www-03.ibm.com/systems/software/gpfs/ Lustre - http://www.lustre.org/ Ceph - http://ceph.newdream.net/

Hadoop http://hadoop.apache.org Hadoop是Apache Top Level開發專案 Hadoop is Apache Top Level Project 目前主要由Yahoo!資助、開發與運用 Major sponsor is Yahoo! 創始者是Doug Cutting，參考Google Filesystem Developed by Doug Cutting, Reference from Google Filesystem 以Java開發，提供HDFS與MapReduce API。 Written by Java, it provides HDFS and MapReduce API 2006年使用在Yahoo內部服務中 Used in Yahoo since year 2006 已佈署於上千個節點。 It had been deploy to 4000+ nodes in Yahoo 處理Petabyte等級資料量。 Design to process dataset in Petabyte Facebook、Last.fm、Joost are also powered by Hadoop

Sector / Sphere http://sector.sourceforge.net/ 由美國資料探勘中心研發的自由軟體專案。 Developed by National Center for Data Mining, USA 採用C/C++語言撰寫，因此效能較 Hadoop 更好。 Written by C/C++, so performance is better than Hadoop 提供「類似」Google File System與MapReduce的機制 Provide file system similar to Google File System and MapReduce API 基於UDT高效率網路協定來加速資料傳輸效率 Based on UDT which enhance the network performance Open Cloud Testbed有提供測試環境，並開發MalStone效能評比軟體 Open Cloud Consortium provide Open Cloud Testbed and develop MalStone toolkit for benchmark

Slides - http://trac.nchc.org.tw/cloud Questions? Slides - http://trac.nchc.org.tw/cloud Jazz Wang Yao-Tsung Wang jazz@nchc.org.tw