Network Storage and System Virtualization Technology

Presentation on theme: "Network Storage and System Virtualization Technology"— Presentation transcript:

1 Network Storage and System Virtualization Technology
课程介绍 网络存储与系统虚拟化技术 Network Storage and System Virtualization Technology 北京大学信息科学技术学院 网络与信息系统研究所 系统虚拟化及空间信息技术实验室（

2 Why This Course——存储 自1996年以来信息量每半年增长一倍；2020年世界数据总量将达40万亿GB，人均5.2TB。
权威调查机构的研究表明，目前世界大公司的年度存储需求增长率为100%。 存储设备已不再是服务器附带的外围设备，它们已经有了与服务器等分庭抗礼的地位。 早在2003年，用户在服务器和存储产品上的花费比例已经达到1:3，如今，这一比例更高。 全球存储市场总值：磁盘存储、移动存储、闪存等已达500多亿美元。 大数据时代的到来，存储是其首当其冲的问题。 …… 存储技术发展日新月异，社会对存储方面的人才需求逐年扩大。 学习存储技术是信息技术发展的需要，特别是适应信息快速增长的需要。

3 Why This Course——系统虚拟化
计算能力在快速增长：天河一、二号，千万亿次，Top1 1万亿次 1千万亿次 2017/3/18

4 Why This Course——系统虚拟化
计算系统利用率不高！ “多数用户承认，计算系统平均利用率只有25%～30%” Dan Herington HP虚拟化技术首席科学家 性能测试报告，来自权威性能测试机构Metron's Athene 对一个计算系统进行两天监测的数据 2017/3/18

5 × × Why This Course——系统虚拟化 原因： 计算系统灵活性不高！ 浪费时间 操作繁琐 应用软件与操作系统、硬件紧耦合
作业：生物计算 程序：BLAST 作业：32位 操作系统：Windows 平台：X86 作业2 生物专家 作业：飞行器的流场计算 程序：Fluent 6.3 作业：32位 操作系统：Linux 平台：X86 作业1 飞行器专家 作业1 作业2 浪费时间 操作繁琐 机器闲置时间较多 操作系统不匹配！ × 操作系统不匹配！ × 原因： 应用软件与操作系统、硬件紧耦合 作业1 作业2 计算中心 2017/3/18

6 虚拟机 虚拟机 Why This Course——系统虚拟化 系统虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术
虚拟化的目标是实现IT资源利用效率和灵活性的最大化 虚拟机 操作 系统 应用系统 虚拟机 操作 系统 应用系统 多个系统融合在一台服务器上 ——资源利用率高 应用系统不再依赖特定的硬件 ——系统维护灵活 应用程序 操作系统 虚拟机管理器VMM 硬件发展迅速 2017/3/18

7 Virtual Machine Monitor
系统虚拟化：三个基本概念 在一台物理主机上虚拟出多个虚拟计算机（虚拟机，Virtual Machine，VM），其上能同时运行多个独立的操作系统，这些客户操作系统（Guest OS）通过虚拟机管理器（Virtual Machine Monitor，VMM，也称作Hypervisor）访问实际的物理资源 Hardware Virtual Machine Monitor Linux Linux (devel) XP Vista MacOS 2017/3/18

8 虚拟机 虚拟机 系统虚拟化：应用 虚拟机的特征及应用 相互隔离 动态构建 动态部署 在线迁移 动态资源调整 服务器融合
操作 系统 应用系统 虚拟机 操作 系统 应用系统 虚拟机的特征及应用 相互隔离 动态构建 动态部署 在线迁移 动态资源调整 服务器融合 容错支持：在线备份、Checkpoint …… 虚拟机管理器VMM

9 动态快速部署 银河 神威 虚拟机库 虚拟机管理器 需要Windows操作系统 需要DirectX的编程库 需要MPI通讯库 虚拟机管理器
.NET DirectX MPI 虚拟机管理器 .NET DirectX MPI .NET DirectX MPI 银河 神威 虚拟机管理器 虚拟机管理器 2017/3/18

10 动态快速部署 银河 神威 虚拟机库 虚拟机管理器 需要Windows操作系统 Redhat Linux操作系统 需要DirectX的编程库
.NET DirectX MPI 虚拟机库 需要Windows操作系统 需要DirectX的编程库 需要MPI通讯库 Redhat Linux操作系统 需要MySQL数据库 需要Apache服务器 PHP MySQL Apache PHP MySQL Apache 虚拟机管理器 PHP MySQL Apache .NET DirectX MPI .NET DirectX MPI 银河 神威 虚拟机管理器 虚拟机管理器 2017/3/18

11 虚拟机在线迁移 2017/3/18

12 服务器融合 消除热点 节能 一个物理机上的资源不能满足它上面虚拟机的要求，负载过重 通过迁移平衡负载 很多时候资源非常空闲
通过迁移减少活动的物理机 30% 30% 40% Hypervisor 20% 10% 2017/3/18

13 虚拟机容错 2017/3/18

14 动态虚拟机群 From Physical cluster to Virtual cluster Application 1
VM1.1 VM1.2 VM2.1 VM2.2 VM3.1 VM3.2 VM4.1 VM4.2 VM5.1 VM5.2 Node 1 Node 2 Node 3 Node 4 Node 5 2017/3/18

15 动态虚拟机群 Reclustering virtual cluster Using VM suspend/resume
Application 1 Application 2 VM1.1 VM2.1 VM3.1 VM3.2 VM4.2 VM5.2 Node 1 VM1.2 Node 2 VM2.2 Node 3 VM3.2 VM4.1 Node 4 VM5.1 Node 5 2017/3/18

16 动态虚拟机群 Reclustering virtual cluster
Using dynamic resource reallocation across VMs Application 1 Application 2 VM1.1 VM1.2 VM2.1 VM2.2 VM3.1 VM3.2 VM4.1 VM4.2 VM5.1 VM5.2 Node 1 Node 2 Node 3 Node 4 Node 5 2017/3/18

17 课程背景 课程来源：本课程的开设得到了美国EMC公司和VMware公司的支持，课程课件的主要部分由这两个公司提供。本课程也是2009年度的“教育部-Intel精品课程”，课程的建设得到了Intel公司的支持。 授课教师：罗英伟、汪小林 ：{lyw, 地址：理科1号楼1335 电话： 上课时间：周二3～4节 上课地点：三教305

18 数据处理——网络传输——数据处理 计算中心——数据中心
课程的应用场景 数据处理——网络传输——数据处理 计算中心——数据中心

19 课程目标 现代信息管理面临信息量大、管理成本居高不下等诸多挑战。本课程从信息管理的复杂性与现实需求出发，介绍了满足现代信息管理需求的存储技术和系统虚拟化技术基础知识，从而使同学们对存储和虚拟化有一个相对全面的了解。 了解现代信息管理的复杂度与需求 了解存储系统的基本结构 了解网络存储应用于不同环境的构架 DAS、NAS、SAN、CAS 了解应对业务连续性需求的存储技术解决方案 了解数据中心的监测、管理的原理、方法与实现 了解系统虚拟化技术的原理、应用及发展情况

20 课程授课方式 课堂讲授：10次课（7+3） 论文阅读及报告 实验及报告：个人实验、分组实验、任选实验

21 课堂讲授主要内容（1） 第一章 信息管理的复杂性 第二章存储系统架构
满足现代需求的数据存储（Meeting Today’s Data Storage Needs） 数据存储的解决方案（Data Storage Solutions） 数据中心的基础构架（Data Center Infrastructure） 第二章存储系统架构 主机环境（The Host Environment） 连接（Connectivity） 物理磁盘（Physical Disks） 磁盘阵列（Disk Arrays） 磁盘存储系统（Disk Storage Systems）

22 课堂讲授主要内容（2） 第三章 网络存储概述 第四章 业务连续性 直连存储（Direct Attached Storage，DAS）
网络附加存储（Network Attached Storage，NAS） 光纤存储局域网络（Fibre Channel Storage Area Networks，SAN） IP存储局域网（IP Storage Area Networks，IP SAN） 内容寻址存储（Content Addressed Storage，CAS） 第四章 业务连续性 业务连续性概述（Business Continuity Overview） 备份与恢复（Backup and Recovery） 业务连续性：本地复制（Business Continuity: Local Replication） 业务连续性：远程复制（Business Continuity: Remote Replication）

23 课堂讲授主要内容（3） 第五章数据中心的监测与管理 第六章系统虚拟化概述
数据中心的监测（Monitoring in the Data Center） 数据中心的管理（Managing in the Data Center） 第六章系统虚拟化概述 系统虚拟化概述（System Virtualization Overview） 虚拟化技术标准（Standards for System Virtualization） 最新进展及趋势（Trends of System Virtualization）

24 课堂讲授主要内容（4） 第七章系统虚拟化原理 第八章系统虚拟化应用 CPU虚拟化（Virtualizing CPU）
内存虚拟化（Virtualizing Memory） I/O虚拟化（Virtualizing I/O Devices） 第八章系统虚拟化应用 数据中心（Data Center） 虚拟机管理（Management of Virtual Machines） 虚拟机克隆及迁移（Clone and Migration of Virtual Machines）

25 论文阅读及报告 参考存储技术和虚拟化技术论文，选择一篇或多篇论文阅读 每个人独立完成，提交一份中文读书报告

26 实验及报告 个人实验 内容 VNXe模拟实验 形式 每个人独立完成 提交一份实验报告

27 实验及报告 分组实验 内容 形式 设计、实验报告 大容量统一存储系统应用规划及实践 2~5人一组 自愿参加
机会难得，实际接触并操纵大容量存储设备 课程加分 设计、实验报告

28 实验及报告 选做实验 实验内容1 实验内容2 形式 设计报告/实现报告 虚拟化实验环境开发 基于SheepDog的虚拟机镜像管理系统
自由组队，选择上述一项内容 助研费资助、课程加分 持续到毕设 设计报告/实现报告

29 课程进程安排 本课程从上课时间从第1周至第16周，共15次课（国庆放假一周），第16周随堂考试。
第1~7次课：存储技术 第8~10次课：虚拟化技术 其他课：企业技术讲座、参观、讨论 本课程由罗英伟、汪小林两位老师共同承担，前4次课（前3章）由罗英伟老师担任；后6次课（后5章）由汪小林老师担任。

30 参考书 以课程讲义为主。其他可选参考书包括：
EMC Education Services, Information Storage and Management, Wiley Publishing Inc., （人民邮电出版社有中译版，EMC将赠送） 周敬利、余胜生 等 编著，网络存储原理余技术，清华大学出版社， 赵文辉、徐俊、周加林、李晨，网络存储技术，清华大学出版社，2005.3。 David Chisnall, The Definitive Guide to the Xen Hypervisor, Prentice Hall, 2007。 James E. Smith, Ravi Nair, Virtual Machines, Versatile Platforms for Systems and Processes, 电子工业出版社, 2006。『《虚拟机——系统与进程的通用平台》James E. Smith, Ravi Nair 著，安虹等译，机械工业初版社，2009。』 金海等著，计算系统虚拟化——原理与应用，清华大学出版社，2008。 石磊、邹德清、金海，Xen虚拟化技术，华中科技大学出版社，2009。

31 考核方式 && 课程网站及助教 考核方式 讲义阅读及作业：20% 论文阅读及报告：20% 课程实验及报告：40％ 在线考试：20%
考核方式 && 课程网站及助教 考核方式 讲义阅读及作业：20% 论文阅读及报告：20% 课程实验及报告：40％ 在线考试：20% 课程网站及助教 课程网站： 助教：黄子翚、白晓旷 理科1号楼1336

32 网络存储与系统虚拟化相关研究 网络存储 组织 973计划：下一代互联网信息存储的组织模式和核心技术研究
SINA：全球网络存储工业协会(Storage Network Industry Association) 海量存储标工委：中国电子工业标准化技术协会海量存储标准工作委员会（2009年8月成立） 973计划：下一代互联网信息存储的组织模式和核心技术研究 973计划：超高密度、超快速光信息存储与处理的基础研究 863重大项目：海量存储系统关键技术 会议：FAST， USENIX Conference on File and Storage Technologies 系统虚拟化 DMTF，Distributed Management Task Force, Inc. 973计划：计算系统虚拟化基础理论与方法研究 会议：VEE， ACM SIGPLAN/SIGOPS International Conference on Virtual Execution Environments

33 关于论文阅读及作业 论文阅读，现在可以开始了 有若干次书面作业，在课程网站上，大家可以根据课堂讲授的进展，尽早完成并提交给助教
课程网站上有一些可参考的论文 有若干次书面作业，在课程网站上，大家可以根据课堂讲授的进展，尽早完成并提交给助教

34 关于实验 个人实验：10月开始 分组实验：自由组合，在个人实验之后，但可以同时准备 选做实验：感兴趣的同学，尽早报名
实验报告将安排在12月份进行

35 北京大学信息科学技术学院 网络与信息系统研究所 http://gis.pku.edu.cn/course/svt/