开源云计算系统简介.

Presentation on theme: "开源云计算系统简介."— Presentation transcript:

1 开源云计算系统简介

2 现有开源云计算系统 开源云计算系统 对应的商用云计算系统 Hadoop HDFS Google GFS Hadoop MapReduce
Google MapReduce Hadoop HBase Google Bigtable Hadoop ZooKeeper Google Chubby Eucalyptus、Nimbus Amazon EC2 Eucalyptus Amazon S3 Sector and Sphere 无直接对应系统 abiquo MongoDB

3 Eucalyptus 设计背景 体系结构 主要构件 访问接口 虚拟组网

4 Eucalyptus Eucalyptus:桉树
--将程序连接到有用系统的弹性效能计算体系结构Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems 功能： --帮助用户完成对各种基于物理设施的虚拟设备的全局性掌控，完成对整个集群的计算能力进行动态配置。

5 Eucalyptus的设计背景 开发目的： --为研究者提供模块化的试验平台 设计原则 设计目标 --可扩展性、可移植性、方便管理

6 Eucalyptus的基本架构

7 体系结构

8 主要构件 云控制器 --系统的中枢神经，它是用户的可见入口点和做出全局决定的组件。负责处理由用户或系统管理员发出的请求，做出高层的虚拟机实例调度决定 集群控制器 --负责收集节点的状态信息、调度虚拟机实例执行请求、配置实例网络。运行在集群的头节点或服务器上。 节点控制器 --负责管理一个物理节点，运行在虚拟机寄宿的物理资源上，负责启动、检查、关闭和清除虚拟机实例等工作。

9 访问接口 客户端接口 --实质上是Eucalyptus内部系统接口和外部定义的客户端接口之间的转换器。 管理接口
--由云控制器通过一个基于Web的接口或通过命令行的方式实现，管理接口只对系统管理员可见，且具有唯一性。 实例控制接口 --虚拟机控制服务(VmControl Service)

10 虚拟组网 特点：简单，易配置 协作完成单一任务的虚拟机之间可以通信，而属于不同用户的虚拟机之间应该是通信隔离的。 解决方法：
--虚拟网络接口：公共接口，私有接口 --通信隔离：用虚拟局域网（VLAN）给属于特定用户的实例集打上网络标签 为了解决上述问题，每个虚拟机提供两个虚拟网络接口，一个作为公共接口，一个称为私有接口。公共接口的作用是和用户所管辖虚拟机的外部进行通信，或在由服务等级协议定义的可用区域的实例之间进行通信。 实例的私有接口只能在跨域的虚拟机之间进行通信，以解决不同虚拟机实例运行在独立的私有网络内但需要进行通信的问题。

11 Nimbus Nimbus： --基于网格中间件Globus，从最早的Virtual Workspace演化而来，提供与EC2类似的功能和接口 --Nimbus是一个开源的工具集，它可以把集群部署到IaaS云中

12 Nimbus基本概念 标准客户端（reference client）： --以命令行的方式访问服务，全面支持WSRF前台的各种特性
WSRF（Web Services Resource Framework）： --即Web服务资源框架 RM API（Resource Management API）： --即资源管理接口 工作区（workspace）： --实际上就是一个计算节点

13 Nimbus基本架构

14 Sector and Sphere 实现语言：C++ Sector： Sphere：
--部署在广域网上的分布式存储系统，它为了使系统有高可靠性和可用性采用自动的文件副本冗余方式 --已经用于Sloan数字巡天系统 Sphere： --建立在Sector之上的计算服务，它为用户编写分布式密集型数据应用提供了简单的编程接口 Sector已经用于Sloan数字巡天系统。

15 Sector的基本架构 Sector采用主/从服务器模式，架构如图 6‑4[34]所示。安全服务器维护用户的账户、密码、文件访问信息和授权的从节点的IP地址；主服务器维护存储在系统中的文件的元数据，控制所有从节点的运行，同时和安全服务器进行通信来验证从节点、客户服务器和用户；从节点用来存储数据，并对Sector客户端的请求进行处理。

16 Sphere数据处理流程 当主服务器接收到Sphere数据处理的客户端请求，主服务器向客户端发送一个可用的从节点列表
客户端选择一些或者所有从节点，让SPE在其上运行 客户端与SPE建立UDT连接(数据传输提升至Hadoop的两倍) 流处理函数被发送给每个SPE，并储存在从节点上 SPE打开动态库并获得各种处理函数 UDT协议，这一协议主要是针对极高速网络和大型数据集设计的。

17 Sphere数据处理模型 SPE是Sphere处理引擎（Sphere Processing Engine）
针对不同的应用会有不同的数据，Sphere统一的将它们以数据流的形式输入。为了便于大规模的并行计算，首先需要对数据进行分割。分割后的数据交给SPE执行。所谓的SPE是Sphere处理引擎（Sphere Processing Engine）的简写。SPE是Sphere的基本运算单元，除了进行数据处理外SPE还能起到负载平衡的作用。

18 abiquo 三部分： abiCloud、abiNtense和abiData abiCloud 优势： 版本： --社区版、企业版、ISP版
--开源云管理软件，可以创建管理资源并且可以按需扩展。该工具能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施(包括虚拟服务器、网络、应用和存储设备等)。 优势： --强大的Web管理界面 版本： --社区版、企业版、ISP版 abiNtense通过使用基于网格的架构，有效的减少了大规模高性能计算的执行时间。abiData 由Hadoop Common、HBase和Pig开发而来，它是一个信息管理系统，可以用来搭建分析大量数据的应用。是一种低成本的云存储解决方案。

19 abiCloud的基本架构 整个平台的构架清晰明了，不过有两个名词需要单独解释。abiCloud_WS是平台的虚拟工厂，它主要负责管理各种虚拟化技术。abiCloud_VMS(abiCloud Virtul Monitor System)用来监控虚拟化设备的运行状态。从图中我们也可以看出，abiCloud除了客户端采用了flex技术外，其他部分几乎都是由java语言来实现的。

20 MongoDB 目标： --构建一个基于分布式文件存储系统的数据库 实现语言：C++ 平台：Linux

21 MongoDB的基本架构

22 MongoDB的优势 均衡性

23 内容回顾 几套开源方案： 主要内容： --目标、平台、实现语言、基本架构
--Hadoop、Eucalyptus、Nimbus、Sector and Sphere、abiquo、MongoDB 主要内容： --目标、平台、实现语言、基本架构