中科院“数据云”云计算系统 韦远科.

Presentation on theme: "中科院“数据云”云计算系统 韦远科."— Presentation transcript:

1 中科院“数据云”云计算系统 韦远科

2 目录 云计算背景介绍 中科院数据云介绍 ECCP云计算平台介绍 科研领域私有云解决方案

3 云计算起源 2006年谷歌推出了“Google 101计划”，并正式提出“云”的概念和理论。
亚马逊、微软、惠普、雅虎、英特尔、IBM、 “看到 BigTable 的文章那时就 这感觉，人们都还在一篇黑暗混 沌中摸索，人家咣的一下砸篇论 文下来：嗟，来食！” Christophe Bisciglia 时年27岁

4 什么是云计算？ 云计算（Cloud Computing ）：是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。 是指基于互联网的超级计算模式--即把存储于个人电脑、移动 电话和其他设备上的大量信息和处理器资源集中在一起，协同 工作。在极大规模上可扩展的信息技术能力向外部客户作为服 务来提供的一种计算方式。 40多亿的移动电话一 2010年 [数据来源: Nokia] 个人电脑和 笔记本电脑 企业电脑 和服务器 PDA

5 云计算到底是什么？ “IT业的商品经济” ——盛大副总裁何刚

6 云计算的三个层次 无需自建软硬件基础系统 应用层面 按需服务 按量计费 专注于自己的业务 异构软硬件基础资源的兼容 资源层面
支持资源动态调度和流转 了解什么是云计算之后，我们来看看 云计算的三个层次。 一是应用层面 在云计算环境下,用户无需自建软硬件基础系统,用户可按需获 取网络上的软硬件资源,并按使用量付费。如同打开电灯用电,打开 水龙头用水一样,而无需考虑是电从哪里来,水是哪家水厂的。在云 计算模式下,用户可以更加专注于自己的业务。 二是资源层面 云计算能够实现对各类异构软硬件基础资源的兼容,如电网支持 水电厂、火电厂、风电厂、核电厂等异构电厂并网;还能够实现资源 的动态流转,如西电东送,南水北调等。支持异构资源和实现资源的 动态流转,可以更好的利用资源,降低基础资源供应商的成本。 三是业务模式 传统信息化建设中,用户自建数据中心,只为自己提供服务。云 计算将打破这一业务模式。云计算通过网络,将软硬件基础资源集中 化,实现资源的集约化运营,有效降低信息化资源的单位成本。云计 算通过网络提供信息资源服务,按需分配,按量计费。用户在新型业 务模式下,可以实时有效的按需获取资源。云计算较传统业务模式更 高效,更灵活,云计算的发展,将推动信息化建设中业务模式的重大 变革。 通过网络,将软硬件基础资源集中化 实现集约化经营 更高效、更灵活 业务层面

7 云计算的基本特征 云计算必然是基于网络的。 网络是云计算的基础,而云计算必然是 基于网络的。
2) 支持异构的基础资源。 基础资源,包括基础硬件资源和基础软件 资源。云计算可以构建在不同的基础平台之上,即可以有效兼容 各种不同种类的硬件和软件基础资源。硬件基础资源,主要包括 网络环境下的三大类设备,即:计算(服务器)、存储(存储设备) 和网络(交换机、路由器等设备);软件基础资源,则包括单机操 作系统、中间件、数据库等。从横向维度考虑,支持异构资源, 意味着在同一时期内,可以采购不同厂商的软硬件。对云计算平 台的构建者而言,这种形式更为灵活;而从纵向维度考虑,意味 着云计算平台既可以兼容当下采购的新设备,也可以兼容以前的 老设备,既可以兼容当前的新软件系统,也可以兼容以前遗留的 老软件系统。支持异构的基础资源这一特性,在有效利用老资源 的同时,也保证了新老资源的平滑过渡。 3) 支持资源动态伸缩和流转。 支持资源动态伸缩,实现基础资源的 网络冗余,意味着添加、删除、修改云计算环境的任一资源节点, 亦或任一资源节点异常宕机,都不会导致云环境中的各类业务的 中断,也不会导致用户数据的丢失。这里的资源节点可以是计算 节点、存储节点和网络节点。资源动态伸缩,意味着基础资源可 以在业务不间断情况下完成更新,即实现计算中心的不间断进化。 而资源动态流转,则意味着在云计算平台下实现资源调度机制, 资源可以流转到需要的地方。如在系统业务整体升高情况下,可 以启动闲置资源,纳入系统中,提高整个云平台的承载能力。而 在整个系统业务负载低的情况下,则可以将业务集中起来,而将 其他闲置的资源转入节能模式,从而在提高部分资源利用率的情 况下,达到其他资源绿色、低碳的应用效果。 4) 支持异构多业务体系。 在云计算平台上,可以同时运行多个不同 类型的业务。异构,表示该业务不是同一的,不是已有的或事先 定义好的,而应该是用户可以自己创建并定义的服务。这也是云 计算与网格计算的一个重要差异。 5) 支持海量信息处理。 云计算,支持不间断进化,意味着可以自由 的扩充和发展。在底层,云计算平台需要面对各类众多的基础软 硬件资源;在上层,需要能够同时支持各类众多的异构的业务; 而具体到某一业务,往往也需要面对大量的用户。由此,云计算 常常需要面对海量信息交互,需要有高效、稳定的海量数据通信/ 存储系统作支撑。 6) 按需分配,按量计费。 按需分配,是云计算平台支持资源动态流 转的外部特征表现。云计算平台通过虚拟分拆技术,可以实现计 算资源的同构化和可度量化,可以提供小到一台计算机,多到千 台计算机的计算能力。按量计费起源于效用计算。在云计算平台 实现按需分配后,软硬件资源的按量计费,也成为云计算平台对 外提供服务时的有效收费形式。 云计算的基本特征

8 云计算的成本优势 研发时： 运维时： 运营时：

9 云计算发展路线 并行计算 集群计算 网格计算 云计算

10 英国伯明翰、剑桥大学三一学院数学专业，全世界首位计算机博士学位获得者。计算机科学中的任何问题，都可以通过加上一层逻辑层来解决。
Any problem in computer science can be solved with another layer of indirection.” —David Wheeler

11 Iaas Paas 存储资源 SaaS 网络资源 计算资源

12 云计算的三种服务模式 IaaS（基础设施即服务Infrastructure as a Service）
云供应商提供计算机设备，包括物理计算机但通常是虚拟计算机（Virtual Machine-VM），和其他设备。 用户在租来的设备上（通常VM）安装操作系统及应用软件以部署应用，但修补和维护工作由用户自己承担。 PaaS（平台即服务Platform as a Service） 云供应商提供计算平台，包括操作系统，程序语言执行环境，数据库和网络服务器。 用户不需要管理与控制云端基础设施，包含网络、服务器、操作系统或储存，但需要控制上层的应用程序部署与应用托管 的环境。  SaaS（软件即服务Software as a Service） 云供应商在云上安装和运行应用软件，云用户通过云客户端使用软件。 用户不需管理应用软件所在的云基础设施和平台，这就不需要在用户自己的设备上安装和运行应用程序，从而简化了维护 和技术支持。

13 IaaS IaaS的核心技术——虚拟化Virtualization（服务器、 存储、网络虚拟化及桌面虚拟化）
其一：虚拟化技术能将一台物理设备动态划分为 多台逻辑独立的虚拟设备 1化N——单机虚拟化，为充分复用软硬件资源提供技术基础 其二：通过虚拟化技术能将所有物理设备资源形成对用 户透明的统一资源池，并按用户需要形成不同配置的虚 拟设备资源，并能进行回收 N化1——多机虚拟化，提高资源分配的弹性、效率和精确性

14 云计算现状 国家战略 政府推出云计算项目：北京、上海、深圳、杭州、无 锡首批试点城市 十二五科技重大专项

15 云计算现状

16 云计算现状——企业界 企业快速跟进 运营商：移动、电信利用网络资金优势切入 互联网企业：BAT、盛大利用技术、资金优势介入
设备厂商：华为、联想、中兴、浪潮 传统软件企业：中小企业、用友、金蝶

17 云计算现状－企业界

18 云计算的挑战 高投入、周期长、技术难 需要培养用户的使用习惯 生态系统没有建立起来，中小企业生存、发展 艰难（云计算的机遇）
中国网络环境复杂，网速低、收费高 网速全球90、收费却高过第一的韩国29倍］ 有成功云计算运维经验的核心人员稀缺

19 云计算的挑战 “规模改变一切”

20 目录 云计算背景介绍 中科院数据云介绍 数据中心云平台服务介绍 科研领域私有云解决方案

21 中国科学院“科技云” 科技云 领域云 软件服务云 数据云 S 计算云 I P

22 中科院数据云的基础设施 分布式大规模基础设施环境 1个总中心+1个备份中心+12个区域中心 目前具备 2014年 22PB存储
5000CPU核 2014年 50PB存储 上万CPU核

23 中国科学院数据云--总体目标 构建先进的科学数据 基础设施，形成中国 科学院数据云
整合各类数据相关资源， 形成以海量科技数据为 核心的系列“海-云”服 务 逐步建成面向科技界开 放共享国家级科技数据 中心 以云服务的形式支持各 类终端访问 数据资源 文献资源 处理资源 模型资源 Matlab 存储资源 软件资源 中国科学院数据云 各种形式的云服务 高性能计算设施 数据管理服务

24 中国科学院数据云—服务层次 基础设施即服务(IaaS) 共享机制 安全控制 数据即服务（DaaS） 标准规范 服务管控
以通用和专用的访问接口提供 云存储、云计算服务 数据即服务（DaaS） 以自助方式实现云端数据建库 和管理云服务 以通用接口实现科研数据共享 云服务 以数据应用社区提供数据共享、 交换与引用云服务 软件即服务（SaaS） 以软件云服务形式实现数据资源 访问统计与评估云服务 共享机制 标准规范 安全控制 服务管控 软件即服务（SaaS） （数据资源访问统计与评估） 数据即服务（DaaS） （科研数据管理、共享云服务） 基础设施即服务（IaaS） (云存储等)

25 云存储服务IaaS：service.dcloud.cn 用户 应用A 应用B 提供API,支持云存储科研应用 面向科研团队，存储资源共享
联合运维，用户可就近使用 专用客户端 用户 大 数 据 C/S客户端 小 数 据 应用A SOAP接口 REST接口 应用B Web Service服务

26 云计算服务IaaS ：科研应用的云解决方案
基于openstack，提供虚拟机自定义配置 实现虚拟机和物理机统一管理和动态调度 支持Hadoop和MPI等环境的快速部署以及资源的弹性扩展 虚拟机全生命周期管理 CPU、内存、硬盘的弹性扩展 高可靠性和高可用性的在线迁移

27 云灾备服务IaaS：高等级灾备环境 两地多中心容灾 VPN数据通道 1PB 海量存储 跨地域远程5城市 电信级机房
RPO 30分钟恢复(国标5级) VPN数据通道 1PB 海量存储 灾备与生产的平滑切换 云灾备技术平台 动态双向迁移 地理和设施的安全环境 跨地域远程5城市 电信级机房 灾备网络 重要生产系统 ERP管理系统 科研业务系统

28 云归档服务IaaS：海量备份、长期保存 国家级数据归档中心 北京怀柔 CNGI高速网络 电信级数据中心 磁带库 30+ PB 盘阵 1PB
可扩展 CNGI高速网络 骨干网10 GB/s 连接全国 电信级数据中心 重要基础数据 历史数据 … CNGI

29 大数据处理IaaS：MR-Hadoop应用环境
由200个计算节点构 成，共2400个计算 核心，本地磁盘存 储2.4PB 这些盘阵又与容量 为5PB的IBM磁带库 连接，形成了分级 存储体系 该系统主要面向高 吞吐率的海量数据 处理，支持MR- Hadoop作业

30 科研团队存储SaaS：数据同步、轻松交换
团队存储管理 用户数据跨平台同步 PC、PAD.. 数据轻松分享 客服端加密安全

31 科研数据管理SaaS：VDB Cloud云端建库、共享
用户不再需要考虑计算机物理环境和数据库管理软件 VDB Cloud满足多元数据的管理、快速建库应用，大幅降低数据管理技术门槛和维护成本

32 地理空间数据云SaaS：www.gscloud.cn 提供地学遥感领域的数据搜索、数据获取、数据存储、模型集成、在线计算 的云服务平台
海量数据时空检索 互联网数据自动爬取 用户私人数据空间 遥感分析模型在线计算 空间数据可视化 在线数据资源量约为300TB，在线用户4.64万人，累计数据下载量约87TB

33 目录 云计算背景介绍 中科院数据云介绍 ECCP云计算平台介绍 科研领域私有云解决方案

34 什么是ECCP云平台？ “企业级云计算平台” 数据中心联合实验室的云计算基础平台 产品 类似亚马逊的AWS、阿里云、盛大云等
提供基础资源即服务（IaaS） 提供平台即服务（PaaS） 支持大数据的分析处理 基于openstack开源软件 类似亚马逊的AWS、阿里云、盛大云等

35 ECCP的定位 基于数据中心多年技术沉淀、吸收开源软件优势； 提供基础资源即服务（IaaS） 大数据处理平台、支持数据的分析挖掘及可视化
类似国际领先的亚马逊AWS的服务模式 打造科研领域的亚马逊

36 企业级云计算平台（Enterprise Cloud Computing Platform）
ECCP定位 行业分析与可视化展示 领域分析与可视化展示 IAAS M/R NoSQL 数据库 HDFS …… 承上启下 计算资源池 存储资源池 存储资源池 企业级云计算平台（Enterprise Cloud Computing Platform） host host host SDDC …… 北京 南京 东莞

37 ECCP云计算平台的架构

38 系统逻辑结构

39 eccp.datascientist.cn or eccp.csdb.cn

40 ECCP云平台服务 2013.2月上线 云主机 云硬盘 云存储 管理监控

41 云主机

42 什么是云主机？ 云主机是一种硬件级的虚拟化技术，是在单独的物理服 务器或者集群的物理服务器群之上虚拟化出具有硬件服 务器同样特性、同样使用体验的虚拟化服务器。同时云 主机具有原物理服务器没有的更多安全及灵活的特性， 提供给了用户更加稳定安全的计算资源，也提供了客户 更加便捷的管理手段与工具。 云主机同时也是一种基于WEB的服务，提供可调整服 务器配置的弹性云技术，是整合了计算、存储与网络资 源的Iaas服务，是具备基于云计算模式的按需使用和按 需付费能力的服务器租用服务。

43 云主机——关键特征 兼容性 云服务器完全兼容标准的操作系统，以及在这些操作系统之上建立的硬件驱动和应用 隔离
每一个云服务器都与同在一个服务器上的其他云服务器相隔离 封装 云服务器将整个系统，包括硬件配置、操作系以及应用等封装起来，便于管理和备份 …………. .. …… 硬件独立 可以在集群内任何服务器上不加修改的运行云服务器

44 ECCP云主机 自助服务、几分钟内完成创建或删除； 灵活的镜像管理系统；
多样化的云主机类型：windows、ubuntu、centos、 Fedora 安全组：自定义防火墙规则

45 云主机的新建

46 云主机列表

47 云主机的VNC

48 云主机的监控 监控对象 监控数据获取及存储 数据展示

49 云硬盘

50 ECCP云硬盘 为云主机提供独立生命周期、高可靠、高性能的块设备存储； 可用作扩展云主机的磁盘空间、持久化保存数据

51 云存储

52 ECCP云存储 对象存储 非结构化数据 虚拟机镜像img 提供简单、可靠、安全、快速的数据存储服务；
用户可随时、随地通过互联网访问自己的数据； 与云主机完美、无缝结合 各种媒体文件，图片、音乐、视频、用户文档、数据备份和存档等； 典型使用：网盘、云端数据灾备、云主机数据备份。

53 运行数据 正常运行半年多 100台物理服务器集群（32G、24core） 3000＋虚拟机 web应用、数据爬取、大数据处理等业务
国防科大MPI应用 宇华永信，数据爬取分析 京北方，金融数据处理 文档、代码服务器 实验测试环境

54 国防科大MPI应用 2013年5月27日，ECCP为 国防科大提供虚拟实验环境， 支持其基于MPI的计算任务。 17台配置为2VCPU，16GB RAM,160GB Disk, Win7_64_ultimate的虚 拟机实验环境。 计算任务主要是进行城市人 工社会仿真模拟。计算任务 已在虚拟实验环境中顺利运 行近一个月时间

55

56 目录 云计算背景介绍 ECCP云平台综述 ECCP云平台服务介绍 科研领域云计算解决方案

57 解决方案概览

58 全自动批量部署 ECCP 2.0 ECCP.conf 裸硬件，基本的网络环境 可靠、高效、易用的云计算基础平台

59 平台和应用迁移 v2v p2v

60 虚拟机和物理机统一管理 物理资源池 云环境下，硬件资源的类型多种多样，要实现一个高效、易扩展的统一管理框架，需要解决以下问题： 虚拟资源池
BM.tiny 物理资源池 BM.tiny 资源 调度器 云环境下，硬件资源的类型多种多样，要实现一个高效、易扩展的统一管理框架，需要解决以下问题： （1）框架的可扩展性，智能识别异构硬件资源，抽象统一化的管理接口，支持多样化的用户需求 （2）物理资源提供的高效性，控制在秒级 （3）构建业务评价模型，根据业务的类型，选择最优的资源。 统一化的管理将带来： （1）智能数据中心，大大降低运维成本 （2）通过秒级资源的快速提供，解决资源使用的潮汐现象 （3）统一化的资源管理接口 M1.tiny Rest API 虚拟资源池

61

62 支持多样化的硬件类型 x86_64 资源池 cpu_arch ARM资源池 Tilera 资源池

63 ECCP的核心功能 云主机 云硬盘 云存储 云监控 大数据处理平台 云灾备

64 云主机完整生命周期管理 控制台 修改 删除 创建 快照 启动 克隆 暂停 ECCP 云主机 迁移 休眠 关闭 重启 下电 恢复

65 在线迁移 高可靠性和高可用性所依赖的核心技术 x86 Architecture x86 Architecture KVM KVM 迁移技术
操作系统 应用程序 操作系统 应用程序 操作系统 应用程序 操作系统 应用程序 操作系统 应用程序 操作系统 应用程序 操作系统 应用程序 操作系统 应用程序 操作系统 应用程序 操作系统 应用程序 x86 Architecture x86 Architecture KVM KVM 迁移技术 集群文件系统：gluster

66 云主机弹性扩展 实现云主机CPU、内存、硬盘的弹性扩展 弹性扩展 应用场景 特性价值 云主机的资源无法满足用户需求。
云主机配置： CPU：四核 内存：4GB 硬盘：200GB 网卡：eth0、eth1 云主机配置： CPU：2核 内存：2GB 硬盘：100GB 网卡：eth0 弹性扩展 应用场景 云主机的资源无法满足用户需求。 特性价值 可在线扩展云主机的CPU、内存、硬盘资源，不需要停机，保证业务的持续性。

67 灾备至中科院数据云 归档备份子系统 碳专项私有云 中科院数据云为私有云客户提供专属、私有、安全的灾备空间服务
分布在全国12个分中心的中科院数据云，总容量为22PB 能够为私有云提供骨干网万兆、接入网千兆的IPV4和IPV6的灾备网络环境 提供国标5级的灾备环境、30分钟快速恢复 归档备份子系统 碳专项私有云

68 hadoop的集成

69 访问接入 用户 ECCP 管理界面 接入服务器 （接入模块） 解决公网IP不足 ECCP

70 绿色数据中心 共享资源池 节能模式 智能能耗管理

71 解决方案的三个层次 硬件资源的自动化运维管理及部署 云计算基础平台－资源抽象 大数据处理平台＋开发者平台＋科研数据资源库

72 硬资源 实现裸机器系统的自动化安装和服务的部署 运行状态的监控和修复

73 硬资源－基础环境 +

74 硬资源－部署工具 一张光盘部署一台机器， 一台机器部署整个数据中心！ 获取mac 添加到cobbler 网络引导 重启

75 硬资源－基础环境 Clients Apache controller gitlab Nginx ....... code reviewer
compute node Apache DNSMasq PuppetMaster PXE Server controller code reviewer compute node PXE Server Apache DNSMasq PuppetMaster

76 软资源 开发平台 第三方 GUI(horizon) API nova glance cinder swift quantum 计算资源
平台支撑 认证 监控 安全 计量 GUI(horizon) API nova glance cinder swift quantum 计算资源 存储资源 网络资源

77 服务 大数据处理平台 数据的规模 数据处理的复杂性、多样性和实时性 资源库 开发环境EAE

78 案例分享——地理空间数据云 平台共拥有66个镜像数据集，数据产品超过40类，300TB数据 大数据服务平台 数据密集型模型计算

79 案例分享——科研大数据私有云 由国家发改委资助，中科院网络中心、 国家天文台、物理研究所等单位承担 的基础研究大数据服务平台应用示范 项目
79 由国家发改委资助，中科院网络中心、 国家天文台、物理研究所等单位承担 的基础研究大数据服务平台应用示范 项目 面对基础研究领域的大数据挑战，探 索大数据收集、管理、融合、分析等 关键技术，形成基础研究大数据服务 平台 为科研工程技术人员和社会公众提供 在线基础研究大数据的集成共享与知 识发现服务。

80 案例分享——服务于生态固碳的科技领域云建设和应用
80 通过ECCP构建计算资源池和存储资源池，实现全国6个台站联网观测和分布式数据的统一管理； 各类设备的互连互通、智能调度、弹性扩展，实现数据的并行化处理； 可兼容Map Reduce、MPI数据处理任务等混合任务调度技术，实现资源动态扩展的多模型综合分析

81 案例分享——微生物科技领域云的建设和应用
实现多源异构微生物资源快速汇聚、高效存储、集成服务 实现PB级非结构化微生物数据存储与处理 微生物私有云与网络中心公有云资源协同 为微生物分析模型提供大数据处理架构

82 进一步了解、测试、试用ECCP云计算平 台，请联系： 韦远科

83 谢谢！