云计算及其关键技术 16电子与通信工程 张大卫
CONTENTS 01 云计算的定义 02 云计算的关键技术 03 云计算和其他超级计算的区别
01云计算的定义 维基百科 将IT相关的能力以服务的方式提供给用户 中国云计算网 分布式计算、并行计算、网格计算的发展 引用文献 是一个包含大量可用虚拟资源的资源池
01云计算的定义 云计算的特点: 1) 云计算系统提供的是服务。 2) 用冗余方式提供可靠性。 即数据冗余和分布式存储来 保证数据的可靠性。 2) 用冗余方式提供可靠性。 即数据冗余和分布式存储来 保证数据的可靠性。 3) 高可用性。 4) 高层次的编程模型。 5) 经济性。 6) 服务多样性。
01云计算的定义 本文定义 云计算是由网格计算发展而来的, 前台采用用时付费的方 式通过internet向用户提供服务。云系统后台由大量的集群 使用虚拟机的方式, 通过高速互联网络互连, 组成大型的虚 拟资源池。这些虚拟资源可自主管理和配置。用数据冗余 的方式保证虚拟资源的高可用性。并具有分布式存储和计 算、高扩展性、高可用性、用户友好性等特征。
云计算的关键技术 数据存储 数据管理 编程模型
02云计算的关键技术 数据存储技术 1.云采用分布式存储的方式保证存储数据的高可用、高可靠和经济性 2.云采用冗余存储的方式保证存储数据的可靠性 3.云的数据存储技术必须具有高吞吐率和高传输率的特点 4.未来的发展将集中在超大规模的数据存储、数据加密和安全性保证以 及继续提高I/O速率等方面
02云计算的关键技术 数据存储技术 例如谷歌开发的非开源的GFS,是一个管理大型分布式数据密集型计算 的可扩展的分布式文件系统 由一个master和大量块服务器构成 客户端从master获取目标数据块的位置信息后,直接和块服务器交互进 行读操作,不通过master读取数据
02云计算的关键技术 数据管理技术 1.云计算数据管理技术要能够高效地管理大数据集,其次,要在规模巨 大的的数据中找到特定的数据 2.云系统的数据管理往往采用数据库领域中列存储的数据管理模式,将 表按列划分后存储。 3.未来的数据管理技术必须要解决如何提高数据的更新速率以及进一步 提高随机读速率的问题。
02云计算的关键技术 数据管理技术 最著名的是谷歌提出的BigTable数据管理技术,是一种为了管理结构化 数据而设计的分布式存储系统,这些数据可以扩展到非常大的规模。 BigTable采用三级的层次化方式存储 位置信息,第一级的file中包含root table的位置,root table只有一个, 包含所有metadata的位置信息,每个 metadata tablets包含许多user table 的位置信息。
02云计算的关键技术 编程模型 云计算的编程模型必须十分简单,让用户更轻松的享受云计算带来的服 务。必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。 云计算大部分采用map-reduced的编程模式,是一种处理和产生大规模 数据集的编程模型,程序员在map函数中指定对各分块数据的处理过程, 在reduce函数中指定如何对分块数据处理的中间结果进行归约。
02云计算的关键技术 map-reduce模型 具体执行过程为右图 共五个步骤
03云计算和其他超级计算的区别 云计算与网格计算的区别
结语 当前的云计算系统的能耗过大,因此减少能耗,提高能源的使用效率, 建造高效的冷却系统是当前面临的一个主要问题。 云计算面对市场的资源管理方式的支持有限,可以加强相应的服务等级 协议,使用户和服务提供者能更好的协商提供的服务质量。 需要对云计算的接口进行标准化并且制定交互协议。 需要开发出更易用的编程环境和编程工具,这样可以更加方便地创建云 计算应用,拓展云计算的应用领域。