电子工业出版社《云计算(第二版)》配套课件

Slides:



Advertisements
Similar presentations
项目十二 Internet 网络应用  项目情景引入  项目成果展示  项目任务分析  完成任务  项目总结  项目实战练习.
Advertisements

LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
杨宇航 百度社区技术部 推荐技术在 百度UGC产品中的应用 杨宇航 百度社区技术部
第三章 数据类型和数据操作 对海量数据进行有效的处理、存储和管理 3.1 数据类型 数据源 数据量 数据结构
基于工作过程的网页设计与网站开发教程 英语等级考试专题学习网站发布测试 主编:张洪斌 刘万辉 机械工业出版社.
实用操作系统概念 张惠娟 副教授 1.
综合布线技术与实践教程 第九章:综合布线系统工程网络分析 课程网站:
2.3 网络域名及其管理.
云计算的理论研究热点 电子工业出版社 刘鹏主编《云计算》教材配套课件13.
Oracle数据库 Oracle 子程序.
中青国信科技(北京)有限公司 空间域名邮局价格表.
Information & Security System in China China North Eastern Air Traffic Control Bureau (CAAC) Customer Background Subsidiary of General Administration of.
北京移动(中国移动的子公司)是中国主要的无线运营商之一。中国移动做为无线市场的开拓者,拥有中国70%的无线通信市场,也是世界上第二大的无线提供商,北京移动拥有上亿的手机用户,支持60多个国家的漫游业务。 为北京移动创造的价值 … 优秀的性能,支持了庞大的用户群 标准化了系统接口 加强了系统的灵活性.
基于R和pentaho的全套开源BI平台的实现
Kvm异步缺页中断 浙江大学计算机体系结构实验室 徐浩.
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
Hadoop I/O By ShiChaojie.
SVN的基本概念 柳峰
Chinese Virtual Observatory
R in Enterprise Environment 企业环境中的R
中国科学技术大学 肖 明 军 《网络信息安全》 中国科学技术大学 肖 明 军
从现在做起 彻底改变你自己 Sanjay Mirchandani EMC公司高级副总裁、首席信息官.
存储系统.
SOA – Experiment 3: Web Services Composition Challenge
大学计算机基础 典型案例之一 构建FPT服务器.
SVN服务器的搭建(Windows) 柳峰
Jul 2014 HEAT部署Hadoop集群
Qt网络编程实战之HTTP服务器 安晓辉(foruok)
第11章:一些著名开源软件介绍 第12章:服务安装和配置 本章教学目标: 了解当前一些应用最广泛的开源软件项目 搭建一个网站服务器
大数据管理技术 --NoSQL数据库 HBase 陈 辉 大数据分析技术.
Visual Studio Team System 简介
第一单元 初识C程序与C程序开发平台搭建 ---观其大略
Windows网络操作系统管理 ——Windows Server 2008 R2.
第17章 网站发布.
软件工程基础 云计算概论 刘 驰.
云计算的理论研究热点.
数据挖掘工具性能比较.
PaPaPa项目架构 By:Listen 我在这.
ENS 10.1安装配置指南 王俊涛 | SE.
CPU结构和功能.
分布式程序设计 姚斌 计算机科学与工程系 上海交通大学.
DevDays ’99 The aim of this mission is knowledge..
宁波市高校慕课联盟课程 与 进行交互 Linux 系统管理.
程序设计工具实习 Software Program Tool
SOA – Experiment 2: Query Classification Web Service
新一代安全网上银行 小组成员:杨志明 王晶 任毅 刘建中 关昊 刘超.
C语言程序设计 主讲教师:陆幼利.
第四章 团队音乐会序幕: 团队协作平台的快速创建
VisComposer 2019/4/17.
WPT MRC. WPT MRC 由题目引出的几个问题 1.做MRC-WPT的多了,与其他文章的区别是什么? 2.Charging Control的手段是什么? 3.Power Reigon是什么东西?
商业分析平台-语义元数据 用友集团技术中心 边传猛 2013年 11月 06日.
Cassandra应用及高性能客户端 董亚军 来自Newegg-NESC.
实验七 安全FTP服务器实验 2019/4/28.
计算机网络与网页制作 Chapter 07:Dreamweaver CS5入门
成绩是怎么算出来的? 16级第一学期半期考试成绩 班级 姓名 语文 数学 英语 政治 历史 地理 物理 化学 生物 总分 1 张三1 115
JSP实用教程 清华大学出版社 第2章 JSP运行环境和开发环境 教学目标 教学重点 教学过程 2019年5月7日.
iSIGHT 基本培训 使用 Excel的栅栏问题
长春理工大学 电工电子实验教学中心 数字电路实验 数字电路实验室.
2019/5/8 第2章 数据分析软件介绍.
魏新宇 MATLAB/Simulink 与控制系统仿真 魏新宇
OpenStack vs CloudStack
GIS基本功能 数据存储 与管理 数据采集 数据处理 与编辑 空间查询 空间查询 GIS能做什么? 与分析 叠加分析 缓冲区分析 网络分析
实验目的:掌握数据的顺序存储结构及它们在计算机中的操作。 实验内容:
Google的云计算 分布式锁服务Chubby.
基于列存储的RDF数据管理 朱敏
第十七讲 密码执行(1).
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
入侵检测技术 大连理工大学软件学院 毕玲.
网页版报名流程 Step 4 点击“详情”查阅具体岗位信息,输入身份数据及申请序列码进行最终报名
2019/9/19 互联网产业、立法与网规 张钦坤 腾讯法务部.
Presentation transcript:

电子工业出版社《云计算(第二版)》配套课件 第10章 云计算研究热点 《云计算(第二版)》购买网址: 当当网:http://product.dangdang.com/product.aspx?product_id=21094102 京东商城:http://book.360buy.com/10658667.html 解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作

《云计算(第二版)》购买网址: 当当网 京东商城 姊妹力作《实战Hadoop》购买网址: 当当网 京东商城 《云计算(第二版)》购买网址: 当当网 京东商城 《云计算(第二版)》购买网址: 当当网:http://product.dangdang.com/product.aspx?product_id=21094102 京东商城:http://book.360buy.com/10658667.html 姊妹力作《实战Hadoop》购买网址: 当当网 京东商城

提 纲  云计算体系结构研究  云计算关键技术研究  编程模型研究  支撑平台研究  应用研究  云安全研究 3

Cumulus:数据中心科学云 --主要为科学计算应用程序提供虚拟机、虚拟应用程序和虚拟计算平台 --Cumulus前端节点是Globus虚拟工作空间服务的再实现 --OS Farm为云用户提供了两个界面:用户能输入虚拟机镜像构建参数的Web界面和能通过wget访问的HTTP服务 --两种访问方式:一种是Globus虚拟工作空间服务客户端,另一种是通过网格计算工作台或网格门户

CARMEN:e-Science云计算 --该项目供神经学家共享、整合、分析数据 --体系结构 -用户,通过Web浏览器和富客户端访问CARMEN系统 -领域内的特定服务 -e-Science核心云服务(工作流、数据管理、服务管理、元数据管理和安全组件 ) -核心云服务 (基本的存储和处理 )

RESERVOIR:云服务融合平台 --IBM与SAP、Sun Microsystems及其他若干欧洲科研机构联合开展一项名为RESERVOIR的云计算计划,欧盟投资经费为1700万欧元。该项目旨在建立一种“基于服务的网络经济模式” --RESERVOIR研究了当前无法实现的商业服务对系统性能的需求。RESERVOIR在公开标准基础上建立一个具有可扩展性、灵活性、可靠性的框架以提供云计算服务

TPlatform:Hadoop的变种 --体系结构 -PC集群层 -云计算平台基础设施层 -数据处理应用层 --最大特点 把大小不变的GFS固定文件块变为大小可变的TFS文件块,改进使得数据的分发和读取有更好的性能

P2P环境的MapReduce --P2P-MapReduce体系结构包含三个基本角色:用户(User)、主节点(Master)和从节点(Slave)。主节点和从节点形成了两个逻辑上的P2P网络M-net和S-net --主节点失效时的作业提交和节点失效管理流程,从中可以看出P2P-MapReduce的工作过程

Yahoo云计算平台 --应用需求 (1)在相同的硬件和软件基础设施上支持各种不同类型的应用程序 (2)需要根据用户的需求动态的提供计算资源 (3)需要很高的安全保证 (4)云中的系统必须易于操作 (5)提供简单易用的API接口 (6)采用资源调度和负载均衡技术,快速高效地为用户提供服务 --平台包括三层服务,分别是基于内容的边缘服务、消息服务和核心服务

微软的Dryad框架 --主要用来构建支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序,根据程序的要求进行任务调度,自动在各个节点上完成任务 --Dryad的执行过程可以看做二维管道流的处理过程 -二维Dryad管道模型定义了一系列操作,包括建立新的节点、在节点之间加入边、合并两个图或是对任务的输入和输出进行处理等

Neptune框架 --基础结构中间件,通过提供标准系统的构建来保证可扩展性和有效性,同时减少服务结构的灵活性 --优点 -信息独立和用户独立,通过一个包含RPC-like访问方式的服务访问接口来压缩应用级别的网络服务。通过服务访问一个模块,可以在数据分区上实现独占

提 纲  云计算体系结构研究  云计算关键技术研究  编程模型研究  支撑平台研究  应用研究  云安全研究 12

语义分析应用 对大规模的RDF三元组进行语义推理和查询的速度之慢已深受广大研究者关注 解决方案 --应用Google的MapReduce框架来实现大规模分布式查询和推理,将RDF图分解成能够被计算节点处理的小单位 --RDF分子法提供一个处于RDF图和三元组之间的中间化的粒度方法,由于RDF分子的自身缺陷,使得其性能受到限制,提出了将RDF进行扩展的方法,包括层次扩展和顺序扩展,以克服其缺陷

生物学应用 Hadoop实现了两个算法来研究解决生物信息计算的问题:一个是基本的局部相似性基本查询工具(Basic Local Alignment Search Tool,BLAST);另一个是基因集合增强分析(Gene Set Enrichment Analysis,GSEA) --BLAST:一个用来比对生物序列的一级结构的算法 --GSEA:DNA微点阵数据分析工具,用来检测在显性环境中,整个基因序列之间的相互关系,通过使用Hadoop,用Python重写GSEA算法

数据库应用 比较流行的云计算服务类型是将基础设施作为服务(IaaS),最著名的商业IaaS是Amazon EC2,将数据库应用部署到这种服务平台上存在诸多挑战 --1. 部署过程 --2. 调整过程 -一些工具和技术 (1)运用模型 (2)优化和控制算法 (3)系统管理工具 (4)综合调整和暗示传递(Co-tuning and Hint Passing)

地理信息应用 高性能工作流系统MRGIS --高效率执行GIS应用程序的基于MapReduce集群的并行和分布式计算平台 --组成:设计接口、任务调度器和运行时间支持系统 --系统的性能测试:两组实验,第一组实验是GIS工作流中典型的代数运算,测试输入是单独的数据集,数据采用Arc/ASC格式。第二组实验的测试输入数据集从远程主机上获得,工作流执行18个任务

商业应用 IBM阿尔马登研究中心,研究者开发了一个企业文本分析平台,应用Hadoop MapReduce框架来支持分类工作。该平台包含两个核心组件:T系统和Jaql --1)用T系统进行信息抽取 从非结构化文本中抽取结构化信息,并发现其中的一些关系 --2)用Jaql进行数据处理 一种通用数据流语言

医学应用 Granules:云计算的一个轻量级运行时,被设计用来管理云中的大量计算,如处理感应器产生的数据。支持云计算中两种主导的模式:MapReduce和数据流图 为了验证在分布式环境中运用Granules来分类脑电图数据流的适用性,将Granules的处理方法与Snowfall(基于SNOW(Simple Network of Workstations)的R包)处理方法进行了对比,并且设计了实验去评估训练神经网络和分类脑电图信号计划所带来的成本 方法 数据流时间(ms) 平均时间(ms) 最小时间(ms) 最大时间(ms) 标准时间差(ms) Snowfall 5s 8884.60 8797.745 9.69.47 85.82 Granules 141.69 136.42 266.63 12.75 1s 5825.71 5815.38 5857.98 10.09 93.16 47.51 492.68 32.13 250ms 2831.32 2830.38 2849.83 2.03 87.25 48.57 92.67 4.49

社会智能应用 BetterLife 2.0体系结构主要包括:云层、基于案例的推理机、应用程序接口

提 纲  云计算体系结构研究  云计算关键技术研究  编程模型研究  支撑平台研究  应用研究  云安全研究 20

Anti-Spam Grid:反垃圾邮件网格 反垃圾邮件网格的主要工作步骤 (1)反垃圾邮件服务器向某个调度器发布自己的服务 (2)客户端向调度器提出过滤申请 (3)调度器根据负载均衡或其他策略选择一台服务器为其服务 (4)客户端向服务器报告邮件的签名和贝叶斯学习成果 (5)服务器反馈此签名邮件的统计信息及其他客户端最近更新的贝叶斯学习成果 (6)客户端据此过滤垃圾邮件 (7)服务器之间共享数据 云安全:用户与一个安全平台通过互联网紧密相连,组成一个庞大的对病毒、垃圾邮件、木马、恶意软件等内容的监测网络,每个用户都为云安全贡献一份力量,同时分享其他用户的安全成果 --前身:本书作者刘鹏早在2003年提出的反垃圾邮件网格(Anti-Spam Grid)技术

CloudAV:终端恶意软件检测 传统的反病毒模式存在诸多局限性,主要体现 (1)被动防御、滞后杀毒 (2)反病毒软件本身存在漏洞 终端恶意软件检测模型两个关键改变 (1)云端检测 (2)N-VERSION保护技术 模型包括三个主要的组件 --1)客户端软件 --2)网络服务组件 --3)存档服务组件

AMSDS:恶意软件签名自动检测 --(1)去噪(De-noise) --(2)破坏恶意软件的PE格式,使恶意的样本无法执行 恶意软件签名自动检测系统(AMSDS):支持云端反病毒的新型的、轻量级的桌面引擎,能够自动地产生一个轻量级的签名数据库。在反病毒云模型中,用户不需要安装大量的病毒签名文件,只需要一个轻量级的“云签名”集,只有遇到AMSDS无法检测的可疑文件时,客户端才向云服务器发送请求  AMSDS的工作分为以下两个部分 --(1)去噪(De-noise) --(2)破坏恶意软件的PE格式,使恶意的样本无法执行

CloudSEC:协作安全服务体系结构 CloudSEC的目标:为各自的用户提供协同安全服务,且提供一个分布式的、可扩展的而且可靠的平台 --管理组(Administration Group) --协作组(Collaboration Groups) --外围实体(Peripheral Entities)

习题 1.常见的云系统的分类有哪些? 2.云支撑平台有哪些,它们之间有哪些共同点和不同点? 3.云计算的关键技术主要有哪些? 4.云计算还可以在哪些领域有所应用? 5.云安全研究还有哪些,查阅相关文献,至少列举两点?

阅读精选 [1] 云计算研究专区 http://bbs.chinacloud.cn/showforum-27.aspx [2] 云计算应用专区 http://bbs.chinacloud.cn/showforum-37.aspx [3] 中国云计算实践专区 http://bbs.chinacloud.cn/showforum-40.aspx

谢 谢! http://www.chinacloud.cn