电子工业出版社《云计算(第二版)》配套课件 第2章 Google云计算原理与应用 《云计算（第二版）》购买网址： 当当网：http://product.dangdang.com/product.aspx?product_id=21094102 京东商城：http://book.360buy.com/10658667.html 解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作

《云计算（第二版）》购买网址： 当当网 京东商城 姊妹力作《实战Hadoop》购买网址： 当当网 京东商城 《云计算（第二版）》购买网址： 当当网 京东商城 《云计算（第二版）》购买网址： 当当网：http://product.dangdang.com/product.aspx?product_id=21094102 京东商城：http://book.360buy.com/10658667.html 姊妹力作《实战Hadoop》购买网址： 当当网 京东商城

提 纲  Google文件系统GFS  分布式数据处理MapReduce  分布式锁服务Chubby 提 纲  Google文件系统GFS  分布式数据处理MapReduce  分布式锁服务Chubby  分布式结构化数据表Bigtable  分布式存储系统Megastore  大规模分布式系统的监控基础架构Dapper  Google应用程序引擎

 Google App Engine编程实践 应用程序环境 Google App Engine服务  Google App Engine编程实践

Google App Engine简介 Google App Engine是一个由Python应用服务器群、Bigtable数据库及GFS数据储存服务组成的平台，它能为开发者提供一体化的、可自动升级的在线应用服务 开发人员在Google的基础架构上运行网络应用程序 用户可以使用appspot.com域上的免费域名为应用程序提供服务，也可以使用Google企业应用套件从自己的域为它提供服务 注册一个免费账户即可开发和发布应用程序，而且不需要承担任何费用和责任

Google App Engine架构 整体架构 前端和静态文件 应用服务器 服务器群 应用管理节点 Google App Engine架构

基本概念 沙盒—Google App Engine为每个应用程序提供了一个安全运行环境 Python运行时环境—Google App Engine支持Java和Python语言；提供一个由Python语言编写的网络应用程序框架webapp 数据库——分布式存储数据库 Data Store Google账户 ——开发应用程序必须拥有一个Google账户 App Engine服务——Google App Engine提供了一些服务 开发流程 ——Google App Engine开发应用程序必须遵守一定的开发流程 配额和限制 ——Google账户提供的免费空间和流量有一定的配额和限制

 Google App Engine编程实践 应用程序环境 Google App Engine服务  Google App Engine编程实践

应用程序环境特性 （1）动态网络服务功能。能够完全支持常用的网络技术 （2）具有持久存储的空间。平台可支持一些基本操作，如查询、分类和事务的操作 应用程序环境特性 （3）具有自主平衡网络和系统的负载、自动进行扩展的功能 （4）可以对用户的身份进行验证，并且支持使用Google账户发送邮件 （5）有一个功能完整的本地开发环境，可以在自身的计算机上模拟Google App Engine环境 （6）支持在指定时间或定期触发事件的计划任务

Python Python运行时环境包括Python标准库，开发人员可以调用库中的方法来实现程序功能，但是不能使用沙盒限制的库方法（尝试打开套接字、向文件进行写入操作等），为便于编程，Google App Engine将一些模块进行了禁用 在Python运行时环境中，应用程序只能以Python语言编写，扩展代码中若有C语言，则应用程序将不受系统支持 Python环境为开发平台中的数据库、Google账户、网址抓取和电子邮件服务等提供了丰富的Python API Google App Engine还提供了一个简单的Python网络应用程序框架Webapp

沙盒对用户进行如下限制 沙盒给开发人员提供了一个虚拟的环境，这个环境使应用程序与其他开发者开发使用的程序相隔离，从而保证每个使用者可以安全地开发自己的应用程序 01 02 03 用户应用程序只能通过Google App Engine提供的网址抓取API和电子邮件服务API来访问互联网中其他计算机；只能在标准接口上通过HTTP或HTTPS来进行 应用程序无法对Google App Engine的文件系统进行写入操作，只能读取应用程序代码上的文件，并且该应用程序必须使用Data Store数据库来存储应用程序运行期间持续存在的数据 应用程序只有在响应网络请求时才运行，且响应时间必须极短（几秒之内完成）。同时，请求处理的程序不能在自己的响应发送后产生子进程或执行代码

Google App Engine SDK 使用SDK时，可以在本地计算机上模拟包括所有Google App Engine服务的网络服务器应用程序，该SDK包括Google App Engine中的所有API和库。该网络服务器还可以模拟沙盒环境 使用Python实现，这个开发套件可以在装有Python 2.5的任何平台上面运行，包括Windows、Mac OS X和Linux等，开发人员可以在Python网站上获得适合自己系统的Python 该开发套件还包括将应用程序上传到Google App Engine之上的工具。用户创建自己应用程序的代码、静态文件和配置文件之后，就可以运行这个工具将数据上传到平台上面 系统中有一个管理控制台，这个管理控制台有一个网络接口，用于管理在Google App Engine上运行的应用程序

 Google App Engine编程实践 应用程序环境 Google App Engine服务  Google App Engine编程实践

图像操作API 1）Image类 来自于google.appengine.api.images模块，该类可以用来封装图像信息及转换该图像；实例方法： （1）resize(width=0, height=0)：该方法用来缩放图像 （2）crop(left_x, top_y, right_x, bottom_y)：该方法可以将图像裁剪到指定边界框的大小，并且裁剪后以相同的格式返回转换的图像 （3）rotate(image_data, degrees, output_encoding=images.PNG)：该方法是用来旋转图像 （4）horizontal_flip(image_data, output_encoding=images.PNG)：该函数表示对图像进行水平翻转。 （5）vertical_flip(image_data, output_encoding=images.PNG)：该函数表示垂直地翻转图像，并且转换后的图像与以前的格式一样  2）exception类 google.appengine.api.images 包为用户主要提供以下exception类： （1）exception Error()：这是该包中所有异常的基类 （2）exception TransformationError()：表示尝试转换图像时发生错误 （3）exception BadRequestError()：表示转换参数无效

邮件API 邮件API为用户提供两种方式来发送电子邮件：mail.send_mail()函数和EmailMessage类  1）允许的附件类型 图像格式；文本格式；应用程序格式  2）EmailMessage （1）构造函数 （2）实例方法 （3）函数 （a）is_email_valid(email_address) （b）send_mail(sender, to, subject, body, **kw) （4）异常 （a）exception Error() （b）exception BadRequestError() （c）exception InvalidEmailError()

Memcache API Memcache API提供了一个基于类的接口，以便和其他Memcache API相兼容 1）构造函数 class Client()产生与Memcache服务通信的客户端 2）实例方法 （1）set(key, value, time=0, min_compress_len=0) （2）get(key) （3）delete(key, seconds=0) （4）add(key, value, time=0, min_compress_len=0) （5）replace(key, value, time=0, min_compress_len=0) （6）incr(key, delta=1) （7）decr(key, delta=1) （8）flush_all() （9）get_stats()

用户API 1）User对象 2）登录网址 3）User类 （1）构造函数 （2）实例方法 （a）nickname() （b）email() （3）函数 （a）create_login_url(dest_url) （b）create_logout_url(dest_url) （c）get_current_user() （4）异常 （a）exception Error() （b）exception UserNotFoundError() （c）exception RedirectTooLongError()

数据库API 1）Model类 2）Property类 （1）类方法 （2）实例方法 （1）类构造函数 （2）类属性 （a）Model.get(keys) （b）Model.all() （c）Model.gql(query_string, *args, **kwds) （2）实例方法 （a）key() （b）put() （c）delete() 2）Property类 （1）类构造函数 （2）类属性 （3）实例方法 （a）default_value() （b）validate(value) （c）empty(value)

数据库API 3）Query类 4）GqlQuery类 （1）构造函数 （2）实例方法 （a）filter(property_operator, value) （b）order(property) （c）ancestor(ancestor) （d）get() （e）fetch(limit, offset=0) （f）count(limit) 4）GqlQuery类 （a）bind(*args, **kwds) （b）get() （c）fetch(limit, offset=0) （d）count(limit)

数据库API 5）Key类 （1）构造函数 （2）类方法 （3）实例方法 （4）函数 （a）app() （b）kind() （c）id() （d）name() （4）函数 （a）get(keys) （b）put(models) （c）delete(models) （d）run_in_transaction(function, *args, **kwargs)

 Google App Engine编程实践 应用程序环境 Google App Engine服务  Google App Engine编程实践

相比其他Web主机服务，Google App Engine有下列独到之处： （2）提供数据存储服务 （3）集成了Gmail、Google User认证、URL Fetch、Memcache和图片操作（PIL）等多种API （4）Google App Engine提供存储空间为500M，每月500万页面访问的免费服务，超出部分需要支付相应费用

添加appengine java sdk环境 Java在Google App Engine上怎么实现个人空间日志管理功能？ 1．搭建开发平台 （1）下载JDK1.6安装并配置好环境变量 （2）下载eclipse3.6安装包，解压 （3）下载Google Plugin for Eclipse3.6，解压后将插件包中feature下的文件复制到 eclipse的feature目录下，将插件包中plugin下的文件复制到eclipse的plugin目录下（也可以通过建立link文件来安装插件） （4）下载appengine-java-sdk，在eclipse中依次点击Window>Preference>Google>App Engine>Add，添加sdk根目录 添加appengine java sdk环境

创建一个新的Web Application 2.创建工程并测试 创建一个新的Web Application 新建名为zqspace的项目，包名为cn.edu.xtu，项目目录结构如图示

web应用部署到Google App Engine

3.开发个人空间zqspace 1）需求分析 2）数据模型设计 3）页面设计 4) 实体类编码 5）业务逻辑编码 6）读取日志 7）删除日志 (b)日志列表页面 (c)写日志的界面 4) 实体类编码 5）业务逻辑编码 6）读取日志 7）删除日志 8）写日志 9）修改日志 10）权限管理 字 段 名 描 述 类 型 id 主键（自增） Long author 作者 User title 标题 String content 内容 tag 标签 date 更新时间 Date

4．项目部署 编码完成后，先在本地测试，通过后，就可以将项目发布到Google App Engine上

习题 1．Google云计算技术包括哪些内容？ 2．当前主流分布式文件系统有哪些？各有什么优缺点？ 3．GFS采用了哪些容错措施来确保整个系统的可靠性？ 4．MapReduce与传统的分布式程序设计相比有何优点？ 5．Chubby的设计目标是什么？Paxos算法在Chubby中起什么作用？ 6．阐述Bigtable的数据模型和系统架构。 7．分布式存储系统Megastore的核心技术是什么？ 8．大规模分布式系统的监控基础架构Dapper关键技术是什么？ 9．Google App Engine提供了哪些服务？ 10．Google App Engine的沙盒对开发人员进行哪些限制？

阅读精选 [1] The Google File System http://www.cs.brown.edu/courses/cs295-11/2006/gfs.pdf [2] MapReduce: Simplied Data Processing on Large Clustershttp http://www.cs.toronto.edu/~demke/2227S.12/Papers/mapreduce-osdi04.pdf [3] The Chubby lock service for loosely-coupled distributed systems http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//archive/chubby-osdi06.pdf [4] Bigtable: A Distributed Storage System for Structured Data http://static.usenix.org/event/osdi06/tech/chang/chang_html/ [5] Megastore: Providing Scalable, Highly Available Storage for Interactive Services http://www.cidrdb.org/cidr2011/Papers/CIDR11_Paper32.pdf [6] Dapper, a Large-Scale Distributed Systems Tracing Infrastructure http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//pubs/archive/36356.pdf [7] Google app Engine专区 http://bbs.chinacloud.cn/showforum-22.aspx

谢 谢！ http://www.chinacloud.cn