Jul 2014 HEAT部署Hadoop集群 刘光亚(liugya@cn.ibm.com).

Slides:



Advertisements
Similar presentations
模板的使用 教育学 江西教育学院教育系 冯芳 2012 - 10. 第二章 教育学的产生和发展 第一节 教育学的研究对象和任务 第二节 教育学的产生与发展 第三节 学习教育学的意义与方法.
Advertisements

定 格 入 格 破 格 —— 新诗仿写复习训练 仿照下列句子,再把 “ 人生 ” 比喻成 “ 大海 ”“ 天空 ” , 造两个句子。 如果说人生是一首优美的乐曲,那么痛苦则 是其中一个不可或缺的音符。 参考答案: 1 、如果说人生是一望无际的大海,那么挫折则 是其中一个骤然翻起的浪花。 2 、如果说人生是一片湛蓝的天空,那么失意则.
用 藥 安 全 用 藥 安 全 護 理 師 張 嘉 芬. 前 言 前 言 正確用藥的方法 藥袋上的秘辛 為了減少重大疾病或是醫療處理、 用藥不當的相關事件發生。
阿尔伯特亲王 阿尔伯特亲王纪念碑 维多利亚女王夫妇 维多利亚女王一家 建造水晶宫 水晶宫初建时的照片.
動動腦時間 — 腦筋急轉彎 —. 1. 有三個小朋友在猜 拳,一個出石頭,一 個出布,一個出剪刀, 請問三個人共有幾根 指頭? 答案: 60 根.
梦想启航 ——大学生活与职业规划专题讲座.
河北保定外国语学校 高三家长会.
以信息化带动教育现代化,打造教育的“南山质量”
个体税收征管政策讲解 浏阳市地方税务局.
封面 2015易驾考最新分享: 科目二考试方法秘诀 文章来源:易驾考官网.
基于行业的 企业技术创新信息保障体系研究 刘 华 博士 中国科学技术信息研究所.
第四讲 1949—1991年的中苏关系 及其经验教训.
“鼠标加水泥”的百货公司——武汉中百 朱巧巧 陆嘉怡 田泽宇.
合理控制索道游客流量 确保景区可持续发展 云南丽江玉龙雪山索道 陈加林 二0一五年十一月.
千里挑一的“征途” ——浅谈中国“国考”热.
十五條佛規 後學:張慈幸
研修4组 学习简报(第3期) 主编:左文玲 2015年2月7日.
潘集小学英语班 学习简报(第5期) 主编:吴婷 2016年2月28日.
与领导、下级、同事的 沟通技巧.
潜能宇宙平衡法则 ——启动11.11天地人合新生命工程(分类系统) 凛然智慧(北京)教育咨询有限公司.
道路交通管理 授课教师:于远亮.
失眠的饮食及调理 北京国济中医院
中餐烹調實習Ⅲ 第九章中國菜系介紹 林可薇 製作.
新高考研究介绍 湖北省教育考试院项目研究组.
如东中专 学校文化课现状及提升举措的思考
第3讲 时间管理.
续班指导.
高等教育出版社 工作汇报 化学化工分社 翟怡.
******班班级学习简报(第*期) 主编:*** ****年**月**日.
采购控制程序 2008年9月.
单位:十堰离退休职工服务中心 时间:2016年2月1日
中国家电企业如何打造全球化品牌 黄 辉.
1、什么是动能?什么是重力势能?什么叫弹性势能?
四川信托-汇誉10号集合资金信托计划.
《现代大学 英语》 说课程 公共课部 臧朝晖 益阳医学高等专科学校.
保大人还是保小孩 ---产房里的伦理学问题 小组成员 蔡婷 基础医学系 郭灵飞 基础医学系
超星尔雅 tsk.erya100.chaoxing.com 网络通识课程学习指导.
發展東華特色課程 期末成果發表 呂進瑞 國立東華大學財金系.
中药学 第十一章 祛风湿药.
形势与政策 2016年上.
幼儿园班务管理实践.
中 医 内 科 学 第一章 第一节 感冒.
中共江西省委党史研究室 从井冈山斗争中汲取信念的力量 沈谦芳 (江西省委党史研究室主任,博士、教授)
电气安全技术和管理 ——面对工厂管理者的电气安全管理 主讲人:林仿生.
第四节 存货 一、存货的分类 二、存货核算的主要内容 三、存货的确认条件 四、存货入账价值的确定 五、存货发出的计价 六、原材料
七年级下册《生物学》 神经调节的基本方式 小关镇第一初级中学 张书珺.
家庭教育 ----关爱成长 颜士杰.
2016年陕西省中考 语文试题分析(宝鸡市) 金台区教研室 马莉宁.
前不久看到了这样一则报道:某个大学校园里,一个大学生出寝室要给室友留一张字条,告诉他钥匙放在哪里。可是“钥匙”两个字他不会写,就问了其他寝室的同学,问了好几个,谁也不会写,没办法,只好用“KEY”来代替了。 请大家就此事发表一下自己看法。
第三章 人类社会及其发展规律.
中 医 内 科 学 第二章 第二节 胸 痹.
小组成员:吴芋蓓,钟汶珊,程瑶,唐嘉馨,朱然
利用共同供應契約 辦理大量訂購流程說明.
科技经费管理与监督检查 浙江省科学技术厅 计划财务处 2012 • 8.
第七章 固定资产.
認識檳榔與口腔癌 九湖國小 護理師 謝金枝.
生命教育 媒材應用分享 電影 天外奇蹟(UP) 華盛頓高中 巫孟容.
兒童及少年保護、 家庭暴力及性侵害事件、 高風險家庭 宣導與通報
班級家長日召開經驗分享 如何邀請家長參加家長日 家長日召開前置的作業 家長日資料的編寫與整理 家長日召開前一日的準備工作 家長日的召開
中国农业科学院博士后学术论坛 博士后基金申请的经验及体会 中国农业科学院生物技术研究所 秦 华 博士
OpenStack vs CloudStack
苍溪县小学语文工作坊 学习简报(第4期) 主编:李周国 2017年4月30日.
2019/5/30 北京市药品供应评价模块 操作说明 北京市医药集中采购服务中心.
合 理 化 建 议 ——病区设计定时开放电视机 普外科:应莲琴.
统计学 第7章 参数估计 教师:张文利.
点击此处添加标题文字 点击此处添加副标题.
如何 使用简介.
“大学生恋爱 登记制”的问 卷调查分析 小组成员:
美 术.
腾讯广告认证 销售顾问认证考试说明.
Presentation transcript:

Jul 2014 HEAT部署Hadoop集群 刘光亚(liugya@cn.ibm.com)

Orchestration service for OpenStack 使用Template来定义应用 (JSON Or YAML) 什么是HEAT Orchestration service for OpenStack 使用Template来定义应用 (JSON Or YAML) 自动部署 自动扩展 高可用 。。。

Hadoop Cluster On HEAT 自动部署 自动扩展 自动部署Hadoop集群 根据CPU,Memory等等来自动扩展Hadoop集群

Hadoop Cluster On HEAT Hadoop的模板 一个Hadoop管理节点 多个Hadoop计算节点 可以自动扩展、收缩等等 告警 监控CPU或者Memory 触发策略执行 策略 自动扩展收缩等等

Hadoop Template For HEAT Hadoop Cluster On HEAT Hadoop Template For HEAT Hadoop 管理节点 创建虚拟机的镜像文件 虚拟机的flavor 访问虚拟机的private key user data 是虚拟机创建完成后,需要做的一些post install工作 Hadoop管理节点安装完成后,需要发一个信号来通知 HEAT Engine可以开始创建Hadoop计算节点了

Hadoop Template For HEAT Hadoop Cluster On HEAT Hadoop Template For HEAT Hadoop计算节点自动扩展资源组 Hadoop计算节点自动扩展资源组最大虚拟机个数 Hadoop计算节点自动扩展资源组最小虚拟机个数

将metrics发给heat engine,heatengine会根据metircs来决定是否要自动扩展或者收缩。 Hadoop Cluster On HEAT Hadoop Template For HEAT 将metrics发给heat engine,heatengine会根据metircs来决定是否要自动扩展或者收缩。

当前的这个自动扩展策略针对的是哪个资源扩展组 Hadoop Cluster On HEAT Hadoop自动扩展策略 Hadoop Template For HEAT 当前的这个自动扩展策略针对的是哪个资源扩展组 连续两次自动扩展的时间间隔 用来触发自动扩展的Alarm 每次扩展只会添加一台虚拟机 触发自动扩展的Metrics Alarm多长时间触发一次 触发自动扩展的阈值

Hadoop Cluster On HEAT 创建Stack

Hadoop Cluster On HEAT Stack 创建完成

Hadoop Cluster On HEAT 检查VM是否创建成功 Hadoop Master Hadoop Compute

Hadoop Cluster On HEAT 检查Hadoop集群 One Hadoop Compute

Hadoop Cluster On HEAT 自动扩展一台虚拟机

Hadoop Cluster On HEAT 自动扩展成功

Scale up to Two Hadoop Compute Hadoop Cluster On HEAT 检查Hadoop集群 Scale up to Two Hadoop Compute

Hadoop Cluster On HEAT 可以用同样的方法来自动收缩 现在自动收缩会将创建最早的虚拟机删除,没有任何的策略让用户挑选要删除的虚拟机。 在删除虚拟机前,用户没有机会为即将删除的虚拟机执行一些清理工作。

参考 https://wiki.openstack.org/Heat https://w3-connections.ibm.com/wikis/home?lang=en-us#!/wiki/Wc50c94953cb5_4158_b054_b5af88796998/page/BigData%20on%20Cloud http://aws.amazon.com/documentation/cloudformation/ https://w3-connections.ibm.com/wikis/home?lang=en-us#!/wiki/W6756ebb33c0c_43ca_9ae8_3cd8b377a1be/page/Heat

HEAT 自动扩展工作流

Thanks!