Jul 2014 HEAT部署Hadoop集群 刘光亚(liugya@cn.ibm.com).

Presentation on theme: "Jul 2014 HEAT部署Hadoop集群 刘光亚(liugya@cn.ibm.com)."— Presentation transcript:

1 Jul 2014 HEAT部署Hadoop集群

2 Orchestration service for OpenStack 使用Template来定义应用 (JSON Or YAML)
什么是HEAT Orchestration service for OpenStack 使用Template来定义应用 (JSON Or YAML) 自动部署 自动扩展 高可用 。。。

3 Hadoop Cluster On HEAT 自动部署 自动扩展 自动部署Hadoop集群
根据CPU，Memory等等来自动扩展Hadoop集群

4 Hadoop Cluster On HEAT Hadoop的模板 一个Hadoop管理节点 多个Hadoop计算节点 可以自动扩展、收缩等等
告警 监控CPU或者Memory 触发策略执行 策略 自动扩展收缩等等

5 Hadoop Template For HEAT
Hadoop Cluster On HEAT Hadoop Template For HEAT Hadoop 管理节点 创建虚拟机的镜像文件 虚拟机的flavor 访问虚拟机的private key user data 是虚拟机创建完成后，需要做的一些post install工作 Hadoop管理节点安装完成后，需要发一个信号来通知 HEAT Engine可以开始创建Hadoop计算节点了

6 Hadoop Template For HEAT
Hadoop Cluster On HEAT Hadoop Template For HEAT Hadoop计算节点自动扩展资源组 Hadoop计算节点自动扩展资源组最大虚拟机个数 Hadoop计算节点自动扩展资源组最小虚拟机个数

7 将metrics发给heat engine，heatengine会根据metircs来决定是否要自动扩展或者收缩。
Hadoop Cluster On HEAT Hadoop Template For HEAT 将metrics发给heat engine，heatengine会根据metircs来决定是否要自动扩展或者收缩。

8 当前的这个自动扩展策略针对的是哪个资源扩展组
Hadoop Cluster On HEAT Hadoop自动扩展策略 Hadoop Template For HEAT 当前的这个自动扩展策略针对的是哪个资源扩展组 连续两次自动扩展的时间间隔 用来触发自动扩展的Alarm 每次扩展只会添加一台虚拟机 触发自动扩展的Metrics Alarm多长时间触发一次 触发自动扩展的阈值

9 Hadoop Cluster On HEAT 创建Stack

10 Hadoop Cluster On HEAT Stack 创建完成

11 Hadoop Cluster On HEAT 检查VM是否创建成功 Hadoop Master Hadoop Compute

12 Hadoop Cluster On HEAT 检查Hadoop集群 One Hadoop Compute

13 Hadoop Cluster On HEAT 自动扩展一台虚拟机

14 Hadoop Cluster On HEAT 自动扩展成功

15 Scale up to Two Hadoop Compute
Hadoop Cluster On HEAT 检查Hadoop集群 Scale up to Two Hadoop Compute

16 Hadoop Cluster On HEAT 可以用同样的方法来自动收缩
现在自动收缩会将创建最早的虚拟机删除，没有任何的策略让用户挑选要删除的虚拟机。 在删除虚拟机前，用户没有机会为即将删除的虚拟机执行一些清理工作。

17 参考

18 HEAT 自动扩展工作流

19 Thanks!