Jul 2014 HEAT部署Hadoop集群 刘光亚(liugya@cn.ibm.com)
Orchestration service for OpenStack 使用Template来定义应用 (JSON Or YAML) 什么是HEAT Orchestration service for OpenStack 使用Template来定义应用 (JSON Or YAML) 自动部署 自动扩展 高可用 。。。
Hadoop Cluster On HEAT 自动部署 自动扩展 自动部署Hadoop集群 根据CPU,Memory等等来自动扩展Hadoop集群
Hadoop Cluster On HEAT Hadoop的模板 一个Hadoop管理节点 多个Hadoop计算节点 可以自动扩展、收缩等等 告警 监控CPU或者Memory 触发策略执行 策略 自动扩展收缩等等
Hadoop Template For HEAT Hadoop Cluster On HEAT Hadoop Template For HEAT Hadoop 管理节点 创建虚拟机的镜像文件 虚拟机的flavor 访问虚拟机的private key user data 是虚拟机创建完成后,需要做的一些post install工作 Hadoop管理节点安装完成后,需要发一个信号来通知 HEAT Engine可以开始创建Hadoop计算节点了
Hadoop Template For HEAT Hadoop Cluster On HEAT Hadoop Template For HEAT Hadoop计算节点自动扩展资源组 Hadoop计算节点自动扩展资源组最大虚拟机个数 Hadoop计算节点自动扩展资源组最小虚拟机个数
将metrics发给heat engine,heatengine会根据metircs来决定是否要自动扩展或者收缩。 Hadoop Cluster On HEAT Hadoop Template For HEAT 将metrics发给heat engine,heatengine会根据metircs来决定是否要自动扩展或者收缩。
当前的这个自动扩展策略针对的是哪个资源扩展组 Hadoop Cluster On HEAT Hadoop自动扩展策略 Hadoop Template For HEAT 当前的这个自动扩展策略针对的是哪个资源扩展组 连续两次自动扩展的时间间隔 用来触发自动扩展的Alarm 每次扩展只会添加一台虚拟机 触发自动扩展的Metrics Alarm多长时间触发一次 触发自动扩展的阈值
Hadoop Cluster On HEAT 创建Stack
Hadoop Cluster On HEAT Stack 创建完成
Hadoop Cluster On HEAT 检查VM是否创建成功 Hadoop Master Hadoop Compute
Hadoop Cluster On HEAT 检查Hadoop集群 One Hadoop Compute
Hadoop Cluster On HEAT 自动扩展一台虚拟机
Hadoop Cluster On HEAT 自动扩展成功
Scale up to Two Hadoop Compute Hadoop Cluster On HEAT 检查Hadoop集群 Scale up to Two Hadoop Compute
Hadoop Cluster On HEAT 可以用同样的方法来自动收缩 现在自动收缩会将创建最早的虚拟机删除,没有任何的策略让用户挑选要删除的虚拟机。 在删除虚拟机前,用户没有机会为即将删除的虚拟机执行一些清理工作。
参考 https://wiki.openstack.org/Heat https://w3-connections.ibm.com/wikis/home?lang=en-us#!/wiki/Wc50c94953cb5_4158_b054_b5af88796998/page/BigData%20on%20Cloud http://aws.amazon.com/documentation/cloudformation/ https://w3-connections.ibm.com/wikis/home?lang=en-us#!/wiki/W6756ebb33c0c_43ca_9ae8_3cd8b377a1be/page/Heat
HEAT 自动扩展工作流
Thanks!