E-Mapreduce培训系列 基本介绍.

Presentation on theme: "E-Mapreduce培训系列 基本介绍."— Presentation transcript:

1 E-Mapreduce培训系列 基本介绍

2 基本概念 集群 作业 执行计划

3 EMR是什么，产品定位 E-MapReduce 是一项Web服务，简化了大数据处理，提供的大数据框架可以让您轻松、高速、经济、安全、稳定地处理大数据，满足如日志分析、数据仓库、商业智能、机器学习、科学模拟等业务需求。 您可以运行常用的计算框架（例如：Hadoop、Spark）与阿里云其它的数据存储服务（例如 OSS、RDS）中的数据进行互动。

4 开源软件

5 技术架构 EMR Web User Admin Zeppelin notebook HUE pig Hive Spark SQL Spark
Graphx Spark Mllib Spark Streaming Hbase Other Engine eg:storm impala、 flink等其它开源软件 MapReduce/TEZ Spark Core YARN HDFS Tachyon EMR Agent Layer ECS 其中 蓝色已经包含，绿色待添加

6 优势-为什么选择EMR 易用 低成本 深度整合 可靠 安全 专业支持

7 优势-易用 易于部署，分钟开启 任务编排

8 优势-底成本 包年包月 动态扩容 节约成本 按时付费 存储计算分离 计算想用才付费 EMR成本 ECS成本 自建成本 机器成本 运维成本
机器空闲 机会成本 包年包月 动态扩容 节约成本 按时付费 存储计算分离 计算想用才付费

9 优势-深度整合 跟阿里云其它产品深度整合 Log Service/MNS/ONS OSS 对象存储 ECS Web EMR
RDS MongoDB Redis等 Log Service/MNS/ONS 跟阿里云其它产品深度整合

10 优势- 可靠、安全、专业 监控您集群的状态 Hadoop针对云进行一系列优化 RAM: 主子账号整合阿里云RAM资源权限管理系统
VPC：构建出一个隔离的网络环境，安全地可以云上，云下互动 专业的Hadoop生态专家团队

11 EMR与自建HADOOP集群 EMR优势 自建，包括在ECS自建 易用 低成本 深度整合 可靠 安全 专业支持 浪费精力 成本高
需要管监控，报警 缺乏专业支持 。。。。

12 本节结束，谢谢