E-Mapreduce培训系列 基本介绍
基本概念 集群 作业 执行计划
EMR是什么,产品定位 E-MapReduce 是一项Web服务,简化了大数据处理,提供的大数据框架可以让您轻松、高速、经济、安全、稳定地处理大数据,满足如日志分析、数据仓库、商业智能、机器学习、科学模拟等业务需求。 您可以运行常用的计算框架(例如:Hadoop、Spark)与阿里云其它的数据存储服务(例如 OSS、RDS)中的数据进行互动。
开源软件
技术架构 EMR Web User Admin Zeppelin notebook HUE pig Hive Spark SQL Spark Graphx Spark Mllib Spark Streaming Hbase Other Engine eg:storm impala、 flink等其它开源软件 MapReduce/TEZ Spark Core YARN HDFS Tachyon EMR Agent Layer ECS 其中 蓝色已经包含,绿色待添加
优势-为什么选择EMR 易用 低成本 深度整合 可靠 安全 专业支持
优势-易用 易于部署,分钟开启 任务编排
优势-底成本 包年包月 动态扩容 节约成本 按时付费 存储计算分离 计算想用才付费 EMR成本 ECS成本 自建成本 机器成本 运维成本 机器空闲 机会成本 包年包月 动态扩容 节约成本 按时付费 存储计算分离 计算想用才付费
优势-深度整合 跟阿里云其它产品深度整合 Log Service/MNS/ONS OSS 对象存储 ECS Web EMR RDS MongoDB Redis等 Log Service/MNS/ONS 跟阿里云其它产品深度整合
优势- 可靠、安全、专业 监控您集群的状态 Hadoop针对云进行一系列优化 RAM: 主子账号整合阿里云RAM资源权限管理系统 VPC:构建出一个隔离的网络环境,安全地可以云上,云下互动 专业的Hadoop生态专家团队
EMR与自建HADOOP集群 EMR优势 自建,包括在ECS自建 易用 低成本 深度整合 可靠 安全 专业支持 浪费精力 成本高 需要管监控,报警 缺乏专业支持 。。。。
本节结束,谢谢