E-Mapreduce培训系列 基本介绍.

Slides:



Advertisements
Similar presentations
大数据基础技术和应用. 大纲 大数据概述 大数据基础技术 工程技术 策略技术 典型应用 我们处于数据爆炸的时代 数据库 文字记录 照片 线下数据信息化 网页数据 用户行为记录 数字图像 互联网 - 移动互联网 设备监控 智能家居 摄像头 传感器 地球上至今总共的数据量: 在 2006 年,个人用户才刚刚迈.
Advertisements

ArchSummit 全球架构师峰会深 圳站 移动大数据平台架构实践 阎志涛 关于 TalkingData TalkingData( 北京腾云天下科技有限公司 ) 成立于 2011 年 9 月, 2013 年完成千万美元 A 轮融资 ( 北极光 领投 ) , 2014 年完成数千万美元的.
一、老师申请题目,以下指导老 师操作。 1. 登录教务系统 web 端. 2. 点击 “ 毕业设计 ” 工具栏下拉菜单中的 “ 论文 _ 教师申请题目 ”
课程介绍 (PPT版本号:2016年1月24日版本) 温馨提示:编辑幻灯片母版,可以修改每页PPT的厦大校徽和底部文字 林子雨
中华字库的云输入法 王勇 基础软件国家工程研究中心
高级软件工程 复习课.
云游天下,问道2014
第120讲:Hadoop的MapReduce和Yarn的配置实战详解
Big Data Ecosystem – Hadoop Distribution
大數據的學習路線 目前做不到的:機率性太高的(博奕) 大數據的核心:預測 預測來自於:分析及樣本 樣本的產生及收集 樣本的儲存 樣本的處理
第八讲 基于Hadoop的数据仓库Hive (PPT版本号:2016年4月6日版本)
Alibaba’s Practice on Data Security Kathy Pan Alibaba Data Economy Research Center Alibaba Research Institute.
玉泉锁业通用名车培训中心 玉泉锁业通用名车专修连锁. 驱动人生从这里开始.
“大云”大数据平台及应用 中国移动通信研究院 郭磊涛 2013年11月.
云计算学习报告 报告人: 陈 霁 大规模数据处理软件Apache Hadoop.
第八章 网络课程的设计与开发.
云计算业务应用-数据挖掘.
巨量資料平台: Hadoop的生態系.
《大数据技术原理与应用》 课程介绍 (2016春季学期)
第11章 海量信息存储 主讲:刘方明 副教授 华中科技大学计算机学院
云梯的多namenode和跨机房之路
为教师开展大数据课程教学提供全方位、一站式服务
基于hadoop的数据仓库技术.
会计技能综合实训 ——会计分工.
發展東華特色課程 期末成果發表 呂進瑞 國立東華大學財金系.
互联网时代班主任的挑战 万玮 2014年9月20日.
数据创造价值、创新驱动未来 浅析高校大数据建设方法 演讲人:伍剑 时间:
温江区行政事业单位 资产管理信息系统培训 2010年10月28日.
資料探勘工具 - Splunk介紹 報告者:曾彥志 報告日期:2015/09/18.
厦门大学数据库实验室NoSQL系列学习之
分布式系统中的关键概念及Hadoop的起源、架构、搭建
第2章 大数据处理架构Hadoop (PPT版本号:2017年2月版本)
快速学习环境搭建 安装前预备工作(Linux相关配置) 实操演示(hadoop、hbase为例) 总结&练习题(课后练练手)
雲端計算 參考書籍:Python+Spark 2.0+Hadoop 機器學習與大數據分析實戰
云计算之分布式计算.
王耀聰 陳威宇 國家高速網路與計算中心(NCHC)
基于Hadoop的数据仓库Hive.
實現雲端運算 Hadoop HDFS 磁碟及記憶體之即時分級服務
鄉村尋根-農具篇.
第九讲 Hadoop架构再探讨 (2016春季学期)
CHAPTER 6 認識MapReduce.
Spark在智慧图书馆建设中的应用探索 2017年12月22日.
开源云计算系统简介 电子工业出版社 刘鹏主编《云计算》教材配套课件11.
斯巴達帶大家上雲端.
Hadoop平台與應用規劃實作 報告者:劉育維.
从TDW-Hive到TDW-SparkSQL
場次A - 19 串流導覽 – 以蓮池潭為例 指導:張晉源 院長 學生:陳承劭 學生:吳佩誼.
基于大数据的物流资源整合 福建师范大学协和学院 沈庆琼.
大数据竞赛数据及实验平台介绍 上海理想信息产业(集团)有限公司
《Spark编程基础》 《 Spark编程基础》课程介绍 (PPT版本号:2018年2月)
软件工程基础 云计算概论 刘 驰.
大数据介绍及应用案例分享 2016年7月 华信咨询设计研究院有限公司.
大数据与物流 沈庆琼 物流教研室.
斯坦福大学调研 蒋达晟.
基于大数据平台数据管理研究 何家乐 2013年7月 中国科学院高能物理研究所.
網際網路版人力資源管理系統 (WebHR)
密级: 亿赞普Hadoop应用浅析 IZP 肖燕京.
雲端導覽系統專題報告 指導老師:江茂綸 老師 報告者:涂凱翔 組長: 洪梓奇 組員: 林昭宏
光变曲线数据高效生成方法研究 天津大学 天文信息技术联合研究中心 李琨、孙超、赵青
“修身成材” 班级干部培训班 黑龙江大学党委学工部.
研发技术体系梳理 陈玮
上海理工大学 光电信息与计算机工程学院 数据仓库与数据挖掘 张 艳 上海理工大学 光电信息与计算机工程学院.
97學年度專題成果展 畢業生職業性向測驗系統之建立
天翼云产品介绍.
《大数据导论(通识课版)》 第4章 大数据应用 (PPT版本号:2019年秋季学期)
天翼云3.0产品介绍 2018/4/24.
大数据发展的问题与方向 中国信通院云大所.
《大数据导论(通识课版)》 第6章 大数据思维 (PPT版本号:2019年秋季学期)
《大数据导论(通识课版)》 教材官网: 第5章 大数据安全 (PPT版本号:2019年秋季学期)
天翼云3.0产品介绍及18年规划.
Presentation transcript:

E-Mapreduce培训系列 基本介绍

基本概念 集群 作业 执行计划

EMR是什么,产品定位 E-MapReduce 是一项Web服务,简化了大数据处理,提供的大数据框架可以让您轻松、高速、经济、安全、稳定地处理大数据,满足如日志分析、数据仓库、商业智能、机器学习、科学模拟等业务需求。 您可以运行常用的计算框架(例如:Hadoop、Spark)与阿里云其它的数据存储服务(例如 OSS、RDS)中的数据进行互动。

开源软件

技术架构 EMR Web User Admin Zeppelin notebook HUE pig Hive Spark SQL Spark Graphx Spark Mllib Spark Streaming Hbase Other Engine eg:storm impala、 flink等其它开源软件 MapReduce/TEZ Spark Core YARN HDFS Tachyon EMR Agent Layer ECS 其中 蓝色已经包含,绿色待添加

优势-为什么选择EMR 易用 低成本 深度整合 可靠 安全 专业支持

优势-易用 易于部署,分钟开启 任务编排

优势-底成本 包年包月 动态扩容 节约成本 按时付费 存储计算分离 计算想用才付费 EMR成本 ECS成本 自建成本 机器成本 运维成本 机器空闲 机会成本 包年包月 动态扩容 节约成本 按时付费 存储计算分离 计算想用才付费

优势-深度整合 跟阿里云其它产品深度整合 Log Service/MNS/ONS OSS 对象存储 ECS Web EMR RDS MongoDB Redis等 Log Service/MNS/ONS 跟阿里云其它产品深度整合

优势- 可靠、安全、专业 监控您集群的状态 Hadoop针对云进行一系列优化 RAM: 主子账号整合阿里云RAM资源权限管理系统 VPC:构建出一个隔离的网络环境,安全地可以云上,云下互动 专业的Hadoop生态专家团队

EMR与自建HADOOP集群 EMR优势 自建,包括在ECS自建 易用 低成本 深度整合 可靠 安全 专业支持 浪费精力 成本高 需要管监控,报警 缺乏专业支持 。。。。

本节结束,谢谢