大数据应用人才培养系列教材 大数据系统运维 刘 鹏 张 燕 总主编 姜才康 主编 陶建辉 副主编.

Presentation on theme: "大数据应用人才培养系列教材 大数据系统运维 刘 鹏 张 燕 总主编 姜才康 主编 陶建辉 副主编."— Presentation transcript:

1 大数据应用人才培养系列教材 大数据系统运维 刘 鹏 张 燕 总主编 姜才康 主编 陶建辉 副主编

2 第八章 升级管理 8.1 Hadoop升级管理 8.2 Spark升级管理 8.3 Hive SQL升级管理
大数据应用人才培养系列教材 第八章　升级管理 8.1　Hadoop升级管理 8.2　Spark升级管理 8.3　Hive SQL升级管理 8.4　ZooKeeper升级管理 习题

3 8.1 Hadoop升级管理 Hadoop升级风险
第八章 升级管理 Hadoop升级风险 Hadoop升级最主要是HDFS的升级，HDFS的升级是否成功，才是升级的关键，如果升级出现数据丢失，则其他升级就变的毫无意义。

4 8.1 Hadoop升级管理 HDFS的数据和元数据升级
第八章 升级管理 HDFS的数据和元数据升级 HDFS是一种分布式文件系统层，可对集群节点间的存储和复制进行协调。HDFS确保了无法避免的节点故障发生后数据依然可用，可将其用作数据来源，可用于存储中间态的处理结果，并可存储计算的最终结果。 升级HDFS花费的时间不长，就是和启动集群的时间要多2-3倍的时间，升级丢失数据的风险几乎没有。

5 8.1 Hadoop升级管理 第八章 升级管理 YARN升级配置 YARN是Yet Another Resource Negotiator（另一个资源管理器）的缩写，可充当Hadoop堆栈的集群协调组件。该组件负责协调并管理底层资源和调度作业的运行。通过充当集群资源的接口，YARN使得用户能在Hadoop集群中使用比以往的迭代方式运行更多类型的工作负载。 由于任务计算都是使用Hive，所以YARN的升级很简单，只是启动yarn就行了。唯一要注意的是，从MapReduce升级到YARN，资源分配方式变化了，所以要根据自己的生产环境修改相关的资源配置。

6 第八章 升级管理 8.1 Hadoop升级管理 8.2 Spark升级管理 8.3 Hive SQL升级管理
大数据应用人才培养系列教材 第八章　升级管理 8.1　Hadoop升级管理 8.2　Spark升级管理 8.3　Hive SQL升级管理 8.4　ZooKeeper升级管理 习题

7 8.2 Spark升级管理 Spark特性 支持比Map和Reduce更多的函数。 优化任意操作算子图（operator graphs）。
第八章 升级管理 Spark特性 支持比Map和Reduce更多的函数。 优化任意操作算子图（operator graphs）。 可以帮助优化整体数据处理流程的大数据查询的延迟计算。 提供简明、一致的Scala，Java和Python API。 提供交互式Scala和Python Shell。目前暂不支持Java。

8 8.2 Spark升级管理 01 02 03 04 Spark生态系统 Spark Streaming Spark SQL
第八章 升级管理 Spark生态系统 Spark Streaming 01 Spark SQL 02 Spark MLlib 03 Spark GraphX 04

9 第八章 升级管理 8.1 Hadoop升级管理 8.2 Spark升级管理 8.3 Hive SQL升级管理
大数据应用人才培养系列教材 第八章　升级管理 8.1　Hadoop升级管理 8.2　Spark升级管理 8.3　Hive SQL升级管理 8.4　ZooKeeper升级管理 习题

10 8.3 Hive SQL升级管理 用户接口 元数据存储 解释器、编译器、优化器、执行器 Hadoop Hive SQL体系结构
第八章 升级管理 Hive SQL体系结构 用户接口 用户接口主要有三个：CLI，Client 和 WUI。 元数据存储 Hive 将元数据存储在数据库中，如 mysql、derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 解释器、编译器、优化器、执行器 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后由 MapReduce 调用执行。 Hadoop Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from tbl 不会生成 MapReduce 任务）。

11 01 02 03 04 8.3 Hive SQL升级管理 安装配置 安装需要的环境 安装打包好的Hive 编译Hive编码 运行Hive
第八章 升级管理 安装配置 01 安装需要的环境 02 安装打包好的Hive 03 编译Hive编码 04 运行Hive

12 第八章 升级管理 8.1 Hadoop升级管理 8.2 Spark升级管理 8.3 Hive SQL升级管理
大数据应用人才培养系列教材 第八章　升级管理 8.1　Hadoop升级管理 8.2　Spark升级管理 8.3　Hive SQL升级管理 8.4　ZooKeeper升级管理 习题

13 8.4 ZooKeeper升级管理 01 选举Leader。 02 同步数据。 ZooKeeper的基本运转流程 03 选举标准一致。 04
第八章 升级管理 01 选举Leader。 02 同步数据。 ZooKeeper的基本运转流程 03 选举标准一致。 04 Leader具有最高执行权限。 05 集群中大多数机器得到相应并选出Leader。

14 01 02 8.4 ZooKeeper升级管理 ZooKeeper升级方式 单机模式 集群模式
第八章 升级管理 ZooKeeper升级方式 单机模式 单机安装非常简单，只要获取到Zookeeper的压缩包并解压到某个目录，进行简单配置即可完成。 01 集群模式 Zookeeper 的集群模式的安装和配置也不是很复杂，所要做的就是增加几个配置项。 02

15 第八章 升级管理 8.1 Hadoop升级管理 8.2 Spark升级管理 8.3 Hive SQL升级管理
大数据应用人才培养系列教材 第八章　升级管理 8.1　Hadoop升级管理 8.2　Spark升级管理 8.3　Hive SQL升级管理 8.4　ZooKeeper升级管理 习题

16 习题： 1.请简要描述Hadoop的主要特点？ 2.请简要描述Spark的主要特点并说明Spark的生态系统。
3.请简要描述Hive Sql的体系结构。

17 AIRack人工智能实验平台 ——一站式的人工智能实验平台 DeepRack深度学习一体机 ——开箱即用的AI科研平台 BDRack大数据实验平台——一站式的大数据实训平台

18 云创公众号推荐 刘鹏看未来 云计算头条 中国大数据 深度学习世界 云创大数据订阅号 云创大数据服务号 高校大数据与人工智能
微信号：lpoutlook 云计算头条 微信号：chinacloudnj 中国大数据 微信号：cstorbigdata 深度学习世界 微信号：dl-world 云创大数据订阅号 微信号：cStor_cn 云创大数据服务号 微信号：cstorfw 高校大数据与人工智能 微信号：data_AI

19 手机APP推荐 我的PM2.5 随时随地准确 查看身边的 PM2.5值 同声译 支持26种语言 互译的实时翻 译软件 我的南京
云创大数据为路 况大数据应用提 供技术支持 科技头条 汇聚前沿资讯 的科技情报站

20 网站推荐 万物云 智能硬件大数据免费托管平台 环境云 环境大数据开放共享平台

21 感谢聆听