HDFS 监控 维护 管理Hadoop.

Presentation on theme: "HDFS 监控 维护 管理Hadoop."— Presentation transcript:

1 HDFS 监控 维护 管理Hadoop

2 永久性数据结构 安全模式 日志审计 HDFS

3 HDFS ：永久性数据结构 namenode的目录结构： dfs.name.dir VERSION namespaceID cTime storageType

4 HDFS ：文件系统映像和编辑日志 namenode维护文件系统的元数据 fsimage文件是文件系统的一个永久检查点

5 HDFS ：文件系统映像和编辑日志 由于需要恢复编辑日志中的各项操作，会导致namenode重启操作较慢。此时间内，文件系统将处于离线状态。

6

7 HDFS ：文件系统映像和编辑日志 创建检查点的过程

8 HDFS ：辅助namenode 辅助namenode的目录结构

9 HDFS ：datanode datanode的目录结构

10 HDFS ：安全模式 在安全模式下，namenode的文件系统对于客户端来说是只读的

11 HDFS ：安全模式 查看namenode是否进入安全模式： %hadoop dfssdmin –safemode get
Safe mode is ON 退出安全模式： %hadoop dfsadmin –safemode wait # command to read or write a file 进入安全模式： %hadoop dfsadmin –safemode enter 离开安全模式： %hadoop dfsadmin –safemode leave Safe mode is OFF

12 HDFS ：日志审计 HDFS 的日志能够记录所有文件的访问请求，对日志进行审计是log4j在INFO级别实现的。在默认配置下，log4j。Properties属性文件中的阈值被设为WARN（未启动）。

13 HDFS ：dfsadmin dfsadmin工具既可以查找 HDFS状态信息，又可在 HDFS上执行管理操作。

14 HDFS ：fsck fsck工具可以用来检测HDFS中文件的健康状况

15 HDFS ：fsck 对于损坏或者丢失的块 --移动 --删除 寻找特定文件的数据块

16 HDFS ：datanode块扫描器 每个datanode运行一个块扫描器，定期检查本节点上的所有块，从而在客户端客端读到坏块之前及时的检测和修复坏块。 周期：dfs.datanode.scan.period.hours设置

17 HDFS ：均衡器 目的：均衡器将块从忙碌的datanode移到相对空闲的datanode，重新分配块 启动均衡器：
%start –balancer.sh -threshold

18 监控 日志 度量 Java管理扩展

19 监控

20 监控 日志 日志有助于查明系统中发生的事件 设置日志级别： 通过Hadoop守护进程的网页来改变任何log4j日志名称的日志级别
监控 日志 日志有助于查明系统中发生的事件 设置日志级别： 通过Hadoop守护进程的网页来改变任何log4j日志名称的日志级别 获取堆栈轨迹： Hadoop守护进程提供一个网页对正在守护进程的JVM中运行着的线程执行线程转储。

21 监控 度量 HDFS和MapReduce守护进程收集相关的事件和度量信息。

22 监控 度量

23 监控 度量

24 监控 度量

25 监控 Java管理扩展(JMX)

26 监控 Java管理扩展(JVM) 许多第三方监控和报警系统均可查询Mbean，因此通过这些系统使用JMX能够监控一个Hadoop集群。

27 维护 日常管理过程 元数据备份 数据备份 fsck工具 文件系统均衡器 委任和解除节点 委任新节点 解除旧节点 升级 版本兼容
HDFS的数据和元数据升级

28 维护 元数据备份 如果namenode的永久性性元数据丢失或者损坏，则整个文件系统无法使用，因此数据备份非常关键。
维护 元数据备份 如果namenode的永久性性元数据丢失或者损坏，则整个文件系统无法使用，因此数据备份非常关键。 方法一：直接保存这些元数据文件的副本 方法二：整合倒namenode正在使用的文件上

29 维护 数据备份 为数据划分不同的优先级最高优先级是那些无法重新产生数据，对业务非常关键的数据，通常备份。优先级低的数据则无需备份。
维护 数据备份 为数据划分不同的优先级最高优先级是那些无法重新产生数据，对业务非常关键的数据，通常备份。优先级低的数据则无需备份。 distcp备份工具

30 维护 fsck工具 定期地对整个文件系统运行HDFS的fsck（文件系统检查）工具，主动查找丢失或损坏的块

31 维护 文件系统均衡器 定期地运行均衡器工具，保存文件系统的各个datanode比较均衡。

32 维护 委任和解除节点

33 维护 委任新节点

34 维护 解除旧节点

35 维护 解除旧节点

36 维护 升级

37 维护 兼容

38 维护 升级 必要性：在一个测试集群做实验

39 维护 升级Five Tips

40 维护 升级步骤

41 维护 升级

42 维护 升级

43 Thank You