Hadoop
主要内容 Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google（分布式文件系统） Hadoop API Hadoop环境搭建
Hadoop项目简介 Apache的解决方案 GFS-->HDFS MapReduce-->Hadoop BigTable-->HBase Google云计算 MapReduce BigTable GFS Chubby
Hadoop族群 Cassandra：开源分布式NoSQL数据库系统 Chukwa：于大型分布式系统的数据采集 Hbase：基于列存储模型的分布式数据库 Hive：提供数据摘要和查询的数据仓库 Pig：MapReduce上的一种高级数据流语言
Hadoop项目简介 HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。
HDFS体系结构 NameNodeMaster DataNodeChunksever
HDFS关键运行机制 --保障可靠性的措施 一个名字节点和多个数据节点 数据复制（冗余机制） --存放的位置（机架感知策略） 故障检测 --数据节点 心跳包（检测是否宕机） 块报告（安全模式下检测） 数据完整性检测（校验和比较） --名字节点（日志文件，镜像文件） 空间回收机制
HDFS关键运行机制 --写文件流程 客户端缓存 流水线复制 并发写控制 流程： 1.客户端把数据缓存到本地临时文件夹 2.临时文件夹数据超过64M，客户端联系NameNode， NameNode分配DataNode，DataNode依照客户端的位置被排列成一个有着最近物理距离和最小的序列 3.与序列的第一个数据服务器建立Socket连接，发送请求头，然后等待回应，依次下传，客户端得到回包，流水线建立成功， 4. 正式发送数据，以4K为大小传送
HDFS关键运行机制 --读文件流程 客户端联系NameNode,得到所有数据块信息，以及数据块对应的所有数据服务器的位置信息 尝试从某个数据块对应的一组数据服务器中选出一个，进行连接（选取算法未加入相对位置的考虑） 数据被一个包一个包发送回客户端，等到整个数据块的数据都被读取完了，就会断开此链接，尝试连接下一个数据块对应的数据服务器，整个流程，依次如此反复，直到所有想读的都读取完了为止
Hadoop VS. Google 技术架构的比较 数据结构化管理组件：Hbase→BigTable 并行计算模型：MapReduce→MapReduce 分布式文件系统：HDFS→GFS 少分布式锁服务: ZooKeeper->Chubby Hadoop云计算应用 Google云计算应用 HBase MapReduce ZooKeeper BigTable MapReduce Chubby HDFS GFS
Hadoop VS. Google HDFS与GFS比较 中心服务器模式的差异
Hadoop VS. Google HDFS与GFS比较 子服务器管理模式差异 GFS：Chunk Server在Chubby中获取独占锁表示其生存状态，Master通过轮询这些独占锁获知Chunk Server的生存状态 HDFS：DataNode通过心跳的方式告知NameNode其生存状态 GFS中，Master损坏时，替补服务器可以快速获知Chunk Server的状态 HDFS中，NameNode损坏后，NameNode恢复时需要花费一段时间获知DataNode的状态 在添加数据存储节点时，GFS的伸缩性较HDFS要好 原因：Hadoop缺乏分布式锁服务
Hadoop VS. Google HDFS与GFS比较 HDFS具备安全模式 GFS不具备安全模式 获知数据块副本状态，若副本不足，则拷贝副本至安全数目（如3个） GFS不具备安全模式 副本损坏处理：API读取副本失败时，Master负责发起拷贝任务
Hadoop VS. Google HDFS与GFS比较 HDFS具备空间回收机制 文件删除时，仅删除目录结构 实际数据的删除在等待一段时间后实施 优点：便于恢复文件
HDFS API Hadoop API被分成（divide into）如下几种主要的包（package）: org.apache.hadoop.conf 定义了系统参数的配置文件处理API。 org.apache.hadoop.fs 定义了抽象的文件系统API。 org.apache.hadoop.Hdfs HDFS，Hadoop的分布式文件系统实现。 org.apache.hadoop.io 定义了通用的I/O API，用于针对网络，数据库，文件等数据对象做读写操作。 org.apache.hadoop.ipc 用于网络服务端和客户端的工具，封装了网络异步I/O的基础模块。 org.apache.hadoop.mapreduce Hadoop分布式计算系统（MapReduce）模块的实现，包括任务的分发调度等。 org.apache.hadoop.metrics 定义了用于性能统计信息的API，主要用于mapred和dfs模块。 org.apache.hadoop.record 定义了针对记录的I/O API类以及一个记录描述语言翻译器，用于简 化将记录序列化成语言中性的格式（language-neutral manner）。 org.apache.hadoop.tools 定义了一些命令行的工具。 org.apache.hadoop.util 定义了一些公用的API。 org.apache.hadoop.Secruity 用户和用户组信息
HDFS API --org.apache.hadoop.fs ◦org.apache.hadoop.fs.FileSystem (implements java.io.Closeable) ◦org.apache.hadoop.fs.FilterFileSystem ◦org.apache.hadoop.fs.ChecksumFileSystem ◦org.apache.hadoop.fs.InMemoryFileSystem ◦org.apache.hadoop.fs.LocalFileSystem ◦org.apache.hadoop.fs.HarFileSystem ◦org.apache.hadoop.fs.RawLocalFileSystem 抽象文件系统的基本要素和基本操作。最显著的一个特点就是，FileSystem文件系统是基于流式数据访问的，并且，可以基于命令行的方式来对文件系统的文件进行管理与操作。
HDFS API --org.apche.hadoop.ipc 。org.apache.hadoop.ipc.VersionedProtocol 。org.apache.hadoop.hdfs.protocol.ClientProtocol 。org.apache.hadoop.hdfs.protocol.ClientDatanodeProtocol 。org.apache.hadoop.hdfs.server.protocol.NamenodeProtocol 。org.apache.hadoop.hdfs.server.protocol.DatanodeProtocol 。org.apache.hadoop.hdfs.server.protocol.InterDatanodeProtocol
HDFS API --org.apache.hadoop.HDFS ClientProtocol协议：客户端进程与Namenode进程进行通信 DataNodeProtocol协议：一个DFS Datanode用户与Namenode进行通信的协议 InterDatanodeProtocol协议：Datanode之间的通信 ClientDatanodeProtocol协议 ：客户端进程与datenode进程进行通信 NamenodeProtocol协议 ：次级Namenode（Secondary NameNode）与Namenode进行通信所需进行的操作 client NameNode DataNode clientProtocol DataNodeProtocol ClientDatanodeProtocol Namenode主要实现了ClientProtocol，DatanodeProtocol，NamenodeProtocol
HDFS API -- ClientProtocol（文件基本操作接口） 获取到指定文件src的全部块的信息返回LocatedBlocks，包括文件长度、组成文件的块及其存储位置（所在的Datanode数据结点） --public LocatedBlocks getBlockLocations(String src, long offset, long length) 在制定的文件系统命名空间中创建一个文件入口（entry） ，在命名空间中创建一个文件入口。该方法将创建一个由src路径指定的空文件 --public void create(String src, FsPermission masked, String clientName, boolean overwrite, short replication, long blockSize) 对指定文件执行追加写操作，返回信息，可以定位到追加写入最后部分块的信息 --public LocatedBlock append(String src, String clientName) 设置副本因子，为一个指定的文件修改块副本因子 --public boolean setReplication(String src, short replication)
HDFS API -- ClientProtocol（文件基本操作接口） 为已经存在的目录或者文件，设置给定的操作权限 --public void setPermission(String src, FsPermission permission) 设置文件或目录属主 --public void setOwner(String src, String username, String groupname) 客户端放弃对指定块的操作 --public void abandonBlock(Block b, String src, String holder) 客户端向一个当前为写操作打开的文件写入数据块 --public LocatedBlock addBlock(String src, String clientName) 客户端完成对指定文件的写操作，并期望能够写完，在写完以后关闭文件 --public boolean complete(String src, String clientName) 客户端向Namenode报告corrupted块的信息(块在Datanode上的位置信息) --public void reportBadBlocks(LocatedBlock[] blocks) throws IOException
HDFS API -- ClientProtocol（文件基本操作接口） 在文件系统命令空间中重命名一个文件或目录 --public boolean rename(String src, String dst) 删除文件或目录src --public boolean delete(String src) 删除文件或目录src，根据recursive选项来执行 --public boolean delete(String src, boolean recursive) throws IOException; 创建目录src，并赋予目录src指定的nasked权限 --public boolean mkdirs(String src, FsPermission masked) throws IOException; 获取指定目录src中的文件列表 --public FileStatus[] getListing(String src) throws IOException;
HDFS API 文件读取 在客户端DFSClient中，有一个 DFSClient.DFSInputStream类。当需要读取一个文件的时候，会生成一个DFSInputStream的实例 DFSInputStream的实例调用 ClientProtocol定义getBlockLocations接口，取得一个 LocatedBlocks类的对象，这个对象包含一组LocatedBlock，那里面有所规定位置中包含的所有数据块信息，以及数据块对应的所有数据服务器的位置信息 读取开始， DFSInputStream的Read方法 如有读取时发现错误，客户端向Namenode报告corrupted块的信息 public void reportBadBlocks(LocatedBlock[] blocks)
HDFS API 文件存入 DFSClient也有一个 DFSClient.DFSOutputStream类，写入开始，会创建此类的实例 DFSOutputStream会从NameNode上拿一个 LocatedBlock 写入开始，调用DFSOutputStream的Write方法
HDFS API -- ClientProtocol（系统管理相关接口） 监听客户端，Namenode监听到某个客户端发送的心跳状态 public void renewLease(String clientName) 获取文件系统的状态统计数据 --public long[] getStats() 注：返回的数组： public int GET_STATS_CAPACITY_IDX = 0; public int GET_STATS_USED_IDX = 1; public int GET_STATS_REMAINING_IDX = 2; public int GET_STATS_UNDER_REPLICATED_IDX = 3; public int GET_STATS_CORRUPT_BLOCKS_IDX = 4; public int GET_STATS_MISSING_BLOCKS_IDX = 5; 安全模式开关操作 public boolean setSafeMode(FSConstants.SafeModeAction action)
HDFS API -- ClientProtocol（系统管理相关接口） 保存FsImage映像，同时将更新同步到EditLog中，要求具有超级权限，并且在安全模式下进行。 --public void saveNamespace() 持久化文件系统元数据，将Namenode结点上的数据结构写入到指定的文件中，如果指定文件已经存在，则追加到该文件中 --metaSave(String filename)
Hadoop集群搭建 一、实验环境 1、三台PC机，Linux操作系统 各主机对应的ip地址： 192.168.1.11 ubuntu1 3、安装jdk 1.5以上版本
二、Hadoop安装 1、在所有的机器上建立相同的用户，例如：grid。 2、SSH配置，实现在机器之间执行指令的时候不需要输入密码。 在ubuntu1（准备设为namenode）上生成密钥对，执行$ssh-keygen -t rsa，然后一路回车，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。执行： $cd ~/.ssh $cp id_rsa.pub authorized_keys $scp authorized_keys ubuntu2:/home/grid/.ssh $scp authorized_keys ubuntu3:/home/grid/.ssh
3、在ubuntu1上配置Hadoop。 解压缩，执行：$ tar –zxvf ../hadoop-0.19.1.tar.gz 编辑conf/hadoop-site.xml 编辑conf/master，修改为master的主机名(每个主机名一行) ubuntu1 编辑conf/slaves，加入所有slaves的主机名 ubuntu2 ubuntu3
4、其它机器上的配置 把Hadoop安装文件复制到其他机器上 $ scp –r hadoop-0.19.1 ubuntu2:/home/grid $ scp –r hadoop-0.19.1 ubuntu3:/home/grid 编辑所有机器的conf/hadoop-env.sh文件，将JAVA_HOME变量设置为各自JDK安装的根目录，不同机器可以使用不同的JAVA版本。
三、Hadoop运行 1、格式化分布式文件系统
2、启动Hadoop守护进程
3、停止Hadoop守护进程
HDFS实验：观察数据块在Datanode上的分布
文件副本个数为2
文件f.zip的数据块分布情况
关掉一个Datanode时数据块分布情况，此时文件仍然可用
关掉两个Datanode时数据块的分布情况，此时文件不可用
重新启动另外两个Datanode时数据块分布情况