ZooKeeper 分布式应用的协调器.

Similar presentations


Presentation on theme: "ZooKeeper 分布式应用的协调器."— Presentation transcript:

1 ZooKeeper 分布式应用的协调器

2 主要内容 ZooKeeper的数据模型 ZooKeeper的数据读写机制 ZooKeeper的使用方法

3 为什么需要ZooKeeper? 大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等)
目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制 协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器 ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用(如,为HBase提供服务)

4 ZooKeeper的数据模型 层次化目录结构 命名符合常规文件系统规范, 不能包含/ 节点Znode可以包含数据与子 节点
客户端应用可在节点上设置 监视器 节点数据不支持部分读写, 而是一次性完整读写 临时性节点

5 节点创建属性 Sequence 临时性节点 创建的节点不是持久节点 一旦与客户端的会话结束,节点自动删除 创建节点时,编号自动加1
例如x-1,x-2,s-3,x-4等

6 ZooKeeper的读写机制 ZooKeeper是一个由多个Server组成的集群 一个Leader,多个Follower
全局数据一致 分布式读写 更新请求转发,由Leader实施

7 使用ZooKeeper的约定 更新请求顺序执行 数据更新原子性 全局唯一数据视图 实时性
来自同一个Client的更新请求按其发送顺序依次执行 数据更新原子性 一次数据更新要么成功,要么失败。不存在部分数据写入成功或失败的情况 全局唯一数据视图 Client无论连接哪个Server,数据视图都是一致的 实时性 在一定时间范围内,Client能读到最新数据

8 ZooKeeper的API String create(path, data, acl, flags)
void delete(path, expectedVersion) Stat setData(path, data, expectedVersion) (data, Stat) getData(path, watch) Stat exists(path, watch) String[] getChildren(path, watch) void sync(path) Stat setACL(path, acl, expectedVersion) (acl, Stat) getACL(path) 包含监视器 调用参数均包含节点路径

9 仅Open包含节点路径,生成handle供其他API使用
对比:Chubby的API handle Open(path,…)‏ Close(handle,…)‏ GetContentsAndStat(handle,…), GetStat(handle), ReadDir(handle,…)‏ SetContents(handle), SetACL(handle,…)‏ Delete(path)‏ Acquire(), TryAcquire(), Release()‏ GetSequencer(), SetSequencer(), CheckSequencer()‏ 仅Open包含节点路径,生成handle供其他API使用

10 如何使用ZooKeeper? 关于ZooKeeper的锁服务 这里的“锁”并非对ZooKeeper的资源加锁,用于对第三方资源加锁 用例
多个第三方分布式Server需要使用某第三方资源,谁获取了ZooKeeper中的独占锁,谁就可以使用第三方资源,否则等待

11 getData设置了监视器,如果数据发生变化,
如何使用ZooKeeper? Leader选举 用于在多个节点中选取主控,如GFS中对外服务Master节点的选取 1)getData(“/servers/leader”, true) 2)如果读取成功则从数据中获取leader信息,退出 3)读取失败,执行create(“.../servers/leader”, hostname, EPHEMERAL)(注意节点类型) 如果创建成功则自己成为leader,写入信息,退出 5)如果写入失败,则返回步骤1 getData设置了监视器,如果数据发生变化, 会重启上述流程

12 有且仅有一个Client可以获取到独占锁
如何使用ZooKeeper? 独占锁 如果分布式应用需要对某资源独占使用,可以申请独占锁 1)id = create(“.../locks/x-”, SEQUENCE|EPHEMERAL) 2)getChildren(“.../locks/”, false) 3)如果id是第一个节点,则获取独占锁,退出 4)exists(name of last child before id, true)(注意,设置了监视器) 5)如果id之前不存在节点,返回步骤2 6)等待通知 7)返回步骤2 有且仅有一个Client可以获取到独占锁

13 如何使用ZooKeeper? 共享锁 如果之前没有独占锁,就可以获取共享锁
1)id = create(“.../locks/s-”, SEQUENCE|EPHEMERAL) 2)getChildren(“.../locks/”, false) 3)如果id之前没有x-类型的节点,获取共享锁,退出 4)exists(name of the last x- before id, true) 5)如果id之前不存在x-类型节点,返回步骤2 6)等待事件通知 7)返回步骤2 如果之前没有独占锁,就可以获取共享锁

14 如何使用ZooKeeper? 其他应用(小数据存储) 例如,GFS中master如何获知ChunkServer信息?
1)id = create(“.../chunkservers/cs-”, SEQUENCE|EPHEMERAL) 2)向节点id中写入ChunkServer元信息 Master执行如下操作: 1) getChildren(“.../chunkservers/”, true) 2)读取子节点数据,获知ChunkServer元信息

15 其他 ZooKeeper的会话 ZooKeeper的监视器 Client通过发送PING请求与Server保持会话
通过PING,可以同时获知Client与Server是否活跃 ZooKeeper的监视器 监视器是一次性的,一次事件通知后就作废

16 性能 ZooKeeper适用于主要 负载为读的应用场合


Download ppt "ZooKeeper 分布式应用的协调器."

Similar presentations


Ads by Google