要想学习分布式应用,ZooKeeper是一个绕不过去的基础系统。它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。

今天先介绍系统的安装和基本使用,后续会推一些基本的Java使用代码。

1 安装配置ZooKeeper

https://www.apache.org/dyn/closer.cgi/zookeeper/,下载最新的ZooKeeper程序,当前最新版本是3.5.5,要求JDK在1.8以上。

1.1      基本安装

将下载的apache-zookeeper-3.5.5-bin.tar.gz文件使用命令tar -xzvf 解压到 /usr/java 目录,并将原目录名修改为zookeeper-3.5.5。

进入zookeeper-3.5.5目录并创建两个子目录 data 和logs。

# mkdir data logs

# echo 创建一个唯一的zookeeper实例号,我是用IP最后一个字节

# cd data

# vim myid  // 输入 128 后保存退出

  128

# echo 复制 zoo_sample.cfg 为 zoo.cfg

# cp zoo_sample.cfg zoo.cfg

# 修改参数 dataDir

# vim zoo.cfg

dataDir=/var/lib/zookeeper

 

然后修改 /etc/profile,增加修改相应的环境变量

# vim /etc/profile

export PGDATA=/usr/java/postgres/data

ZOOKEEPER_HOME=/usr/java/zookeeper-3.5.5

PATH=$ZOOKEEPER_HOME/bin:$PATH

export ZOOKEEPER_HOME PATH

# zkServer.sh start  //启动服务

# zkServer.sh status //查看服务状态

# zkServer.sh stop  //停止服务

Zookeeper使用的默认端口是2181,可以在conf/zoo.cfg中修改这个端口号。安装完成后,需要在防火墙开启端口

# firewall-cmd --zone=public --add-port=2181/tcp –permanent

# firewall-cmd –reload

1.2      ZooKeeper安装为服务

创建自动启动的脚本

# cd /etc/rc.d/init.d

# touch zookeeper

# chmod +x zookeeper

# vim zookeeper

#!/bin/bash

#chkconfig:2345 10 90

#description:service zookeeper

 

#set java environment

JAVA_HOME=/usr/java/jdk8u222-b10

JRE_HOME=/usr/java/jdk8u222-b10/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

 

export PGDATA=/usr/java/postgres/data

ZOOKEEPER_HOME=/usr/java/zookeeper-3.5.5

PATH=$ZOOKEEPER_HOME/bin:$PATH

 

export PATH ZOOKEEPER_HOME

 

su root ${ZOOKEEPER_HOME}/bin/zkServer.sh "$1"

 

// 添加到启动脚本

# chkconfig --add zookeeper

 

// 手工启动

# service start zookeeper

 

1.3      控制台使用zookeeper

命令行连接到zookeeper

# zhCli.sh -server 127.0.0.1:2181

 安装配置ZooKeeper及基本用法

尝试输入help查看可用的命令,列出了命令,发现其实没有help命令。

 安装配置ZooKeeper及基本用法

输入ls,查看根目录下有哪些节点

 安装配置ZooKeeper及基本用法

尝试创建一个新的节点,并设置一个字符串,然后使用命令get查看已经创建的节点。

 安装配置ZooKeeper及基本用法

尝试为/hello重新赋值

 安装配置ZooKeeper及基本用法

赋值命令执行后,控制台收到了一条通知事件:/hello值已经被修改。重新查看这个值,发现它的版本(dataVersion)已经从0变为1。

再执行删除命令,删掉这个节点

 安装配置ZooKeeper及基本用法

1.4      Windows客户端程序

在Windows上,可以安装zkui这个ZooKeeper的客户端,下载网址:https://github.com/echoma/zkui/wiki/Download

下载解压后,直接运行 zkui.exe,弹出来连接页面。

 安装配置ZooKeeper及基本用法

在Host部分输入ZooKeeper的地址和端口,点击Login按钮后,左边窗口列出Root下的所有zNode。使用比较简单,自己摸索几分钟就都会了。

 安装配置ZooKeeper及基本用法

1.5      ZooKeeper复制模式

在评估、开发、测试环境,使用一台ZooKeeper就可以了,但在生产环境应该配置为多点复制模式。同一个应用多台服务器复制部署的情况,术语叫 quorum,所有的服务器使用相同的配置文件。

复制模式部署,最少需要三台服务器,并且服务器的总数最好是奇数。复制模式部署,配置文件 conf/zoo.cfg同单点模式差不多,有一些不同,如:

dataDir=/var/lib/zookeeper

clientPort=2181

tickTime=2000

initLimit=5

syncLimit=2

server.128=zoo1:2888:3888

server.129=zoo2:2888:3888

server.130=zoo3:2888:3888

在配置文件中,initLimit是集群中ZooKeeper Server连接到leader的超时时间;syncLimit是服务器的超时时间。这两个参数,使用的时间单位都是tickTime,initLimit值为5,最终代表的是10秒;syncLimit值为2,最终代表的是4秒。

列表server.X构成了整个ZooKeeper服务,当服务启动的时候,会读取data/myid文件,获取自己的编号。

在server后面有两个端口号:"2888"和"3888"。ZooKeeper服务器之间使用这两个端口进行通信。如果使用同一台机器安装多个ZooKeeper实例搭建集群,每个实例应该使用不同的端口,如:2888:3888/2889:3889/2890:3890;另外,每个实例的dataDir和clientPort也应该不同。

2 编程使用ZooKeeper

2.1      数据模型

ZooKeeper使用层级命名空间,类似一个分布式文件系统。区别在于目录节点也可以绑定数据,类似于一个文件系统,一个文件同时也是一个目录。ZooKeeper不支持相对路径。Unicode字符都可以出现在名称中,除了下面的一些特例:

  • 不能使用null字符(\u0000)
  • 下面的字符不能正常显示,也不能使用:\u0001-\u001F和\u007F和\u009F
  • 下面的字符不允许:\ud800 - uF8FF, \uFFF0 – uFFFF
  • .可以是名称的一部分,但不能独立使用 . 和 ..,下面的名称不合法:"/a/b/./c"或"/a/b/../c"
  • "zookeeper" 是保留字

2.2      ZNodes

在ZooKeeper树中,每一个节点就是一个znode。Znode包括一个stat结构,含数据修改的版本号,以及acl版本号,时间戳。每次一个znode节点的数据发生变化,版本号都会增加。当客户端读取数据时,也会把数据的版本号一并取回去。当客户端尝试修改或删除一个znode时,需要提供尝试修改节点的版本号。如果提供的版本号同系统中当前的版本号不一致,更新失败。(类似于数据库的乐观锁实现)

ZNodes是程序访问的实体,有几个需要了解的特性:

  • Watches:客户端可以在znode上设置监听。znode数据发生变化时会触发watch,然后清除watch。当watch触发时,ZooKeeper会向客户端发送一个通知。
  • 数据访问:znode上的数据,读写都是原子性的。读,是将整个znode的所有数据都读出来;写,会替换znode的所有数据。每个znode有访问控制列表(Access Control List-ACL),用于限制谁可以访问。ZooKeeper不是设计用于保存普通数据或大数据存储,一般用于保存配置文件、状态信息等。数据通常比较小,一般以KB为单位。ZooKeeper的客户端也限制数据不能超过1M。如果业务需要保存打数据,可以将数据保存到大的存储系统如NFS/HDFS等,并将其指针保存到ZooKeeper中。
  • 临时节点:ZooKeeper可以保存一些短生命周期的节点,比如会话信息,当会话失效时这些节点会被删除。因为这个特性,临时节点不允许有子节点。
  • 顺序节点(唯一命名):创建一个节点时,可以要求ZooKeeper在路径后面添加自增的数字。格式为%010d,是10个数字,如0000000001。最大数值是2147483647,超过后会溢出,变成-2147483648。
  • 容器节点(3.5.3增加):用于一些特定的场景如leader、lock。当容器中的最后一个节点被删除后,容器变成候补(candidate)状态,服务器会择机自行删除。当你在容器节点中创建子节点时,可能会得到KeeperException.NoNodeException;因此创建子节点时应该catch这个异常,如果发生了则重新创建容器节点。
  • TTL节点(3.5.3增加):创建PERSISTENT或PERSISTENT_SEQUENTIAL节点时,可以以毫秒为单位设置TTL时间,如果在TTL时间之内没有修改数据,也没有创建子节点,服务器会在超时后择机删除这个节点。注意:这个参数缺省是关闭的,需要在系统参数中启用。

2.3      ZooKeeper中的时间

通过多种方式跟踪时间

  • Zxid:ZooKeeper的每次修改,都会收到zxid格式的时间戳。这表示在ZooKeeper上修改的顺序。如果zxid1<zxid2,说明zxid2后发生。
  • 版本号(Version numbers):一个节点的每次修改,该节点的版本号都会增加。有三个版本号:version (节点数据的修改次数), cversion (子节点数据的修改次数), aversion (节点ACL修改的次数).
  • Ticks:使用ZooKeeper复制模式时,服务器使用ticks来定义事件的时间如:上载状态、会话超时时间、服务器之间的连接超时时间等。
  • Real time:ZooKeeper不使用真实时间。

2.4      ZooKeeper Stat结构

节点的Stat结构有如下属性

  • czxid:节点创建时的zxid
  • mzxid:节点最后一次修改时的zxid
  • pzxid:子节点最后一次修改时的zxid
  • ctime:节点创建时的时间戳,毫秒
  • mtime:节点最后一次修改时的时间戳,毫秒
  • version:节点数据的修改次数
  • cversion:子节点数据的修改次数
  • aversion:节点ACL的修改次数
  • ephemeralOwner:如果这是临时节点,保存节点拥有者的session id;否则为0
  • dataLength:节点数据长度
  • numChildren:子节点个数

2.5      ZooKeeper Watches

ZooKeeper的所有读操作getData()、getChildren()和exists()都有一个备选参数:设置watch。ZooKeeper Watch的定义:是一次性的触发器,当数据发生变化时,向设置了watch的客户端发送消息。有三个关键点:

  • 一次性触发器:当数据变化时,向客户端发送watch事件。例如:使用命令 getData(“/hello”, true)读取数据,当/hello被修改或删除时,客户端都会收到事件。当数据再次发生变化时,客户端就不会收到事件了。
  • 推送到客户端:ZooKeeper设计用于保证客户端能够按照特定的顺序收到推送事件。
  • Watch的数据对象:有两种类型的watch,数据watch和子节点watch。getData()和exists()设置数据warch;getChildren()设置子节点watch。

2.6      ZooKeeper访问控制

ZooKeeper使用ACL控制节点的读写权限。父子节点的读写权限是独立的,不递归。

ZooKeeper支持的几种权限:

  • CREATE: 可以创建子节点
  • READ: 可以读取节点数据并列出子节点
  • WRITE: 可以修改节点数据
  • DELETE: 可以删除子节点
  • ADMIN: 可以设置权限

ZooKeeper内置的授权对象

  • world:所有用户
  • auth:当前用户
  • digest:使用 username:password指定的用户,密码会做MD5摘要
  • ip:使用客户端IP地址,格式是 addr/bits
  • x509:使用X500认证信息,用户名

分类:

技术点:

相关文章: