基于Spark的机器学习资料17、zookeeper集群安装.pdf

《基于Spark的机器学习资料17、zookeeper集群安装.pdf》由会员分享，可在线阅读，更多相关《基于Spark的机器学习资料17、zookeeper集群安装.pdf（4页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、安装 zookeeper，并配置集群 1、准备三台机器做集群 服务器 IP 地址 端口 服务器 1 10.211.55.7 2181/2881/3881 服务器 2 10.211.55.8 2181/2881/3881 服务器 3 10.211.55.9 2181/2881/3881 2、配置 2.1 配置 java 环境 将 jdk-8u141-linux-x64.tar.gz 上传到三台服务器安装配置。解压到/data/program/software/并将文件夹重命名为 java8 配置 jdk 全局变量。#vi/etc/profile export JAVA_HOME=/data/pr

2、ogram/software/java8 export JRE_HOME=/data/program/software/java8/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 2.2 修改操作系统的/etc/hosts文件，添加IP与主机名映射：#zookeeper cluster servers 10.211.55.7 bigdata1 10.211.55.8 bigdata2 10.211.55.9 bigdata3

3、 2.3 下载 zookeeper-3.4.9.tar.gz 到/data/program/software/目录#wget http:/ 2.4 解压 zookeeper 安装包，并对节点重民名#tar-zxvf zookeeper-3.4.9.tar.gz 服务器 1：#mv zookeeper-3.4.9 zookeeper 服务器 2：#mv zookeeper-3.4.9 zookeeper 服务器 3：#mv zookeeper-3.4.9 zookeeper 2.5 在 zookeeper 的各个节点下 创建数据和日志目录#cd zookeeper#mkdir data#mkdi

4、r logs 2.6 重命名配置文件 将zookeeper/conf目录下的zoo_sample.cfg文件拷贝一份，命名为zoo.cfg:#cp zoo_sample.cfg zoo.cfg 修改 zoo.cfg 配置文件 clientPort=2181 dataDir=/data/program/software/zookeeper/data dataLogDir=/data/program/software/zookeeper/logs server.1=bigdata1:2881:3881 server.2=bigdata2:2881:3881 server.3=bigdata3:28

5、81:3881 参数说明:tickTime=2000 tickTime 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。initLimit=10 initLimit 这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器

6、还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。syncLimit=5 syncLimit 这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10 秒。dataDir=/data/program/software/zookeeper/data dataDir 顾名思义就是 Zookeeper 保存数据的目录,默认情况下 Zookeeper 将写数据的日志文件也保存在这个目录里。clientPort=2181 clientPor

7、t 这个端口就是客户端（应用程序）连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口接受客户端的访问请求。server.A=B：C：D server.1=bigdata1:2881:3881 server.2=bigdata2:2881:3881 server.3=bigdata3:2881:3881 A 是一个数字,表示这个是第几号服务器；B 是这个服务器的 IP 地址（或者是与 IP 地址做了映射的主机名）；C 第一个端口用来集群成员的信息交换,表示这个服务器与集群中的 Leader 服务器交换信息的端口；D 是在 leader 挂掉时专门用来进行选举 leader

8、 所用的端口。注意：如果是伪集群的配置方式，不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。2.8 创建 myid 文件 在 dataDir=dataDir=/data/program/software/zookeeper/data 下创建 myid 文件 编辑 myid 文件，并在对应的 IP 的机器上输入对应的编号。如在 1 上，myid 文件内容就是 1,2 上就是 2，3 上就是 3：#vi/myid#值为 1#vi/myid#值为 2#vi/myid#值为 3 2.9 启动测试 zookeeper(1)进入/bin 目录下执行：#/zkServer.sh start#/zkServer.sh start#/zkServer.sh start (2)输入 jps 命令查看进程：其中，QuorumPeerMain是 zookeeper 进程，说明启动正常(3)查看状态：#/zkServer.sh status (4)查看 zookeeper 服务输出信息：由于服务信息输出文件在/bin/zookeeper.out$tail-500 f zookeeper.out