[大数据]部署pulsar2.8版本的集群模式

参考文档：https://pulsar.apache.org/docs/zh-CN/deploy-bare-metal-multi-cluster/

1、基础环境准备

? ?我用的是jdk信息如下：

#jdk 1.8
export JAVA_HOME=/usr/local/jdk1.8.0_281
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

? ?2、环境准备

下载pulsar包，我下载的是最新2.8版本，下载地址https://pulsar.apache.org/zh-CN/download/

并把这个软件包，上传到三台服务器中。

另外172.31.40.213上做对172.31.40.214 、172.31.40.216上免密操作，方便传配置文件

3、集群搭建

3.1、解压apache-pulsar-2.8.0-bin.tar.gz到/data中（3台都要执行）

tar -zxvf apache-pulsar-2.8.0-bin.tar.gz  -C /data/

3.2、部署?ZooKeeper集群（不需单独创建，pulsar包中有）

 cd /data/apache-pulsar-2.8.0/

编辑conf/zookeeper.conf，添加内容如下

把配置文件复制到172.31.40.214与216中?

scp conf/zookeeper.conf  root@172.31.40.214:/data/apache-pulsar-2.8.0/conf/
scp conf/zookeeper.conf  root@172.31.40.216:/data/apache-pulsar-2.8.0/conf/

创建zookeeper目录文件，以及myid

172.31.40.213中执行

mkdir -p data/zookeeper
echo 1 > data/zookeeper/myid

172.31.40.214?中执行

mkdir -p data/zookeeper
echo 2 > data/zookeeper/myid

172.31.40.216中执行

mkdir -p data/zookeeper
echo 3 > data/zookeeper/myid

启动zookeeper服务（三个节点都需执行）

bin/pulsar-daemon start zookeeper

注意：2181、3888是每个节点都会启动的端口，2888端口只有leader节点才会启动

3.3、部署配置存储集群（不需单独创建，pulsar包中有）

编辑conf/global_zookeeper.conf，添加内容如下

把配置文件复制到172.31.40.214与216中?

scp conf/global_zookeeper.conf  root@172.31.40.214:/data/apache-pulsar-2.8.0/conf/
scp conf/global_zookeeper.conf  root@172.31.40.216:/data/apache-pulsar-2.8.0/conf/

?创建global_zookeeper目录文件，以及myid

172.31.40.213中执行

mkdir -p data/global-zookeeper
echo 1 > data/global-zookeeper/myid

172.31.40.214中执行

mkdir -p data/global-zookeeper
echo 2 > data/global-zookeeper/myid

172.31.40.216中执行

mkdir -p data/global-zookeeper
echo 3 > data/global-zookeeper/myid

启动global-zookeeper服务（三个节点都需执行）

bin/pulsar-daemon start configuration-store

注意：2184、2186是每个节点都会启动的端口，2185端口只有leader节点才会启动

3.4、初始化集群元数据(在172.31.40.213上执行)

?执行初始化元数据命令；若出现提示，输入 Y，继续（只需在一个bookie节点执行一次）

bin/bookkeeper shell metaformat

?执行初始化元数据操作

bin/pulsar initialize-cluster-metadata \
  --cluster pulsar-test \
  --zookeeper 172.31.40.213:2181 \
  --configuration-store 172.31.40.213:2184 \
  --web-service-url http://172.31.40.213:8080,172.31.40.214:8080,172.31.40.216:8080 \
  --broker-service-url pulsar://172.31.40.213:6650,172.31.40.214:6650,172.31.40.216:6650/ \

注意：ip之间不要留空格

3.5、部署 Bookkeeper

编辑conf/bookkeeper.conf，添加内容如下,有如下三个地方需要修改

需要修改三个地方分别为zkServers、prometheusStatsHttpPort、httpServerPort

注意：端口修改可以自定义，但是不能与已有的端口冲突，原为8000，但是zk中已经配置了，不修改会导致集群起不来。

把配置文件复制到172.31.40.214与216中?

scp conf/bookkeeper.conf  root@172.31.40.214:/data/apache-pulsar-2.8.0/conf/
scp conf/bookkeeper.conf  root@172.31.40.216:/data/apache-pulsar-2.8.0/conf/

启动bookie（三个节点都执行，不需要创建文件夹，因为会自动创建）

bin/pulsar-daemon start bookie

?你可以通过运行BookKeeper shell上的bookiesanity命令验证 bookie 是否正常工作

bin/bookkeeper shell bookiesanity

启动了所有的 bookie 后，你能够在任意一台bookie上，使用BookKeeper shell的simpletest命令，去校验集群内所有的 bookie 是否都已经启动

bin/bookkeeper shell simpletest --ensemble 3 --writeQuorum 3 --ackQuorum 3 --numEntries 3

3.5、部署 broker

编辑conf/broker.conf文件，并把文件复制到172.31.40.214、216中

主要修改以下内容为

zookeeperServers=172.31.40.213:2181,172.31.40.214:2181,172.31.40.216:2181

configurationStoreServers=172.31.40.213:2184,172.31.40.214:2184,172.31.40.216:2184

clusterName=pulsar-test

brokerServicePort=6650

webServicePort=8080

其他保持默认，如果要修改后续也能在manager的web界面中修改

启动broker（三个节点都要执行）

bin/pulsar-daemon start broker

3.6、部署服务发现

编辑conf/discovery.conf文件，并把文件复制到172.31.40.214、216中

主要修改以下内容为

zookeeperServers=172.31.40.213:2181,172.31.40.214:2181,172.31.40.216:2181
configurationStoreServers=172.31.40.213:2184,172.31.40.214:2184,172.31.40.216:2184

其他保持默认

启动服务发现（三个节点都要执行）

bin/pulsar-daemon start discovery

3.7、创建租户以及命名空间

#创建用户
bin/pulsar-admin tenants create test-tenant \
  --allowed-clusters pulsar-test \
  --admin-roles test-admin-role
#创建命名空间
bin/pulsar-admin namespaces create test-tenant/ns1

4、部署pulsar manager

参考地址

需要docker环境

#下载镜像，需通外网
docker pull apachepulsar/pulsar-manager:v0.2.0

#启动docker,web对外端口是9527
docker run -it \
    -p 9527:9527 -p 7750:7750 \
    -e SPRING_CONFIGURATION_FILE=/pulsar-manager/pulsar-manager/application.properties \
    apachepulsar/pulsar-manager:v0.2.0


#设置管理员账户和密码

CSRF_TOKEN=$(curl http://localhost:7750/pulsar-manager/csrf-token)
curl \
   -H 'X-XSRF-TOKEN: $CSRF_TOKEN' \
   -H 'Cookie: XSRF-TOKEN=$CSRF_TOKEN;' \
   -H "Content-Type: application/json" \
   -X PUT http://localhost:7750/pulsar-manager/users/superuser \
   -d '{"name": "admin", "password": "apachepulsar", "description": "test", "email": "xxx.qq.com"}'

前端访问地址：http://172.31.40.213:9527

参考文档：https://pulsar.apache.org/docs/zh-CN/administration-pulsar-manager/

用户名admin? ?密码apachepulsar

登陆进去添加集群信息即可，集群信息为web-service-url的地址，任取一个即可http://172.31.40.213:8080