[大数据] kafka(2) windows搭建zk kafka集群

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> kafka(2) windows搭建zk kafka集群 -> 正文阅读

[大数据]kafka(2) windows搭建zk kafka集群

一环境

jdk1.8
zookeeper-3.4.10
kafka_2.11-0.11

二下载地址

zk官网下载 :?https://archive.apache.org/dist/zookeeper/
kafka官网下载 :?https://archive.apache.org/dist/kafka/
温馨提示 : 官网下载速度较慢, 请提前下载

三前提

?在D盘的根目录下创建一个colony文件, 将下载好的kafka,zk包放入

四 zk集群搭建

在colony文件夹下创建一个zookeeper文件夹, 将zookeeper-3.4.10压缩包解压到zookeeper文件夹, 效果如下:

?一直点进去文件夹, 找到conf文件夹点击进去, 效果如下 :?

将zoo_sample.cfg文件夹重命名为zoo.cfg, 然后编辑zoo.cfg文件, 没修改之前效果如下 :?

dataDir : zk中节点的存储位置

clientPort : 客户端端口号

我们需要修改的是dataDir, 将节点保存到我们自己创建的文件夹下, 因此我们需要创建一个文件夹, 在zookeeper文件夹下创建一个data文件夹?

?进入data文件夹, 创建三个文件夹, 分别命名为data0,data1,data2

?然后在data0,data1,data2文件夹下分别创建一个myid文件, 没有后缀

data0中的myid文件内容是1

data1中的myid文件内容是2

data2中的myid文件内容是3

?接下来将dataDir修改为 :?D:\\colony\\zookeeper\\data\\data0 (必须是双反斜杠)

添加


server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002

?效果如下 :?

?到了这里, 单机的zk就搭建好了, 接下来搭建集群

将D:\colony\zookeeper\zookeeper-3.4.10\zookeeper-3.4.10文件复制两份, 重命名zookeeper-3.4.10-1,?zookeeper-3.4.10-2, 效果如下:

?点击进入zookeeper-3.4.10-1, 修改zoo.cfg文件夹, 效果如下 :?

#存储快照,日志等信息存储位置
dataDir=D:\\colony\\zookeeper\\data\\data1
#客户端连接端口
clientPort=2182
#zookeeper集群配置信息
server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002?

点击进入zookeeper-3.4.10-2, 修改zoo.cfg文件夹, 效果如下 :?

?#存储快照,日志等信息存储位置
dataDir=D:\\colony\\zookeeper\\data\\data2
#客户端连接端口
clientPort=2183
#zookeeper集群配置信息
server.1=127.0.0.1:9000:7000
server.2=127.0.0.1:9001:7001
server.3=127.0.0.1:9002:7002?

zk集群搭建完成, 启动zk

分别进入三个zk的bin目录, 点击zkServer.cmd

出现如下效果, 就是搭建成功 , 需要注意的是, 当你启动一个zk时, 可能会报错, 这个可以不用理会, 三个zk全部启动, 报错就会消失

五 kafka集群搭建

在D:\colony下创建一个kafka文件夹

?将zookeeper-3.4.10.tar.gz解压到该文件夹, 并将文件夹复制两份

?修改D:\colony\kafka\kafka_2.11-0.11.0.1\kafka_2.11-0.11.0.1\config目录下的server.properties文件夹

#kafka集群唯一标识
broker.id=0
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9092
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\colony\\kafka\\log\\log1
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

log.dirs 是kafka存放数据的文件夹, 自己创建, 在这里创建了三个文件夹

?kafka_2.11-0.11.0.1-1\config目录下的server.properties修改为

#kafka集群唯一标识
broker.id=1
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9093
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\colony\\kafka\\log\\log2
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

?kafka_2.11-0.11.0.1-2\config目录下的server.properties修改为

#kafka集群唯一标识
broker.id=2
#kafka集群的地址
broker.list=127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
#本机监听端口
port=9094
host.name=127.0.0.1
#队列中消息持久化存放的位置
log.dirs=D:\\colony\\kafka\\log\\log3
#zookeeper集群
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

kafka集群搭建完成, 启动kafka集群

cmd分别进入kafka三个文件的bin目录层, 执行

.\bin\windows\kafka-server-start.bat .\config\server.properties

出现以上效果, kafka集群搭建完成

六测试kafka集群

打开一个新的cmd进入到?D:\colony\kafka\kafka_2.11-0.11.0.1\kafka_2.11-0.11.0.1\bin\windows目录下执行,??.\kafka-topics.bat --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 1 --topic topDemo