kafka 集群搭建
发布日期:2022-03-18 05:04:31
浏览次数:5
分类:技术文章
本文共 2102 字,大约阅读时间需要 7 分钟。
1. 集群环境
- Zookeeper 版本: https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
- kafka 版本: https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
机器 | 集群节点 | ip | OS |
---|---|---|---|
vm0 | zk0、broker0 | 10.23.243.224 | CentOS Linux release 8.4.2105 |
vm1 | zk1、broker1 | 10.23.147.1 | CentOS Linux release 8.4.2105 |
vm2 | zk2、broker2 | 10.23.126.115 | CentOS Linux release 8.4.2105 |
2. 步骤
2.1 搭建 zookeeper 集群
- zookeeper 集群搭建参见
2.2 搭建 kafka 集群
1)下载解压
mkdir -p /root/kafka && cd /root/kafkawget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgztar -xzvf kafka_2.13-3.1.0.tgz cd kafka_2.13-3.1.0/
2)修改配置
拷贝 kafka 目录到另外两台机器上,分别进入 config 目录修改配置文件 server.properties,修改如下
-
broker0
broker.id=0 # 集群中 broker 节点的唯一标识listeners=PLAINTEXT://10.23.243.224:9092 # 内网监听地址与端口advertised.listeners=PLAINTEXT://{ { eip}}:9092 # 外网监听地址与端口,{ {eip}} 为机器外网 iplog.dirs=/root/kafka/kafka_2.13-3.1.0/data # 消息存放位置,非 kafka 自身运行日志zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
-
broker1
broker.id=1 # 集群中 broker 节点的唯一标识listeners=PLAINTEXT://10.23.147.1:9092 # 内网监听地址与端口advertised.listeners=PLAINTEXT://{ { eip}}:9092 # 外网监听地址与端口,{ {eip}} 为机器外网 iplog.dirs=/root/kafka/kafka_2.13-3.1.0/data # 消息存放位置,非 kafka 自身运行日志zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
-
Broker2
broker.id=2 # 集群中 broker 节点的唯一标识listeners=PLAINTEXT://10.23.126.115:9092 # 内网监听地址与端口advertised.listeners=PLAINTEXT://{ { eip}}:9092 # 外网监听地址与端口,{ {eip}} 为机器外网 iplog.dirs=/root/kafka/kafka_2.13-3.1.0/data # 分区数据存放位置,非 kafka 自身运行日志zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
3)启动集群
-
在三台机器上使用一下命令分别启动 kafka
cd /root/kafka/kafka_2.13-3.1.0/ && bin/kafka-server-start.sh config/server.properties
3. 验证使用
-
创建 topic
bin/kafka-topics.sh --create --bootstrap-server 10.23.243.224:9092 --replication-factor 3 --partitions 1 --topic mytopic
-
查看 topic
bin/kafka-topics.sh --describe --bootstrap-server 10.23.243.224:9092 --topic mytopic
转载地址:https://blog.csdn.net/xk_moving/article/details/122729614 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
做的很好,不错不错
[***.243.131.199]2024年04月16日 18时13分35秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
spring boot 与 Ant Design of Vue 实现删除用户(三十)
2019-04-27
Druid连接池实现自定义场景的多数据库的连接
2019-04-27
CentOs7命令行(静默)的方式安装oracle数据库
2019-04-27
基于VMware安装CentOs7的镜像
2019-04-27
PL/SQL数据库管理工具的使用
2019-04-27
史上最简单的spring-boot集成websocket的实现方式
2019-04-27
带你玩转属于自己的spring-boot-starter系列(一)
2019-04-27
带你玩转属于自己自己的spring-boot-starter系列(二)
2019-04-27
带你玩转属于自己的spring-boot-starter系列(三)
2019-04-27
基于SnowFlake算法如何让分库分表中不同的ID落在同一个库的算法的实现
2019-04-27
Linux文件管理参考
2019-04-27
FTP文件管理项目(本地云)项目日报(一)
2019-04-27
FTP文件管理项目(本地云)项目日报(二)
2019-04-27
FTP文件管理项目(本地云)项目日报(三)
2019-04-27