kafka 集群搭建
发布日期:2022-03-18 05:04:31 浏览次数:5 分类:技术文章

本文共 2102 字,大约阅读时间需要 7 分钟。

1. 集群环境

  • Zookeeper 版本: https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
  • kafka 版本: https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
机器 集群节点 ip OS
vm0 zk0、broker0 10.23.243.224 CentOS Linux release 8.4.2105
vm1 zk1、broker1 10.23.147.1 CentOS Linux release 8.4.2105
vm2 zk2、broker2 10.23.126.115 CentOS Linux release 8.4.2105

2. 步骤

2.1 搭建 zookeeper 集群

  • zookeeper 集群搭建参见

2.2 搭建 kafka 集群

1)下载解压
mkdir -p /root/kafka && cd /root/kafkawget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgztar -xzvf kafka_2.13-3.1.0.tgz cd kafka_2.13-3.1.0/
2)修改配置

拷贝 kafka 目录到另外两台机器上,分别进入 config 目录修改配置文件 server.properties,修改如下

  • broker0

    broker.id=0									 							    # 集群中 broker 节点的唯一标识listeners=PLAINTEXT://10.23.243.224:9092      # 内网监听地址与端口advertised.listeners=PLAINTEXT://{
    {
    eip}}:9092 # 外网监听地址与端口,{
    {eip}} 为机器外网 iplog.dirs=/root/kafka/kafka_2.13-3.1.0/data # 消息存放位置,非 kafka 自身运行日志zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
  • broker1

    broker.id=1 																  # 集群中 broker 节点的唯一标识listeners=PLAINTEXT://10.23.147.1:9092        # 内网监听地址与端口advertised.listeners=PLAINTEXT://{
    {
    eip}}:9092 # 外网监听地址与端口,{
    {eip}} 为机器外网 iplog.dirs=/root/kafka/kafka_2.13-3.1.0/data # 消息存放位置,非 kafka 自身运行日志zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
  • Broker2

    broker.id=2 																  # 集群中 broker 节点的唯一标识listeners=PLAINTEXT://10.23.126.115:9092      # 内网监听地址与端口advertised.listeners=PLAINTEXT://{
    {
    eip}}:9092 # 外网监听地址与端口,{
    {eip}} 为机器外网 iplog.dirs=/root/kafka/kafka_2.13-3.1.0/data # 分区数据存放位置,非 kafka 自身运行日志zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
3)启动集群
  • 在三台机器上使用一下命令分别启动 kafka

    cd /root/kafka/kafka_2.13-3.1.0/ && bin/kafka-server-start.sh config/server.properties

3. 验证使用

  • 创建 topic

    bin/kafka-topics.sh --create --bootstrap-server 10.23.243.224:9092 --replication-factor 3 --partitions 1 --topic mytopic
  • 查看 topic

    bin/kafka-topics.sh --describe --bootstrap-server 10.23.243.224:9092   --topic mytopic

    在这里插入图片描述

转载地址:https://blog.csdn.net/xk_moving/article/details/122729614 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:【题解】【PTA-Python题库】第3章-15 统计一行文本的单词个数 (15 分)
下一篇:zookeeper 集群部署

发表评论

最新留言

做的很好,不错不错
[***.243.131.199]2024年04月16日 18时13分35秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

spring boot 与 Ant Design of Vue 实现删除用户(三十) 2019-04-27
spring boot 与 Ant Design of Vue 鉴权体系登录的实现(三十一) 2019-04-27
spring boot 与 Ant Design of Vue 鉴权体系获取用户信息的实现(三十二) 2019-04-27
Druid连接池实现自定义场景的多数据库的连接 2019-04-27
CentOs7命令行(静默)的方式安装oracle数据库 2019-04-27
基于VMware安装CentOs7的镜像 2019-04-27
PL/SQL数据库管理工具的使用 2019-04-27
史上最简单的spring-boot集成websocket的实现方式 2019-04-27
带你玩转属于自己的spring-boot-starter系列(一) 2019-04-27
带你玩转属于自己自己的spring-boot-starter系列(二) 2019-04-27
带你玩转属于自己的spring-boot-starter系列(三) 2019-04-27
基于SnowFlake算法如何让分库分表中不同的ID落在同一个库的算法的实现 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之分库解决方案(二) 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之分表解决方案(一) 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之关联查询解决方案(三) 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之基于seata的分布式事务的解决方案(十五) 2019-04-27
Linux文件管理参考 2019-04-27
FTP文件管理项目(本地云)项目日报(一) 2019-04-27
FTP文件管理项目(本地云)项目日报(二) 2019-04-27
FTP文件管理项目(本地云)项目日报(三) 2019-04-27