ToB企服应用市场:ToB评测及商务社交产业平台

标题: 保姆级教程Docker摆设KRaft模式的Kafka官方镜像 [打印本页]
作者: 美丽的神话    时间: 2025-2-21 19:32
标题: 保姆级教程Docker摆设KRaft模式的Kafka官方镜像
目次
一、安装Docker及可视化工具
二、单节点摆设
1、创建挂载目次
2、命令运行容器
3、Compose运行容器
4、查看运行状态
5、验证生产消耗
三、集群摆设
四、摆设可视化工具
1、创建挂载目次
2、命令运行容器
3、Compose运行容器
4、查看运行状态
五、Zookeeper模式和KRaft模式
在Kafka2.8版本之前，Kafka是强依赖于Zookeeper中间件的，这本身就很不合理，中间件依赖另一个中间件，搭建起来实在贫苦。所幸Kafka2.8之后推出了KRaft模式，即抛弃Zookeeper，由Kafka节点本身做Controller来选举Leader。本篇文章内容就是介绍如何在Docker中搭建Kafka KRaft环境。
一、安装Docker及可视化工具

Docker及可视化工具的安装可参考：Ubuntu上安装 Docker及可视化管理工具
二、单节点摆设

在举行单节点摆设并以KRaft模式运行时，该节点通常是肴杂节点的范例
1、创建挂载目次

  1. # 创建宿主机kafka挂载目录
  2. sudo mkdir -p /data/docker/kafka-kraft
复制代码
2、命令运行容器

  1. # 拉取镜像
  2. sudo docker pull apache/kafka:3.9.0
  4. # 运行容器
  5. sudo docker run --privileged=true \
  6. --net=bridge \
  7. -d --name=kafka-kraft \
  8. -v /data/docker/kafka-kraft/data:/var/lib/kafka/data \
  9. -v /data/docker/kafka-kraft/config:/mnt/shared/config \
  10. -v /data/docker/kafka-kraft/secrets:/etc/kafka/secrets \
  11. -p 9092:9092 -p 9093:9093 \
  12. -e TZ=Asia/Shanghai \
  13. -e LANG=C.UTF-8 \
  14. -e KAFKA_NODE_ID=1 \
  15. -e CLUSTER_ID=kafka-cluster \
  16. -e KAFKA_PROCESS_ROLES=broker,controller \
  17. -e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
  18. -e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
  19. -e KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
  20. -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092 \
  21. -e KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093 \
  22. apache/kafka:3.9.0
复制代码
  注：
  1、192.168.3.9 要更换为对外暴露的外网地点
  参数解析如下：
参数参数分析
docker run运行 Docker 容器
-d容器将在后台运行，而不是占用当前的终端会话
--privileged=trueDocker会赋予容器险些与宿主机相同的权限
--net=bridge网络模式配置，默认是bridge，bridge表示利用容器内部配置网络
--name kafka-kraft给容器定名为 kafka-kraft，以便于管理和引用该容器
-p 9092:9092 -p 9093:9093映射 kafka 的客户端通信端口和控制器端口
-e KAFKA_NODE_ID=1节点ID，用于标识每个集群中的节点，需要是不小于1的整数，同一个集群中的节点ID不可重复
-e CLUSTER_ID=kafka-cluster集群ID，可以自界说任何字符串作为集群ID，同一个集群中全部节点的集群ID必须配置为一样
-e KAFKA_PROCESS_ROLES=broker,controller节点范例，broker,controller表示该节点是肴杂节点，通常单机摆设时需要配置为肴杂节点
-e KAFKA_INTER_BROKER_LISTENER_NAME=
PLAINTEXT
Kafka的Broker地点前缀名称，固定为PLAINTEXT即可
-e KAFKA_CONTROLLER_LISTENER_NAMES=
CONTROLLER
Kafka的Controller地点前缀名称，固定为CONTROLLER即可
-e KAFKA_LISTENERS=
PLAINTEXT://:9092,CONTROLLER://:9093
表示Kafka要监听哪些端口，PLAINTEXT://:9092,CONTROLLER://:9093表示本节点作为肴杂节点，监听本机全部可用网卡的9092和9093端口，此中9092作为客户端通信端口，9093作为控制器端口
-e KAFKA_ADVERTISED_LISTENERS=
PLAINTEXT://192.168.3.9:9092
配置Kafka的外网地点，需要是PLAINTEXT://外网地点:端口的情势，当客户端连接Kafka服务端时，Kafka会将这个外网地点广播给客户端，然后客户端再通过这个外网地点连接，除此之外集群之间互换数据时也是通过这个配置项得到集群中每个节点的地点的，如许集群中节点才华举行交互。需要修改为对应的Kafka的外网地点。
-e KAFKA_CONTROLLER_QUORUM_VOTERS=
1@localhost:9093
投票节点列表，通常配置为集群中全部的Controller节点，格式为节点id@节点外网地点:节点Controller端口，多个节点利用逗号,隔开，由于是肴杂节点，因此配置本身就行了
-v /data/docker/kafka-kraft/data:
/var/lib/kafka/data
持久化数据文件夹，如果运行出现题目可以清空该数据卷文件重启再试
-v /data/docker/kafka-kraft/config:
/mnt/shared/config
持久化配置文件目次
-v /data/docker/kafka-kraft/secrets:
/etc/kafka/secrets
持久化秘钥相关文件夹
容器运行参数详解参考：Docker容器运行常用参数详解-CSDN博客 
3、Compose运行容器

创建docker-compose.yml文件
  
  1. sudo touch /data/docker/kafka-kraft/docker-compose.yml
复制代码
文件内容如下：
  
  1. version: '3'
  3. services:
  4.   kafka:
  5.     image: apache/kafka:3.9.0
  6.     container_name: kafka-kraft
  7.     ports:
  8.       - "9092:9092"
  9.       - "9093:9093"
  10.     environment:
  11.       - TZ=Asia/Shanghai
  12.       - LANG=C.UTF-8
  13.       - KAFKA_NODE_ID=1
  14.       - CLUSTER_ID=kafka-cluster
  15.       - KAFKA_PROCESS_ROLES=broker,controller
  16.       - KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT
  17.       - KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER
  18.       - KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
  19.       - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092
  20.       - KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093
  21.     volumes:
  22.       - /data/docker/kafka-kraft/data:/var/lib/kafka/data
  23.       - /data/docker/kafka-kraft/config:/mnt/shared/config
  24.       - /data/docker/kafka-kraft/secrets:/etc/kafka/secrets
  25.     privileged: true
  26.     network_mode: "bridge"
复制代码
运行容器
  
  1. #-f:调用文件,-d:开启守护进程
  2. sudo docker compose -f /data/docker/kafka-kraft/docker-compose.yml up -d
复制代码
4、查看运行状态


5、验证生产消耗

验证步骤如下，分别创建一个生产者和一个消耗者，查看消耗者是否能够收到生产者生产的消息
  1. # 1.进入kafka容器内
  2. sudo docker exec -it kafka-kraft /bin/bash
  4. # 2.进入kafka安装目录
  5. cd /opt/kafka/bin
  7. # 3.生产消息
  8. ./kafka-console-producer.sh --topic test01 --bootstrap-server localhost:9092
  10. # 3.消费消息
  11. ./kafka-console-consumer.sh --topic test01 --from-beginning --bootstrap-server localhost:9092 --partition 0
  13. # 查询主题列表
  14. ./kafka-topics.sh --bootstrap-server localhost:9092 --list
  16. # 查询消费组列表
  17. ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
复制代码
生产消息

 消耗消息

验证效果表明，kafka摆设正常，可正常生产和消耗消息，但是Kraft模式无法通过指定group（消耗组）消耗到消息，需要通过指定partition（分区）才华消耗到消息，这个题目应是Kafka的bug，后续再观察下。 
三、集群摆设

采用Broker + Controller集群，这是推荐的生产环境的集群摆设方式，集群中不存在肴杂节点，每个节点要么是Broker范例，要么是Controller范例。
通过下列命令在服务器上摆设：
  1. # 定义域名
  2. # 这是fish shell的变量定义语法
  3. # 使用bash请替换为：kafka_host="192.168.3.9"
  4. set kafka_host "192.168.3.9"
  6. # 节点1-Controller
  7. sudo docker run -id --privileged=true \
  8.     --net=bridge --name=kafka-1 \
  9.         -p 10001:9093 \
  10.         -v /data/docker/kafka-1/config:/mnt/shared/config \
  11.         -v /data/docker/kafka-1/data:/var/lib/kafka/data \
  12.         -v /data/docker/kafka-1/secrets:/etc/kafka/secrets \
  13.         -e LANG=C.UTF-8 \
  14.         -e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
  15.         -e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
  16.         -e CLUSTER_ID=kafka-cluster \
  17.         -e KAFKA_NODE_ID=1 \
  18.         -e KAFKA_PROCESS_ROLES=controller \
  19.         -e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
  20.         -e KAFKA_LISTENERS="CONTROLLER://:9093" \
  21.         apache/kafka:3.9.0
  23. # 节点2-Broker
  24. sudo docker run -id --privileged=true \
  25.     --net=bridge --name=kafka-2 \
  26.         -p 9002:9092 \
  27.         -v /data/docker/kafka-2/config:/mnt/shared/config \
  28.         -v /data/docker/kafka-2/data:/var/lib/kafka/data \
  29.         -v /data/docker/kafka-2/secrets:/etc/kafka/secrets \
  30.         -e LANG=C.UTF-8 \
  31.         -e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
  32.         -e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
  33.         -e CLUSTER_ID=kafka-cluster \
  34.         -e KAFKA_NODE_ID=2 \
  35.         -e KAFKA_PROCESS_ROLES=broker \
  36.         -e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
  37.         -e KAFKA_LISTENERS="PLAINTEXT://:9092" \
  38.         -e KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://$kafka_host:9002" \
  39.         apache/kafka:3.9.0
  41. # 节点3-Broker
  42. sudo docker run -id --privileged=true \
  43.     --net=bridge --name=kafka-3 \
  44.         -p 9003:9092 \
  45.     -v /data/docker/kafka-3/config:/mnt/shared/config \
  46.         -v /data/docker/kafka-3/data:/var/lib/kafka/data \
  47.         -v /data/docker/kafka-3/secrets:/etc/kafka/secrets \
  48.         -e LANG=C.UTF-8 \
  49.         -e KAFKA_INTER_BROKER_LISTENER_NAME=PLAINTEXT \
  50.         -e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
  51.         -e CLUSTER_ID=kafka-cluster \
  52.         -e KAFKA_NODE_ID=3 \
  53.         -e KAFKA_PROCESS_ROLES=broker \
  54.         -e KAFKA_CONTROLLER_QUORUM_VOTERS="1@$kafka_host:10001" \
  55.         -e KAFKA_LISTENERS="PLAINTEXT://:9092" \
  56.         -e KAFKA_ADVERTISED_LISTENERS="PLAINTEXT://$kafka_host:9003" \
  57.         apache/kafka:3.9.0
复制代码
如许，我们就摆设了一个由1个Controller节点和2个Broker节点构成的集群，需要注意的是：
   
  四、摆设可视化工具

在早期利用Kafka时，通常会选择Kafka Tool或Kafka Eagle举行管理。Kafka Tool是一款桌面应用程序，而Kafka Eagle则基于欣赏器运行。只管这两款工具在用户体验上表现平平，但它们根本能满意日常需求。
然而，自Kafka 3.3.1版本起，Kafka正式弃用了Zookeeper，转而采用自有的仲裁机制，即kraft模式。遗憾的是，上述两款工具好像未能及时跟进这一更新，仍然要求用户输入Zookeeper地点才华连接，导致它们在新版本Kafka中无法正常利用。为了解决这一题目，我发现了一款轻量且易于利用的替换工具——kafka-ui，它能够更好地适配新版Kafka。
1、创建挂载目次

  1. # 创建宿主机kafka-ui挂载目录
  2. sudo mkdir -p /data/docker/kafka-ui/config
  4. # 创建挂载的配置文件
  5. sudo touch /data/docker/kafka-ui/config/dynamic_config.yaml
复制代码
2、命令运行容器

  1. # 拉取镜像
  2. sudo docker pull provectuslabs/kafka-ui:v0.7.2
  4. # 运行容器
  5. sudo docker run --privileged=true \
  6. --net=bridge \
  7. -d --name=kafka-ui \
  8. -p 18080:8080 \
  9. -v /data/docker/kafka-ui/config/dynamic_config.yaml:/etc/kafkaui/dynamic_config.yaml
  10. -e KAFKA_CLUSTERS_0_NAME=kafka-cluster \
  11. -e KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=192.168.3.9:9092 \
  12. -e SERVER_SERVLET_CONTEXT_PATH=/ \
  13. -e AUTH_TYPE=LOGIN_FORM \
  14. -e SPRING_SECURITY_USER_NAME=admin \
  15. -e SPRING_SECURITY_USER_PASSWORD=admin \
  16. -e TZ=Asia/Shanghai \
  17. -e LANG=C.UTF-8 \
  18. provectuslabs/kafka-ui:v0.7.2
复制代码
参数解析如下：
参数参数分析
docker run运行 Docker 容器
-d容器将在后台运行，而不是占用当前的终端会话
--privileged=trueDocker会赋予容器险些与宿主机相同的权限
--net=bridge网络模式配置，默认是bridge，bridge表示利用容器内部配置网络
--name kafka-ui给容器定名为 kafka-ui，以便于管理和引用该容器
-p 18080:8080映射 kafka-ui 的web端口
-v /data/docker/kafka-ui/config/dynamic_config.yaml:
/etc/kafkaui/dynamic_config.yaml
挂载配置文件，确保config/dynamic_config.yaml文件存在
-e SERVER_SERVLET_CONTEXT_PATH=/默认kafka-ui是免登录的，为了防止全部人都可以登录产生误操纵题目，在docker摆设的时候可以添加如下四个环境变量配置用户的登录暗码。
-e AUTH_TYPE=LOGIN_FORM
-e SPRING_SECURITY_USER_NAME=admin
-e SPRING_SECURITY_USER_PASSWORD=admin
-e KAFKA_CLUSTERS_0_NAME=kafka-cluster自界说集群名称
-e KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=
192.168.3.9:9092
集群地点，如有多个地点逗号分隔；需要修改为对应的Kafka的外网地点。
3、Compose运行容器

创建docker-compose.yml文件
  1. sudo touch /data/docker/kafka-ui/docker-compose.yml
复制代码
文件内容如下：
  1. version: '3'
  3. services:
  4.   kafka:
  5.     image: provectuslabs/kafka-ui:v0.7.2
  6.     container_name: kafka-ui
  7.     ports:
  8.       - "18080:8080"
  9.     environment:
  10.       - TZ=Asia/Shanghai
  11.       - LANG=C.UTF-8
  12.       - DYNAMIC_CONFIG_ENABLED=true
  13.       - KAFKA_CLUSTERS_0_NAME=kafka-cluster
  14.       - KAFKA_CLUSTERS_0_BOOTSTRAP_SERVERS=192.168.3.9:9092
  15.       - SERVER_SERVLET_CONTEXT_PATH=/
  16.       - AUTH_TYPE=LOGIN_FORM
  17.       - SPRING_SECURITY_USER_NAME=admin
  18.       - SPRING_SECURITY_USER_PASSWORD=admin
  19.     volumes:
  20.       - /data/docker/kafka-ui/config/dynamic_config.yaml:/etc/kafkaui/dynamic_config.yaml
  21.     privileged: true
  22.     network_mode: "bridge"
复制代码
运行容器
  1. #-f:调用文件,-d:开启守护进程
  2. sudo docker compose -f /data/docker/kafka-ui/docker-compose.yml up -d
复制代码
4、查看运行状态

http://192.168.3.9:18080/auth
账号和暗码 都是admin

五、Zookeeper模式和KRaft模式

Zookeeper 模式和 KRaft 模式各有其独特的上风和局限性，适用于不同的场景。
Zookeeper 模式：
   
  KRaft 模式：
   
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4