保姆级教程Docker部署Zookeeper模式的Kafka镜像

目录
一、安装Docker及可视化工具
二、Docker部署Zookeeper
三、单节点部署
1、创建挂载目录
2、下令运行容器
3、Compose运行容器
4、查看运行状态
5、验证功能
四、部署可视化工具
1、创建挂载目录
2、Compose运行容器
3、查看运行状态

---

一、安装Docker及可视化工具

为了简化安装过程并确保环境一致性，推荐使用 Docker 来本地部署 Kafka。这不但能够快速启动服务，还能有用解决差别使用体系之间的兼容性题目，采取隔离环境的方式，制止了因环境差别导致的题目。
   

• Linux环境安装Docker可参考：Ubuntu上安装 Docker及可视化管理工具
  
• Windows环境安装Docker可参考：WSL2中安装Docker—部署Docker Engine方案
  

  二、Docker部署Zookeeper

   

• Docker中部署Zookeeper镜像可参考：保姆级教程Docker部署Zookeeper镜像
  

  三、镜像选择

Apache Kafka 的原始创建者是 Jay Kreps、Neha Narkhede 和 Jun Rao，他们最初在 LinkedIn 开发了 Kafka，后来将其开源并捐赠给了 Apache 软件基金会。之后，他们创立了 Confluent 公司，专注于 Kafka 的商业化支持和扩展。作为 Kafka 生态体系的核心贡献者，Confluent 提供了许多加强工具和服务，其中包括 confluentinc/cp-kafka 镜像。
confluentinc/cp-kafka 集成了 Kafka 及其生态体系工具，适合企业级使用。
停止 Confluent Platform 7.5，ZooKeeper 已不再用于新部署。Confluent 推荐在新部署中使用 KRaft 模式。因此这里选择了 confluentinc/cp-kafka:7.3.10 镜像。
四、单节点部署

1、创建挂载目录

1. # 创建宿主机kafka挂载目录
2. sudo mkdir -p /data/docker/kafka

复制代码

2、下令运行容器

1. # 拉取镜像
2. sudo docker pull confluentinc/cp-kafka:7.3.10
4. # 运行容器
5. sudo docker run --privileged=true \
6. --net=zk-net \
7. -d --name=kafka \
8. -v /data/docker/kafkat/data:/bitnami/kafka/data \
9. -p 9092:9092 -p 19092:19092 -p 29092:29092 \
10. -e TZ=Asia/Shanghai \
11. -e KAFKA_BROKER_ID=1 \
12. -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
13. -e KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL \
14. -e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT \
15. -e KAFKA_ADVERTISED_LISTENERS=INTERNAL://192.168.3.9:9092,EXTERNAL://192.168.3.9:29092 \
16. -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
17. -e KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0 \
18. -e KAFKA_JMX_HOST=192.168.3.9 \
19. -e KAFKA_JMX_PORT=19092 \
20. confluentinc/cp-kafka:7.3.10

复制代码

参数分析如下：

参数	参数说明
docker run	运行 Docker 容器
-d	容器将在后台运行，而不是占用当前的终端会话
--privileged=true	Docker会赋予容器几乎与宿主机相同的权限
--net=zk-net	网络模式配置，参加Zookeeper容器创建的网络，以便容器间通讯
--name kafka	给容器命名为 kafka，以便于管理和引用该容器
-p 9092:9092 -p 19092:19092 -p 29092:29092	映射 kafka 的客户端通讯端口
-e KAFKA_ZOOKEEPER_CONNECT= zookeeper:2181	zookeeper的毗连地址
-e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP= INTERNALLAINTEXT,EXTERNALLAINTEXT	配置Kafka监听器的安全协议映射，内部网络和外部网络都采取未加密的明文协议
-e KAFKA_ADVERTISED_LISTENERS= INTERNAL://192.168.3.9:9092, EXTERNAL://192.168.3.9:29092	配置了 Kafka 对外公开的监听地址和协议， INTERNAL://192.168.3.9:9092：表现对内提供服务的地址。 EXTERNAL://192.168.3.9:29092：表现对外提供服务的地址，必要修改为对应的ip地址。
-e KAFKA_INTER_BROKER_LISTENER_NAME= INTERNAL	表现 Kafka Broker 之间的通讯将使用 INTERNAL 监听器
-e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1	配置主题的副本因子，表现主题的每个分区在集群中有多少个副本，在单节点测试环境中，可以将副本因子设置为 1，以减少资源开销
-e KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0	配置消耗者组在初始参加或重新平衡（Rebalance）时的耽误行为，默认值为 3000 毫秒；在测试环境中，如果必要快速触发重平衡，可以将该参数设置为 0，以立刻实行重平衡。
- KAFKA_JMX_HOST=192.168.3.9	配置Kafka进程的JMX监控地址
- KAFKA_JMX_PORT=19092	配置Kafka进程的JMX监控端口

3、Compose运行容器

创建docker-compose.yml文件

1. sudo touch /data/docker/kafka/docker-compose.yml

复制代码

文件内容如下： 

1. version: '3'
3. networks:
4.   zk-net:
5.     external: true  # 标记这个网络是外部网络
7. services:
8.   kafka:
9.     image: confluentinc/cp-kafka:7.3.10
10.     container_name: kafka
11.     ports:
12.       - "9092:9092"
13.       - "19092:19092"
14.       - "29092:29092"
15.     environment:
16.       - TZ=Asia/Shanghai
17.       - KAFKA_BROKER_ID=1
18.       - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
19.       - KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL
20.       - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
21.       - KAFKA_ADVERTISED_LISTENERS=INTERNAL://192.168.3.9:9092,EXTERNAL://192.168.3.9:29092
22.       - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
23.       - KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0
24.       - KAFKA_JMX_HOST=192.168.3.9
25.       - KAFKA_JMX_PORT=19092
26.     privileged: true
27.     networks:
28.       - zk-net

复制代码

运行容器

1. #-f:调用文件,-d:开启守护进程
2. sudo docker compose -f /data/docker/kafka/docker-compose.yml up -d

复制代码

4、查看运行状态

5、验证功能

验证步骤如下，分别创建一个生产者和一个消耗者，查看消耗者是否能够收到生产者生产的消息

1. # 1.进入kafka容器内
2. sudo docker exec -it kafka /bin/bash
4. # 2.进入bin目录
5. cd /usr/bin
7. # 3.生产消息
8. ./kafka-console-producer --topic test01 --bootstrap-server localhost:9092
10. # 3.消费消息
11. ./kafka-console-consumer --topic test01 --from-beginning --bootstrap-server localhost:9092 --group group01
13. # 查询主题列表
14. ./kafka-topics --bootstrap-server localhost:9092 --list
16. # 查询消费组列表
17. ./kafka-consumer-groups --bootstrap-server localhost:9092 --list

复制代码

 生产消息

消耗消息

验证结果表明，kafka部署正常，可正常生产和消耗消息
五、部署可视化工具

Zookeeper模式的Kafka推荐使用Kafka Eagle举行可视化管理。Kafka Eagle 是一款开源的 Kafka 监控和管理工具，主要用于监控 Kafka 集群的康健状态、性能指标以及管理主题和消耗者组。
1、创建挂载目录

1. # 创建宿主机kafka-eagle挂载目录
2. sudo mkdir -p /data/docker/kafka-eagle

复制代码

2、Compose运行容器

创建docker-compose.yml文件

1. sudo touch /data/docker/kafka-eagle/docker-compose.yml

复制代码

文件内容如下：

1. version: '3'
3. networks:
4.   zk-net:
5.     external: true  # 标记这个网络是外部网络
7. services:
8.   kafka-eagle:
9.     image: nickzurich/efak:3.0.1
10.     container_name: kafka-eagle
11.     ports:
12.       - "8048:8048"
13.     environment:
14.       - TZ=Asia/Shanghai
15.       - EFAK_CLUSTER_ZK_LIST=zookeeper:2181
16.     volumes:
17.       - /data/docker/kafka-eagle/config:/opt/efak/conf
18.       - /data/docker/kafka-eagle/data:/hadoop/efak/db
19.     privileged: true
20.     networks:
21.       - zk-net

复制代码

运行容器

1. #-f:调用文件,-d:开启守护进程
2. sudo docker compose -f /data/docker/kafka-eagle/docker-compose.yml up -d

复制代码

3、查看运行状态

http://192.168.3.9:8048
用户名暗码：admin/123456

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。