Zookeeper模式安装Kafka（含通例、容器两种安装方式）

一、#创作灵感#

公司使用Kafka的软件项目较多，故写技术条记巩固知识要点
二、软件情况

- Kafka 3.9.0  官方下载地点：Kafka 3.9.0
- ZooKeeper 3.9.3  官方下载地点：ZooKeeper 3.9.3
- Docker Desktop 4.37 容器图形化工具  官方下载地点：Docker Desktop 4.37
特别说明
- Docker Desktop仅仅是Windows下镜像用，如有能爬楼的服务器可不安装此软件
- 本文以单机模式为例
三、通例方式安装

非容器化Zookeeper Mode（模式）安装
1、下载zookeeper

参见上面的软件情况章节的下载地点
2、修改zookeeper设置

1. # zk临时数据目录，根据实际调整
2. dataDir=/tmp/zookeeper
3. # 管理端口，如果一台机器只启一个可不配置，启多个要配置每个zk的管理端口要不同
4. admin.serverPort=8181

复制代码

3、启动内置/外置zookeeper（二选一）

- 启动内置zookeeper

1. # Start the ZooKeeper service
2. $ bin/zookeeper-server-start.sh config/zookeeper.properties

复制代码

 - 启动外置zookeeper

1. # Start the ZooKeeper service
2. $ bin/zkServer.sh start

复制代码

5、下载kafka

下载地点见：软件情况章节
6、修改（zookeeper模式启动）Kafka设置

vi $KAFKA_HOME/config/server.properties

1. ##### 主要配置如下
2. # ip 端口,根据实际修改
3. listeners=PLAINTEXT://10.130.***.**:19092
4. # 日志文件目录
5. log.dirs=/tmp/kafka-logs
6. # zookeeper地址
7. zookeeper.connect=localhost:2181

复制代码

7、Zookeeper模式启动Kafka

1. # Start the Kafka broker service
2. $ bin/kafka-server-start.sh config/server.properties

复制代码

四、容器方式安装

容器化Zookeeper Mode（模式）安装
内置zookeeper和外置zookeeper二选一
1、容器启动Kafka-内置zk（一体化）方式

- 下载镜像

下载一体化官方镜像

1. $ docker pull confluentinc/cp-kafka:5.5.0

复制代码

- dockerfile

dockerfile以开源Confluent Kafka为基顾打一个定制化的镜像

1. # 使用Kafka官方镜像
2. FROM confluentinc/cp-kafka:5.5.0
4. # 设置环境变量以启用内置的Zookeeper实例
5. ENV KAFKA_ZOOKEEPER_CONNECT=localhost:2181
6. ENV KAFKA_BROKER_ID=1
7. ENV KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
8. ENV KAFKA_LISTENERS=INTERNAL://:9092,EXTERNAL://:19092
9. ENV KAFKA_ADVERTISED_LISTENERS=INTERNAL://kafka:9092,EXTERNAL://localhost:19092
10. ENV KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL
11. ENV KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
13. # 复制Kafka配置文件
14. COPY ./config/ /etc/kafka/config/
16. # 复制Zookeeper配置文件
17. COPY ./zookeeper.properties /etc/kafka/zookeeper.properties
19. # 复制Kafka配置文件
20. COPY ./server.properties /etc/kafka/server.properties
22. # 设置容器工作目录
23. WORKDIR /etc/kafka
25. # 暴露Kafka和Zookeeper的端口
26. EXPOSE 2181 9092 19092
28. # 启动Kafka和Zookeeper
29. CMD ["start-kafka.sh", "--zookeeper"]

复制代码

- 使用镜像启动容器

1. # 假设打好的镜像id是fe7e6a65afa5
2. docker run \
3. --name=cp-kafka \
4. -p 2181:2181 \
5. -p 9092:9092 \
6. -p 19092:19092 \
7. -d fe7e6a65afa5

复制代码

2、容器启动Kafka-外置zk

- 下载镜像

下载Zookeeper和Kafka两个镜像

1. $ docker pull wurstmeister/zookeeper:3.9.3
2. $ docker pull wurstmeister/kafka:3.9.0

复制代码

- docker-compose.yml

docker-compose编排zookeeper和kafka两个镜像

1. version: '3'
2. services:
3.   zookeeper:
4.     image: wurstmeister/zookeeper
5.     ports:
6.       - "2181:2181"
8.   kafka:
9.     image: wurstmeister/kafka
10.     ports:
11.       - "9092:9092"
12.     environment:
13.       KAFKA_ADVERTISED_HOST_NAME: localhost
14.       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
15.     volumes:
16.       - /var/run/docker.sock:/var/run/docker.sock

复制代码

说明：
    这将会启动一个Zookeeper和Kafka的容器实例。确保你已经安装了Docker和Docker Compose。这个设置适用于开发和测试情况，不适合生产情况，因为它将Kafka和Zookeeper袒露到同一个宿主机的端口上，可能会有安全问题
- 使用docker-compose启动容器

1. docker-compose up -d

复制代码

五、要点总结

      - Zookeeper Mode使用的设置是$KFAKA_HOME/config/server.properties
      - Kraft Mode使用的设置是$KFAKA_HOME/config/kraft/server.properties
      - Kraft Mode启动见作者的文章：Kraft模式安装Kafka

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。