Docker 部署 Kafka 集群详解教程

Kafka 是一个分布式流处理平台，广泛用于构建及时数据管道和流应用。它能够处理高吞吐量的数据，并支持及时数据的发布和订阅。在本文中，我们将详细先容怎样使用 Docker 来部署 Kafka 集群，包罗 Kafka 的选举原理。
条件条件

• 安装 Docker 和 Docker Compose。
  
• 理解 Kafka 和 Zookeeper 的基本概念。
  

步骤 1: 部署 Zookeeper

Kafka 使用 Zookeeper 来管理集群的元数据和 Leader 选举。首先，我们需要部署 Zookeeper。

• 拉取 Zookeeper 镜像：
  
  1. docker pull zookeeper

  复制代码
• 运行 Zookeeper 容器：
  
  1. docker run -d --name zookeeper -p 2181:2181 zookeeper

  复制代码

步骤 2: 部署 Kafka 集群

我们将使用 Docker Compose 来部署 Kafka 集群。

• 创建 docker-compose.yml 文件，内容如下：
  
  1. version: '3'
  2. services:
  3.   zookeeper:
  4.     image: zookeeper
  5.     container_name: zookeeper
  6.     ports:
  7.       - "2181:2181"
  8.   kafka1:
  9.     image: wurstmeister/kafka
  10.     ports:
  11.       - "9092:9092"
  12.     environment:
  13.       KAFKA_ADVERTISED_HOST_NAME: 192.168.1.202
  14.       KAFKA_CREATE_TOPICS: TestComposeTopic:4:3
  15.       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
  16.       KAFKA_BROKER_ID: 1
  17.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.202:9092
  18.       KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
  19.     container_name: kafka01
  20.   kafka2:
  21.     image: wurstmeister/kafka
  22.     ports:
  23.       - "9093:9092"
  24.     environment:
  25.       KAFKA_ADVERTISED_HOST_NAME: 192.168.1.202
  26.       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
  27.       KAFKA_BROKER_ID: 2
  28.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.202:9093
  29.       KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093
  30.     container_name: kafka02
  31.   kafka3:
  32.     image: wurstmeister/kafka
  33.     ports:
  34.       - "9094:9092"
  35.     environment:
  36.       KAFKA_ADVERTISED_HOST_NAME: 192.168.1.202
  37.       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
  38.       KAFKA_BROKER_ID: 3
  39.       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.202:9094
  40.       KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094
  41.     container_name: kafka03

  复制代码
• 启动 Kafka 集群：
  
  1. docker-compose up -d

  复制代码

步骤 3: 验证 Kafka 集群

• 检察 Kafka 集群状态：
  
  1. docker exec -it kafka01 /opt/kafka/bin/kafka-topics.sh --list --zookeeper zookeeper:2181

  复制代码
• 创建测试主题：
  
  1. docker exec -it kafka01 /opt/kafka/bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 3 --partitions 5 --topic TestTopic

  复制代码
• 检察主题详情：
  
  1. docker exec -it kafka01 /opt/kafka/bin/kafka-topics.sh --describe --zookeeper zookeeper:2181 --topic TestTopic

  复制代码

Kafka 选举原理

控制器选举

Kafka 集群中的控制器负责管理分区和副本的领导者选举。当 Kafka 启动时，第一个启动的 Broker 会成为控制器。如果当前控制器失败，其他 Broker 会通过 Zookeeper 举行新的控制器选举 。
分区副本选举

每个 Kafka 分区都有多个副本，此中一个是领导者，其他是追随者。如果领导者失败，控制器会从 in-sync replicas (ISR) 中选举新的领导者 。
消费组选举

Kafka 消费者通过消费组协调器举行消费，消费组内会选举出一个领导者来协调消费过程 。
通过以上步骤，你可以成功地使用 Docker 部署一个 Kafka 集群，并理解其背后的选举原理。这为构建可靠的及时数据流应用程序提供了坚实的基础。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。