Kafka和Zookeeper的安装与利用指南

目次
1. Zookeeper的安装与配置
1.1 Windows情况下的安装与启动
1.2 Linux情况下的安装与配置
2. Kafka的安装与配置
2.1 Windows情况下的安装与启动
2.2 Linux情况下的安装与启动
3. Kafka和Zookeeper的常用下令
4. Kafka消费者Offset处置惩罚
5. 启动Kafka时碰到的常见问题及解决方法

---

在分布式系统的世界中，Kafka是一种高性能的消息队列系统，而Zookeeper则作为分布式和谐服务的底子工具之一，为Kafka的高效运行提供支持。本指南将具体介绍在Windows和Linux系统中安装和配置Zookeeper和Kafka的步调，并包含一些常用下令和经验总结，帮助你更好地掌握这些工具。
1. Zookeeper的安装与配置

1.1 Windows情况下的安装与启动

（1）安装路径：

• Zookeeper安装在 C:\software\zookeeper。
  
• Kafka安装在 C:\software\kafka。
  

（2）启动Zookeeper：

• 检查Zookeeper是否启动：利用下令 netstat -ano | findstr 2181 检查Zookeeper服务是否已启动。
  
• 背景启动：通过脚本 C:\software\kafka\bin\windows\0zk_backRun.vbs 以背景方式启动Zookeeper。
  
• 前台启动：通过脚本 C:\software\kafka\bin\windows\0zookeeper-start.bat 在前台窗口启动Zookeeper。
  

1.2 Linux情况下的安装与配置

（1）下载与解压：

• 下载Zookeeper安装包：Zookeeper下载链接。
  
• 将安装包上传到Linux服务器后，解压至 /usr/local/zookeeper：
  

1. tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz

复制代码

（2）配置Zookeeper：

• 进入 conf 目次，并复制 zoo_sample.cfg 为 zoo.cfg：
  

1. cp zoo_sample.cfg zoo.cfg

复制代码

• 编辑 zoo.cfg 文件，确保 dataDir 属性指向符合的目次：
  

1. dataDir=/tmp/zookeeper
2. clientPort=2181

复制代码

（3）启动、关闭、查看Zookeeper服务：

• 启动Zookeeper：
  

1. ./zkServer.sh start

复制代码

• 关闭Zookeeper：
  

1. ./zkServer.sh stop

复制代码

• 查看Zookeeper状态：
  

1. ./zkServer.sh status

复制代码

2. Kafka的安装与配置

2.1 Windows情况下的安装与启动

（1）安装路径：
Kafka安装在 C:\software\kafka。
（2）启动Kafka：

• 在启动Kafka前，确保Zookeeper已经启动。可以通过 zkServer.sh 启动Zookeeper。
  
• 启动Kafka服务：
  

1. C:\software\kafka\bin\windows\1kafka-start.bat

复制代码

2.2 Linux情况下的安装与启动

（1）下载与解压：

• 通过官网直接下载Kafka安装包。
  
• 解压安装包并进入Kafka目次：
  

1. tar -xzf kafka_2.12-2.8.0.tgz
2. cd kafka_2.12-2.8.0

复制代码

（2）配置Kafka：

• 修改Kafka的配置文件 server.properties，确保Zookeeper的毗连配置精确：
  

1. vi config/server.properties

复制代码

修改 zookeeper.connect 配置项为自己安装的Zookeeper地址和端口号：

1. zookeeper.connect=192.168.1.*:2081

复制代码

（3）启动Kafka：

• 确保Zookeeper已经启动，然后启动Kafka：
  

1. bin/kafka-server-start.sh config/server.properties

复制代码

3. Kafka和Zookeeper的常用下令

（1）启动Zookeeper：

• Windows：
  

1. skServer

复制代码

• Linux：
  

1. ./zkServer.sh start

复制代码

（2）启动Kafka：

• Windows：
  

1. .\bin\windows\kafka-server-start.bat .\config\server.properties

复制代码

• Linux：
  

1. ./kafka-server-start.sh ../config/server.properties
2. nohup ./kafka-server-start.sh ../config/server.properties &

复制代码

（3）创建主题：

• Windows：
  

1. .\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic <Your-Topic-Name>

复制代码

• Linux：
  

1. ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic <Your-Topic-Name>

复制代码

（4）创建生产者：

• Windows：
  

1. .\kafka-console-producer.bat --broker-list localhost:9092 --topic <Your-Topic-Name>

复制代码

• Linux：
  

1. ./kafka-console-producer.sh --broker-list localhost:9092 --topic <Your-Topic-Name>

复制代码

（5）创建消费者：

• Windows：
  

1. .\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic <Your-Topic-Name> --from-beginning

复制代码

• Linux：
  

1. ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic <Your-Topic-Name> --from-beginning

复制代码

（6）查询主题：

• Windows：
  

1. .\kafka-topics.bat --list --zookeeper localhost:2181

复制代码

• Linux：
  

1. ./kafka-topics.sh --list --zookeeper localhost:2181

复制代码

（7）删除主题：

1. ./kafka-topics.sh --delete --zookeeper localhost:2181 --topic <Topic-Name>

复制代码

（8）查询Consumer Group：

• 查询Kafka中全部的消费组：
  

1. ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
2. ./kafka-consumer-groups.sh --zookeeper localhost:2181 --list

复制代码

（9）查看消费情况：

1. bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group <Your-Group-Name>
2. .\kafka-consumer-groups.bat --describe --bootstrap-server <Your-Bootstrap-Server> --group <Your-Group-Name>

复制代码

4. Kafka消费者Offset处置惩罚

Kafka消费者在处置惩罚消息时，Offset的管理是一个重要的环节。以下是一些关于Offset处置惩罚的要点：
（1）未提交Offset：在消费者运行期间，假如Offset没有提交，则程序不会重复消费。但重启后，会从最后一次提交的Offset开始消费，导致之前未提交的消息被重新消费。
（2）部门提交Offset：假如消费者在某些消息处置惩罚后提交了Offset，而其他消息未提交，服务端将仅记录已提交的最新Offset。这意味着，纵然重启，Kafka也不会重新消费已提交之后的消息。
（3）重启消费者后的Offset处置惩罚：假如在消费过程中未提交Offset，重新初始化客户端消费者时，将从服务端获取最新的Offset。此时，可以重新消费未提交Offset的消息。
5. 启动Kafka时碰到的常见问题及解决方法

（1）文件占用导致启动失败：在Windows系统中，偶然启动Kafka时会提示文件被占用。这时可以尝试以管理员身份运行CMD，并利用下令行启动Kafka，避免权限不足导致的问题。
（2）Zookeeper服务未启动：在启动Kafka之前，必须确保Zookeeper服务已经启动。假如未启动Kafka可能会由于无法毗连Zookeeper而失败。

---

本指南总结了在Windows和Linux
情况下安装和配置Kafka与Zookeeper的过程，并提供了常用下令和Offset管理的要点。假如你在实际操作中碰到问题，可以参考本指南中的下令和步调来排查和解决问题。盼望这些内容能帮助你更好地理解和利用Kafka与Zookeeper。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。