怀念夏天 发表于 2024-6-19 00:41:16

linux系统安装kafka(新版本3.7.0)

1、安装包下载

wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
注意事项:kafka会用到jdk,kafka_2.13-3.7.0版本的kafka不再支持jdk8,我这里用的jdk11
openjdk11下载1:https://mirrors.tuna.tsinghua.edu.cn/Adoptium/11/jdk/x64/linux/
openjdk11下载2:https://learn.microsoft.com/zh-cn/java/openjdk/download
我的解压目次/usr/local/jdk-11.0.23+9
2、安装

我安装到 /usr/local目录下了
cs /usr/local
#解压
tar -xzf kafka_2.13-3.7.0.tgz
cd kafka_2.13-3.7.0

首先要启动ZooKeeper服务,因为Kafka使用ZooKeeper,新版本中kafka集成了zookeeper
3、配置zookeeper.properties

配置kafka_2.13-3.7.0/config下的“zookeeper.properties”:
修改dataDir和clientPort:前者是快照存放地址(自己随意配置),后者是客户端毗连zookeeper服务的端口。默认端口2181
#创建一个目录
mkdir zookeeper-data
#修改文件路径为:
dataDir=/usr/local/kafka_2.13-3.7.0/zookeeper-data
截图如下:
https://img-blog.csdnimg.cn/direct/9457faab4a2141338213392e40484186.png
4、配置server.properties

配置kafka_2.13-3.7.0/config下的“server.properties”:
修改log.dirs和zookeeper.connect。前者是日记存放文件夹,后者是zookeeper毗连地址(端口和clientPort保持同等)
创建一个目录:
mkdir kafka-logs

修改配置:
#日志目录
log.dirs=/usr/local/kafka_2.13-3.7.0/kafka-logs
#zookeeper连接地址
zookeeper.connect=localhost:2181
注意:若需要外部访问,一定需要配置listeners , 默认为本机IP 、端口默认9092。
截图:
https://img-blog.csdnimg.cn/direct/bd3b67f32c9c494ead5e1c51e6d49ca0.png
https://img-blog.csdnimg.cn/direct/8630ff47805b4d908f731effa73fea3c.png
5、启动

由于我的服务器有其他程序用jdk8,并配置了环境变量,所以在启动之前,我要修改脚本中使用jdk的路径:
修改:kafka-run-class.sh
在文件开始位置指定JAVA_HOME位置,文件中会用到
export JAVA_HOME=/usr/local/jdk-11.0.23+9
截图:
https://img-blog.csdnimg.cn/direct/1f8c37de93f64e7ca338bcb0ee0473f8.png
# 后台启动zookeeper,指定启动日志
nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties > ./zookeeper-run.log 2>&1 &
# 后台启动kafka,指定启动日志
nohup ./bin/kafka-server-start.sh ./config/server.properties > ./kafka-run.log 2>&1 &
现在,Kafka单机版已经安装并运行。你可以使用内置的命令行工具来创建主题、生产消息和消费消息。
6、测试使用

创建主题:
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1
生产消息:
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
消费消息
bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning
以上步调在一台机器上完成了Kafka的根本安装和运行。如果你需要在生产环境中使用Kafka,你可能需要考虑配置Kafka集群大概使用更高级的管理和监控工具。
7、克制服务

先克制kafka
bin/kafka-server-stop.sh
再克制zookeeper:
bin/zookeeper-server-stop.sh
8、报错解决

https://img-blog.csdnimg.cn/direct/38fad3de68014d17924b511fd0edd977.png
配置文件中配置监听
listeners = PLAINTEXT://服务器ip:9092

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: linux系统安装kafka(新版本3.7.0)