Linux下安装Kafka

十念  金牌会员 | 2024-7-25 05:55:33 | 来自手机 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 684|帖子 684|积分 2052

前置条件:Linux服务器内需要安装JDK
一.安装kafka

手动下载 下载地址:http://kafka.apache.org/downloads

Kafka从2.80以后内置zookeeper,因此无需重复安装
二. 解压Kafka


命令:tar -xzvf kafka_2.13-3.6.2.tgz
三. 修改文件



  • 进入config目次:cd config
  • 修改server.properties:vim server.properties
  • 找到下面两行,删除前面的 #

    在advertised.listeners上填写外网id地址
   broker.id: 申明当前kafka服务器在集群中的唯一ID,需设置为integer,并且集群中的每一个kafka服务器的id都应是唯一的,我们这里采用默认设置即可
listeners:申明此kafka服务器需要监听的端口号,如果是在本机上跑虚拟机运行可以不用设置本项,默认会使用localhost的地址,如果是在远程服务器上运行则必须设置,例如:listeners=PLAINTEXT://192.168.180.128:9092。并确保服务器的9092端口可以或许访问
zookeeper.connect:申明kafka所连接的zookeeper的地址,需设置为zookeeper的地址,由于本次使用的是kafka高版本中自带zookeeper,使用默认设置即可
  四. 查抄防火墙是否开启,端口是否开放

启动防火墙:systemctl start firewalld
查看防火墙状态:systemctl status firewalld
禁用防火墙:systemctl disable firewalld
停止防火墙:systemctl stop firewalld
查看开放端口:firewall-cmd --list-port
添加开放端口:firewall-cmd --zone=public --add-port=80/tcp --premanent (–premanent永世生效,没有此参数,重启后失效)
重新载入规则:firewall-cmd --reload
五. 启动zookeeper

由于高版本kafka内置zookeeper以是无需单独安装和修改相干设置文件信息,直接启动即可

进入bin目次下,启动zookeeper服务
命令: ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties


  • 可以通过日志查看zookeeper服务是否启动



  • 也可以通过命令查看服务是否启动
    命令:jps

六. 启动Kafka

命令: ./kafka-server-start.sh -daemon ../config/server.properties ,同样使用jps可以查看服务启动状态

此时zookeeper和kafka服务均已启动,接下来可以创建topic了
七. 创建topic

以下命令都在kafka的bin目次下执行
新增topic
命令: ./kafka-topics.sh --create --bootstrap-server X.X.X.X:9092 --replication-factor 1 --partitions 1 --topic test

test就是要创建的topic了,当返回Creates topic "your topic"则代表创建乐成
选项说明:
–topic 界说topic名
–replication-factor 界说副本数
–partitions 界说分区数
查询topic:
命令:./kafka-topics.sh --list --bootstrap-server X.X.X.X:9092

删除topic
命令: ./kafka-topics.sh --bootstrap-server X.X.X.X:9092 --delete -topic test

模拟测试生产/消费消息
在一个终端上创建生产者
命令:./kafka-console-producer.sh --bootstrap-server X.X.X.X:9092 --topic test

在另外一个终端上创建一个消费者
命令:./kafka-console-consumer.sh --bootstrap-server X.X.X.X:9092 --topic test

左侧消费消息,右侧生产消息

linux下简单测试kafka生产消费消息乐成!
八。简单命令汇总:
创建topic:./kafka-topics.sh --create --bootstrap-server X.X.X.X:9092 --replication-factor 1 --partitions 1 --topic test
删除topic:./kafka-topics.sh --bootstrap-server X.X.X.X:9092 --delete -topic test
查询topic:./kafka-topics.sh --list --bootstrap-server X.X.X.X:9092
指定消费者组:./kafka-console-consumer.sh --bootstrap-server X.X.X.X:9092 --group em --topic test
“em” 就是你要指定的消费者组

查询消费者组信息:



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

十念

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表