ToB企服应用市场:ToB评测及商务社交产业平台

标题: kafka单节点以及集群安装 [打印本页]

作者: 篮之新喜 时间: 2025-1-4 22:27
标题: kafka单节点以及集群安装
前言

Apache Kafka 是一种高吞吐量的分布式发布订阅消息系统，它能够处置惩罚大量的数据流，并且被广泛应用于日志网络、监控报告、流处置惩罚等多种场景中。本文详细介绍了kafka单节点以及集群的安装
一、kafka单节点安装

kafka必要java情况
所以必要用java -version检查Java版本保举8以上版本，详情可以关注
https://blog.csdn.net/moxiaotian0510/article/details/144057974
1）下载

这边可以选择直接去官网下载
Apache Kafka
也可以选择下载到本地然后上传到服务器
大概选择用weget下令下载
2）安装

笔者用的是下载到本地然后上传服务器的方式
将kafka_2.12-3.8.0.tgz上传到/u01目录
解压安装包
tar -zxvf kafka_2.12-3.8.0.tgz
  mv kafka_2.12-3.8.0 kafka
  kafka发起规划单独用户安装我们这里规划为kafka用户
groupadd -g 555 kafka
useradd -u 555 -g kafka kafka
在kafka用户的~目录修改配置情况变量
vi .bashrc
  #kafka
export KAFKA_HOME=/u01/kafka
export PATH=$PATH

KAFKA_HOME/bin
vi /u01/kafka/config/server.properties
  # 根本设置
broker.id=0 # 单节点情况通常使用 0 作为 broker id
  # 监听地址和端口
listeners=PLAINTEXT://localhost:9092 # Kafka 服务监听的地址和端口
advertised.listeners=PLAINTEXT://localhost:9092 # 广告的监听地址和端口，如果 Kafka 在网络上被其他呆板访问，这里必要改成相应的 IP 地址
  # 存储设置
log.dirs=/u01/kafka/kafka-logs # 日志文件存放路径
num.partitions=1 # 每个主题默认的分区数量，可以根据必要调解
log.retention.hours=168 # 日志保存时间（小时），这里设置为一周
log.segment.bytes=1073741824 # 日志段大小（字节），默认 1GB
  # Zookeeper 设置
zookeeper.connect=localhost:2181 # Zookeeper 连接字符串，如果不必要 Zookeeper 支持，可以注释掉此行
  # 网络设置
socket.send.buffer.bytes=102400 # 发送缓冲区大小
socket.receive.buffer.bytes=102400 # 接收缓冲区大小
socket.request.max.bytes=104857600 # 哀求的最大大小
  # 控制器设置
controller.socket.timeout.ms=30000 # 控制器连接超时时间（毫秒）
  # 日志清理计谋
log.cleaner.enable=false # 是否启用日志清理器，默认关闭
  # 消费者组相关
group.initial.rebalance.delay.ms=0 # 初始消费者组再均衡延迟时间（毫秒）
  # 安全认证（如果必要开启安全认证，取消注释并配置）
# security.inter.broker.protocol=SASL_PLAINTEXT
# sasl.mechanism.inter.broker.protocol=PLAIN
# sasl.enabled.mechanisms=PLAIN
# super.users=User:kafka

  以上主要是单机模式安装，因此配置文件保持默认，不举行编辑配置。默认的Zookeeper端口是2181，默认的Kafka端口是9092
zookeeper 我们连接本机安装的zookeeper 不消kafka包含的zookeeper 详细安装zookeeper可以看主页zookeeper安装
3）启动

由于配置了情况变量所以可以用以下下令举行启动
./bin/kafka-server-start.sh -daemon config/server.properties &
  当然也可以编写一个启动脚本，限定只能用kafka用户启动，防止root误启动

#!/bin/bash
if [ `whoami` != kafka ];then
echo 'Only gcc is permitted to excute!'
exit 1
fi
./bin/kafka-server-start.sh -daemon config/server.properties &

复制代码

二、kafka集群安装

集群安装与的单节点安装差异的地方主要体现在配置文件，差异的节点要修改差异的节点id和节点主机名称
broker.id=1  （节点id）
  delete.topic.enable=true
  auto.create.topics.enable=false 不答应⾃动创建 Topic
  unclean.leader.election.enable=false 不答应 Unclean Leader 选举
  listeners=PLAINTEXT://192.168.0.1:9092 （监听端口号）
  advertised.listeners=PLAINTEXT://10.0.8.101:9092 （对外服务端口号）
  log.dirs=/dsj2017/kafka_2.11-0.10.1.1/logs  （日志路径）
  num.partitions=6   （分多少块存储）
  zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181,192.168.0.4:2181,192.168.0.5:2181   （zookeeper集群地址）
  replica.fetch.max.bytes=20971520（broker可复制的消息的最大字节数。这个值应该比message.max.bytes大，否则broker会接收此消息，但无法将此消息复制出去，从而造成数据丢失）
  offsets.retention.minutes=10080（针对一个offset的消费记载的最长保存时间，默以为24小时，这里配置7天）
同时修改kafka运行内存大小
vi ./bin/kafka-server-start.sh
修改内存参数
export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"
export JMX_PORT="9999"

  别的操作均可参考单节点安装
至此集群安装完毕

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)