20.kafka分布式部署

1.情况信息

OS Version	Zookeeper Version	Kafka Version	JDK	User	hosts
CentOS7.9	3.8.0	2.13-3.3.2	1.8.0_191	root	192.168.10.243    zk1 192.168.10.244    zk2 192.168.10.245    zk3
CentOS7.9	3.8.0	2.13-3.3.2	1.8.0_191	root	192.168.10.243    zk1 192.168.10.244    zk2 192.168.10.245    zk3
CentOS7.9	3.8.0	2.13-3.3.2	1.8.0_191	root	192.168.10.243    zk1 192.168.10.244    zk2 192.168.10.245    zk3

2.kafka分布式部署

动作：3台服务器分别实验
1.上传kafka_2.13-3.3.2.tgz至3台服务器
E.g：上传至/opt目录
2.解压
命令：
tar -zxvf kafka_2.13-3.3.2.tgz
3.进入kafka config目录
命令：
cd /opt/kafka_2.13-3.3.2/config
4.备份server.properties
命令：
\cp server.properties server.properties.bak.$(date +%F)
5.修改server.properties配置文件
server.properties

1. #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
2. broker.id=1
3. #当前kafka提供服务的端口默认是9092
4. listeners=PLAINTEXT://:9092
5. #这个是borker进行网络处理的线程数
6. num.network.threads=3
7. #这个是borker进行I/O处理的线程数
8. num.io.threads=8
9. #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
10. socket.send.buffer.bytes=102400
11. #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
12. socket.receive.buffer.bytes=102400
13. #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
14. socket.request.max.bytes=104857600
15. #如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个,/opt/kafka如果没有，请手动创建
16. log.dirs=/opt/kafka
17. #默认的分区数，一个topic默认1个分区数
18. num.partitions=1
19. #用于设置每个数据目录(log.dirs)上用于日志恢复的线程数
20. num.recovery.threads.per.data.dir=1
21. #控制存储消费者偏移量(offsets)的内部主题的副本数
22. offsets.topic.replication.factor=1
23. #控制 Kafka 在管理事务状态时使用的内部日志(__transaction_state)的副本数量
24. transaction.state.log.replication.factor=1
25. #用于配置事务状态日志(__transaction_state 主题)的一个参数，控制kafka保证事务状态日志副本同步的最小可用副本数(ISR, In-Sync Replicas)要求。
26. transaction.state.log.min.isr=1
27. #默认消息的最大持久化时间，168小时，7天
28. log.retention.hours=168
29. #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
30. log.segment.bytes=1073741824
31. #每隔300000毫秒去检查上面配置的log失效时间(l

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。