kafka 本地 windos摆设详细教学,轻松使用本地kafka进行消息推送接收!
一、弁言Apache Kafka 是一个分布式流处置惩罚平台,被广泛应用于大数据处置惩罚、实时数据分析、日志收集等场景。本文将详细介绍在本地 Windows 环境下摆设 Kafka 的步骤,并演示如何进行消息的推送和接收。通过本文的学习,你将能够快速搭建起一个本地的 Kafka 环境,为你的开辟和测试工作提供便利。
https://i-blog.csdnimg.cn/direct/c3b0b0240f434ee183f367131629326c.png
二、Kafka 基本原理
1. 架构概述
Kafka 的架构主要由生产者(Producer)、消耗者(Consumer)、主题(Topic)、分区(Partition)、副本(Replica)和代理(Broker)构成。
[*]生产者:负责向 Kafka 主题发送消息。
[*]消耗者:从 Kafka 主题读取消息并进行处置惩罚。
[*]主题:消息的逻辑分类,生产者将消息发送到特定的主题,消耗者从特定的主题读取消息。
[*]分区:为了实现可扩展性和高吞吐量,每个主题可以分为多个分区。分区是一个有序的、不可变的消息序列。
[*]副本:为了提高数据的可靠性,每个分区可以有多个副本。副本分为领导者副本和跟随者副本,领导者副本负责处置惩罚读写哀求,跟随者副本从领导者副本同步数据。
[*]代理:Kafka 服务器,负责存储和管理消息。
2. 工作流程
Kafka 的工作流程如下:
[*]生产者将消息发送到 Kafka 代理,代理将消息存储在特定主题的分区中。
[*]消耗者从 Kafka 代理订阅特定的主题,并从分区中读取消息。
[*]Kafka 代理通过领导者副本和跟随者副本的机制保证数据的可靠性。
二、安装ZooKeeper
zkkleeper下载地址: http://zookeeper.apache.org/releases.html#download
进入官网并下载压缩,这里我选用3.8.4
https://i-blog.csdnimg.cn/direct/7364b72f4f0b4053bb5279aa97f1cab9.png
https://i-blog.csdnimg.cn/direct/1781b81bf580428cac9a6197e4b1f571.png
2、 解压并进入ZooKeeper目次,我的目次是:D:\kafka\zookeeper\apache-zookeeper-3.8.4-bin\conf
3、 将“zoo_sample.cfg”重定名为“zoo.cfg”
4、 打开“zoo.cfg”找到并编辑dataDir=D:/kafka/zookeeper/apache-zookeeper-3.8.4-bin/data
5、 添加系统变量:ZOOKEEPER_HOME , D:\Kafka\zookeeper-3.4.9
6、 编辑path系统变量,添加路径:%ZOOKEEPER_HOME%\bin
7、 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181),可以不修改
8、 打开新的cmd,输入“zkServer“,运行Zookeeper,出现以下的界面就代表本地Zookeeper启动乐成
请注意不要关闭这个窗口!
https://i-blog.csdnimg.cn/direct/0a7774cd96f34b2c867034a4e11741c2.png
三、安装Kafka
下载地址:http://kafka.apache.org/downloads
注意要下载二进制版本
https://i-blog.csdnimg.cn/direct/905d0e3c17ad482dbdc42c79720b8920.png
2、 解压并进入Kafka目次
3、 进入config目次找到文件server.properties并打开
4、 找到并编辑log.dirs=D:\kafka\kafka\kafka_2.13-3.9.0\kafka-logs
5、 找到并编辑zookeeper.connect=localhost:2181(如果zookeeper使用默认端口可以跳过这步)
6、 Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181
7、 进入安装目次D:\kafka\kafka\kafka_2.13-3.9.0,右键打开命令行,输入下面命令
.\bin\windows\kafka-server-start.bat .\config\server.propertieshttps://i-blog.csdnimg.cn/direct/dbf43c1c4d1f40f09c3bd35f03dc2767.png
注意:如果在这里遇到:输入行太长命令语法不准确的错误,建议大家改一下名字,改成kafka就可以解决了,下面是我改事后的路径:
https://i-blog.csdnimg.cn/direct/ee0aa4fa00914cd0845ad73fba01cc73.png
启动乐成如图,注意:不要关了这个窗口,并且留意自己的zookeeper是否运行
https://i-blog.csdnimg.cn/direct/722fcdf536c54c228fd719e3d5e28f30.png
四、测试
创建主题,进入Kafka安装目次D:\kafka\kafka\kafka,进入命令行输入
.\bin\windows\kafka-topics.bat --create --topic bckz_demo --bootstrap-server localhost:9092 https://i-blog.csdnimg.cn/direct/5675519ef02f433e878a0d9a0417b284.png
创建生产者
输入下面命令,创建生产者
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic_test001 https://i-blog.csdnimg.cn/direct/b85a3841a3344aa9a15bd5910ce843a0.png
然后我们打开一个新的窗口界面,创建消耗者
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic_test001 --from-beginning https://i-blog.csdnimg.cn/direct/32534f4f080e472abf2dbb3f144712a3.png
到这里,kafka和zookeeper就全部安装启动乐成啦
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]