论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
IT评测·应用市场-qidao123.com
»
论坛
›
大数据
›
数据仓库与分析
›
【Kafka】Windows下安装Kafka(图文记载详细步调) ...
【Kafka】Windows下安装Kafka(图文记载详细步调)
金歌
金牌会员
|
2024-6-19 05:45:57
|
显示全部楼层
|
阅读模式
楼主
主题
950
|
帖子
950
|
积分
2850
Kafka简介
(一)、Kafka是由Apache软件基金会开辟的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的全部动作流数据。
(二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是,Kafka是一个独立的框架而不是一个库。
(三)、Kafka 是一种高吞吐量 的分布式发布订阅消息系统,有如下特性:
通过O(1)的磁盘数据布局提供消息的持久化,这种布局对于纵然数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量 :纵然黑白常平凡的硬件Kafka也可以支持每秒数百万的消息。
支持通过Kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。
一、Kafka安装条件
安装Kafka之前,需要安装JDK、Zookeeper、Scala。
Kafka依赖Zookeeper,在安装Kafka之前,需要安装、运行Zookeeper。
而且Kafka是由Scala和Java编写,以是也需要安装jdk、scala。
本次安装版本选择:
JDK:1.8
Zookeeper:3.6.4
Scala:2.12
Kafka:3.5.1
1.1、JDK安装(version:1.8)
1.1.1、JDK官网下载
官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
1.1.2、JDK网盘下载
或者网盘下载:jdk-8u381-windows-x64.exe
1.1.3、JDK安装
安装方法就不赘述了。
1.2、Zookeeper安装
1.2.1、Zookeeper官网下载
官网下载地址:https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
1.2.2、Zookeeper网盘下载
或者网盘下载:apache-zookeeper-3.6.4-bin.tar.gz
1.2.3、Zookeeper安装
安装方法就不赘述了。
参考博文:Windows下安装Zookeeper(图文记载详细步调,手把手包安装乐成)
1.3、Scala安装(version:2.12)
1.3.1、Scala官网下载
官网下载地址:
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.msi
1.3.2、Scala网盘下载
或者网盘下载:scala-2.11.12.msi
1.3.3、Scala安装
安装方法就不赘述了。
可参考博文:Windows下安装Scala(以Scala 2.11.12为例)
二、Kafka安装(version:2.12-3.5.1)
version:2.12-3.5.1,表示Scala版本是2.12,Kafka版本是基于此的3.5.1版本。
2.1、Kafka官网下载
官网下载地址:https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz
2.2、Kafka网盘下载
网盘下载地址:kafka_2.12-3.5.1.tgz
2.3、Kafka安装
2.3.1、解压Kafka安装包到安装目次
这里解压到:
D:\bigdata\kafka\2.12-3.5.1
2.3.2、Kafka安装目次下新建目次logs
2.3.3、修改Kafka配置文件 server.properties
文件路径:D:\bigdata\kafka\2.12-3.5.1\config\server.properties
2.3.3.1、修改 log.dirs 参数
修改
log.dirs
参数值,修改成上一步新建的logs文件夹。
留意文件夹路径中是双左斜杠
log.dirs=D:\\bigdata\\kafka\\2.12-3.5.1\\logs
复制代码
2.3.3.2、修改 listeners 参数
修改
listeners
参数值。
listeners=PLAINTEXT://localhost:9092
复制代码
2.4、Kafka启动
由于Kafka依赖于Zookeeper,以是要先启动Zookeeper,再启动Kafka。
2.4.1、先启动Zookeeper服务
管理员权限打开命令窗口,输入命令zkServer
,启动Zookeeper服务:
zkServer
复制代码
显示如下信息,则表示Zookeeper服务正常运行:
2.4.2、再启动Kafka服务
管理员权限打开命令窗口,进入到Kafka安装目次(
D:\bigdata\kafka\2.12-3.5.1
)。
输入如下命令启动Kafka服务:
.\bin\windows\kafka-server-start.bat .\config\server.properties
复制代码
显示如下信息,则表示Kafka服务正常运行:
2.4、Kafka相关操纵(Kafka新版本命令)
Kafka2.2之后版本中使用–zookeeper hadoop01:2181会出现报错情况,2.2之后的版本使用了–bootstrap-server hadoop01:9092来替换–zookeeper hadoop01:2181
2.4.1、创建topics
以管理员权限新开一个命令提示窗口,进入
D:\bigdata\kafka\2.12-3.5.1\bin\windows
目次,实行以下命令,创建topics:
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
复制代码
2.4.2、查看topics
查看topics列表:
kafka-topics.bat --bootstrap-server localhost:9092 --list
复制代码
2.4.3、打开一个producer(生产者)
以管理员权限新开一个命令提示窗口,进入
D:\bigdata\kafka\2.12-3.5.1\bin\windows
目次,
实行以下命令,打开一个producer(生产者):
kafka-console-producer.bat --broker-list localhost:9092 --topic test
复制代码
2.4.4、打开一个consumer(消费者)
以管理员权限新开一个命令提示窗口,进入
D:\bigdata\kafka\2.12-3.5.1\bin\windows
目次,实行以下命令,打开一个consumer(消费者):
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
复制代码
2.4.5、测试发送和接受消息
以上打开的窗口不要关闭,然后就可以在producer(生产者)控制台窗口输入消息并回车。在消息输入过后,很快consumer(消费者)窗口就会显示出producer(生产者)发送的消息。
2.4.5.1、producer(生产者)发送消息
在producer(生产者)控制台窗口输入消息:
2.4.5.2、consumer(消费者)接收消息
在consumer(消费者)控制台窗口查看消息:
我们发现,producer(生产者)发送的消息被consumer(消费者)接受到了。
这里乱码是字符集的问题。
2.4.5、收不到消息,常见情况
在consumer没有打开之前,就在producer内里发送了消息
producer和consumer使用的topic不一致
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
金歌
金牌会员
这个人很懒什么都没写!
楼主热帖
iOS 集成WebRTC相关知识点总结 ...
SQL Server 2014完全卸载与SQL Server ...
iOS直播/游戏怎么利用特殊音效制造娱乐 ...
【docker专栏6】详解docker容器状态转 ...
一个工作薄中快速新建多个数据表 ...
.NET ORM框架HiSql实战-第一章-集成HiS ...
白鲸开源 DataOps 平台加速数据分析和 ...
查漏补缺——路由显示的是http://local ...
Kubernetes(K8S) Controller - Statefu ...
如何成功实施一个数据治理项目?实施步 ...
标签云
存储
服务器
浏览过的版块
Java
快速回复
返回顶部
返回列表