【Kafka】Windows下安装Kafka(图文记载详细步调)

金歌  金牌会员 | 2024-6-19 05:45:57 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 950|帖子 950|积分 2850

Kafka简介

(一)、Kafka是由Apache软件基金会开辟的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的全部动作流数据。
(二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是,Kafka是一个独立的框架而不是一个库。
(三)、Kafka 是一种高吞吐量 的分布式发布订阅消息系统,有如下特性:


  • 通过O(1)的磁盘数据布局提供消息的持久化,这种布局对于纵然数以TB的消息存储也能够保持长时间的稳定性能。
  • 高吞吐量 :纵然黑白常平凡的硬件Kafka也可以支持每秒数百万的消息。
  • 支持通过Kafka服务器和消费机集群来分区消息。
  • 支持Hadoop并行数据加载。
一、Kafka安装条件

安装Kafka之前,需要安装JDK、Zookeeper、Scala。



  • Kafka依赖Zookeeper,在安装Kafka之前,需要安装、运行Zookeeper。
  • 而且Kafka是由Scala和Java编写,以是也需要安装jdk、scala。
本次安装版本选择:
JDK:1.8
Zookeeper:3.6.4
Scala:2.12
Kafka:3.5.1
1.1、JDK安装(version:1.8)

1.1.1、JDK官网下载

官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
1.1.2、JDK网盘下载

或者网盘下载:jdk-8u381-windows-x64.exe
1.1.3、JDK安装

安装方法就不赘述了。
1.2、Zookeeper安装

1.2.1、Zookeeper官网下载

官网下载地址:https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
1.2.2、Zookeeper网盘下载

或者网盘下载:apache-zookeeper-3.6.4-bin.tar.gz
1.2.3、Zookeeper安装

安装方法就不赘述了。
参考博文:Windows下安装Zookeeper(图文记载详细步调,手把手包安装乐成)
1.3、Scala安装(version:2.12)

1.3.1、Scala官网下载

官网下载地址:
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.msi
1.3.2、Scala网盘下载

或者网盘下载:scala-2.11.12.msi
1.3.3、Scala安装

安装方法就不赘述了。
可参考博文:Windows下安装Scala(以Scala 2.11.12为例)
二、Kafka安装(version:2.12-3.5.1)

version:2.12-3.5.1,表示Scala版本是2.12,Kafka版本是基于此的3.5.1版本。
2.1、Kafka官网下载

官网下载地址:https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz
2.2、Kafka网盘下载

网盘下载地址:kafka_2.12-3.5.1.tgz
2.3、Kafka安装

2.3.1、解压Kafka安装包到安装目次

这里解压到:D:\bigdata\kafka\2.12-3.5.1
2.3.2、Kafka安装目次下新建目次logs


2.3.3、修改Kafka配置文件 server.properties

文件路径:D:\bigdata\kafka\2.12-3.5.1\config\server.properties
2.3.3.1、修改 log.dirs 参数

修改 log.dirs 参数值,修改成上一步新建的logs文件夹。留意文件夹路径中是双左斜杠
  1. log.dirs=D:\\bigdata\\kafka\\2.12-3.5.1\\logs
复制代码

2.3.3.2、修改 listeners 参数

修改 listeners 参数值。
  1. listeners=PLAINTEXT://localhost:9092
复制代码

2.4、Kafka启动

由于Kafka依赖于Zookeeper,以是要先启动Zookeeper,再启动Kafka。
2.4.1、先启动Zookeeper服务

管理员权限打开命令窗口,输入命令zkServer
,启动Zookeeper服务:
  1. zkServer
复制代码

显示如下信息,则表示Zookeeper服务正常运行:

2.4.2、再启动Kafka服务

管理员权限打开命令窗口,进入到Kafka安装目次(D:\bigdata\kafka\2.12-3.5.1)。
输入如下命令启动Kafka服务:
  1. .\bin\windows\kafka-server-start.bat .\config\server.properties
复制代码

显示如下信息,则表示Kafka服务正常运行:

2.4、Kafka相关操纵(Kafka新版本命令)

Kafka2.2之后版本中使用–zookeeper hadoop01:2181会出现报错情况,2.2之后的版本使用了–bootstrap-server hadoop01:9092来替换–zookeeper hadoop01:2181
2.4.1、创建topics

以管理员权限新开一个命令提示窗口,进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目次,实行以下命令,创建topics:
  1. kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
复制代码

2.4.2、查看topics

查看topics列表:
  1. kafka-topics.bat --bootstrap-server localhost:9092 --list
复制代码

2.4.3、打开一个producer(生产者)

以管理员权限新开一个命令提示窗口,进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目次,

实行以下命令,打开一个producer(生产者):
  1. kafka-console-producer.bat --broker-list localhost:9092 --topic test
复制代码

2.4.4、打开一个consumer(消费者)

以管理员权限新开一个命令提示窗口,进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目次,实行以下命令,打开一个consumer(消费者):
  1. kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
复制代码

2.4.5、测试发送和接受消息

以上打开的窗口不要关闭,然后就可以在producer(生产者)控制台窗口输入消息并回车。在消息输入过后,很快consumer(消费者)窗口就会显示出producer(生产者)发送的消息。
2.4.5.1、producer(生产者)发送消息

在producer(生产者)控制台窗口输入消息:

2.4.5.2、consumer(消费者)接收消息

在consumer(消费者)控制台窗口查看消息:

我们发现,producer(生产者)发送的消息被consumer(消费者)接受到了。
这里乱码是字符集的问题。
2.4.5、收不到消息,常见情况


  • 在consumer没有打开之前,就在producer内里发送了消息
  • producer和consumer使用的topic不一致

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

金歌

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表