ToB企服应用市场:ToB评测及商务社交产业平台

标题: Kafka介绍、安装以及操作 [打印本页]

作者: 麻花痒 时间: 2024-8-16 21:39
标题: Kafka介绍、安装以及操作
Kafka消息中央件

1.Kafka介绍

1.1 What is Kafka？

官网： https://kafka.apache.org/
凌驾 80% 的财产 100 强公司信托并使用 Kafka ；
Apache Kafka 是一个开源分布式变乱流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序；

1.2 谁在使用Kafka？

1.3 Kafka的劈头

kafka 最初由 LinkedIn （领英：环球最大的面向职场人士的社交网站）操持开辟的，是为了解决 LinkedIn 的数据管道问题，用于 LinkedIn 网站的运动流数据和运营数据处理工具；
- 运动流数据：页面访问量、被检察页面内容方面的信息以及搜刮环境等内容；
- 运营数据：服务器的性能数据（ CPU 、 IO 使用率、哀求时间、服务日志等数据 ) ；
刚开始 LinkedIn 接纳的是 ActiveMQ 来举行数据交换，大约在 2010 年前后，那时的ActiveMQ 还远远无法满足 LinkedIn 对数据交换传输的要求，经常由于各种缺陷而导致消息阻塞或者服务无法正常访问，为了解决这个问题， LinkedIn 决定研发自己的消息传递系统，其时 LinkedIn 的首席架构师 jay kreps 便开始组织团队举行消息传递系统的研发；

1.4 Kafka名字的由来

由于 Kafka 的架构师 jay kreps 非常喜好 franz kafka ( 弗兰茨 · 卡夫卡 ) （是奥匈帝国一位使用德语的小说家和短篇犹太人故事家，被评论家们以为是 20 世纪作家中最具影响力的一位） , 并且觉得 Kafka 这个名字很酷，因此把这一款消息传递系统取名为 Kafka ；
大家门取名字也是根据自己的喜好来取名，在我们看来有大概感觉很随意！

1.5 Kafka的发展历史

2010 年底， Kafka 在 Github 上开源，初始版本为 0.7.0 ；
2011 年 7 月，因为备受关注，被纳入 Apache 孵化器项目；
2012 年 10 月， Kafka 从 Apache 孵化器项目结业，成为 Apache 顶级项目；
2014 年， jay kreps 离开 LinkedIn ，创建 confluent 公司，此后 LinkedIn 和 confluent成为 kafka 的核心代码贡献组织，致力于 Kafka 的版本迭代升级和推广应用；
  1.6 Kafka版本迭代

Kafka 前期项目版本似乎有点凌乱， Kafka 在 1.x 之前的版本，是接纳 4 位版本号；
比如： 0.8.2.2 、 0.9.0.1 、 0.10.0.0… 等等；
在 1.x 之后， kafka 接纳 Major.Minor.Patch 三位版本号；
Major 表示大版本，通常是一些重大改变，因此彼此之间功能大概会不兼容；
Minor 表示小版本，通常是一些新功能的增加；
Patch 表示修订版，主要为修复一些重点 Bug 而发布的版本 ;
比如： Kafka 2.1.3 ，大版本就是 2 ，小版本是 1 ， Patch 版本为 3 ，是为修复 Bug 发布的第 3 个版本；
Kafka 统共发布了 8 个大版本，分别是 0.7.x 、 0.8.x 、 0.9.x 、 0.10.x 、 0.11.x 、 1.x 、 2.x 及 3.x版本，停止目前，最新版本是 Kafka 3.7.0 ，也是最新稳定版本；
  2.Kafka安装

2.1 Kafka运行环境前置要求

Kafka 是由 Scala 语言编写而成， Scala 运行在 Java 假造机上，并兼容现有的 Java 程序，因此摆设 Kakfa 的时候，必要先安装 JDK 环境；
Kafka 源码 : https://github.com/apache/kafka
Scala 官网： https://www.scala-lang.org/
本地环境必须安装了 Java 8+ ；（ Java8 、 Java11 、 Java17 、 Java21 都可以）；
JDK 长期支持版： https://www.oracle.com/java/technologies/java-se-support-roadmap.html
  2.2 Kafka运行环境jdk安装

下载 JDK ： https://www.oracle.com/java/technologies/downloads/#java17
解压缩： tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /usr/local
切换到/usr/local目录下
配置 JDK 环境变量：
- vim /etc/profile
  1. export JAVA_HOME=/usr/local/jdk-17.0.10
  2. export PATH=$JAVA_HOME/bin:$PATH
  3. export CLASSPATH=.:$JAVA_HOME/lib/
  复制代码
- 使用source命令对修改的配置举行生效
  1. source /etc/profile
  复制代码
- 检察java版本

2.3 Kafka的下载和安装

获取Kafka
- 下载最新版本的 Kafka ： https://kafka.apache.org/downloads
安装Kafka
- tar -xzf kafka_2.13-3.7.0.tgz -C /usr/local/
- cd /usr/local/kafka_2.13-3.7.0
启动运行Kafka
- 启动 Kafka 环境
  留意：本地环境必须安装了 Java 8+ ；
  Apache Kafka 可以使用 ZooKeeper 或 KRaft 启动；但只能使用其中一种方式，不能同时使用；
  KRaft ： Apache Kafka 的内置共识机制，用于代替 Apache ZooKeeper ；
- Kafka 启动使用 Zookeeper &表示背景运行
  1 、启动 zookeeper ： ./zookeeper-server-start.sh …/config/zookeeper.properties &
  2 、启动 kafka ： ./kafka-server-start.sh …/config/server.properties &
  3 、关闭 Kafka ： ./kafka-server-stop.sh …/config/server.properties
  4 、关闭 zookeeper: ./zookeeper-server-stop.sh …/config/zookeeper.properties

2.4 Zookeeper的下载和安装

2.4.1 获取zookeeper

下载最新版本的 Zookeeper ： https://zookeeper.apache.org/

安装 Zookeeper
将下载的zookeeper传输到linux中

将zookeeper解压到/usr/local目录下
tar -xzf apache-zookeeper-3.9.2-bin.tar.gz -C /usr/local/
cd apache-zookeeper-3.9.2-bin
2.4.2 Zookeeper的配置和启动

配置Zookeeper 到conf目录中复制配置文件
- cp zoo_sample.cfg zoo.cfg
- zoo.cfg 不必要修改，直接使用即可
启动Zookeeper
- 启动：zkServer.sh start
  
  发现zookeeper启动会占用3个端口
- 关闭：zkServer.sh stop
- zookeeper启动默认会占用8080端口，修改配置文件，添加如下配置
  cd conf
  vim zoof.cfg
  admin.serverPort=9089
  重启zookeeper

2.4.3 使用独立的zookeeper启动Kafka

启动zookeeper
- zkServer.sh start
启动Kafka
- ./kafka-server-start.sh …/config/server.properties &

2.4 使用KRaft启动运行Kafka

2.4.1 Kafka启动使用KRaft

天生Cluster UUID（集群UUID）： ./kafka-storage.sh random-uuid

每次返回的uuid不一样
格式化日志目录： ./kafka-storage.sh format -t sYhr2IwpRGisfAtnHTaSrg -c …/config/kraft/server.properties（-t 背面是uuid）
启动Kafka（先将kafka和zookeeper服务停止）：./kafka-server-start.sh …/config/kraft/server.properties &
关闭Kafka：./kafka-server-stop.sh …/config/kraft/server.properties

2.5 使用docker启动运行Kafka

2.5.1 docker安装

安装前检察系统是否已经安装了 Docker ：
yum list installed | grep docker
卸载 Docker(-y参数自动确认的意思 remove背面是已安装列表中的名字) ：
yum remove docker.x86_64 -y
yum remove docker-client.x86_64 -y
yum remove docker-common.x86_64 -y
安装 Docker ：
yum install docker -y
注：这种方式安装的 Docker 版本比较旧；（检察版本： docker -v ）

安装最新版的 Docker(须先删除老版docker) ：
1 、 yum install yum-utils -y
2 、 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
3 、 yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y
检察是否安装成功：
检察 docker 版本： docker --version （ docker version ， docker -v ）

2.5.2 docker启动

启动： systemctl start docker 或者 service docker start
停止： systemctl stop docker 或者 service docker stop
重启： systemctl restart docker 或者 service docker restart
查抄 Docker 历程的运行状态： systemctl status docker 或者 service docker status
检察 docker 历程： ps -ef | grep docker
检察 docker 系统信息： docker info
检察全部的资助信息： docker --help
检察某个 commond 命令的资助信息： docker commond --help
使用 Docker 镜像启动
1 、拉取 Kafka 镜像： docker pull apache/kafka:3.7.0
2 、启动 Kafka 容器(须先把假造机的Kafka停止)： docker run -p 9092:9092 apache/kafka:3.7.0
检察已安装的镜像： docker images
删除镜像： docker rmi apache/kafka:3.7.0
3.Kafka操作

3.1 创建主题Topic

3.1.1 使用Kafka之前，第一件事情是必须创建一个主题（topic）

主题（Topic）雷同于文件系统中的文件夹；
主题（Topic）用于存储变乱（Events）
- 变乱（Events）
- 也称为记录或消息，比如支付交易、手机地理位置更新、运输订单、物联网设备或医疗设备的传感器丈量数据等等都是变乱（ Events ）；
- 变乱（ Events ）被组织和存储在主题（ Topic ）中
- 简朴来说，主题（ Topic ）雷同于文件系统中的文件夹，变乱（ Events ）是该文件夹中的文件；
创建主题使用：kafka-topics.sh脚本；
- 不带任何参数回告知该脚本如何使用：./kafka-topics.sh
- 创建主题：./kafka-topics.sh --create --topic hello --bootstrap-server localhost:9092
- 列出全部的主题：./kafka-topics.sh --list --bootstrap-server localhost:9092
- 删除主题：./kafka-topics.sh --delete --topic hello --bootstrap-server localhost:9092
- 表现主题具体信息：./kafka-topics.sh --describe --topic hello --bootstrap-server localhost:9092
- 修改主题信息：./kafka-topics.sh --alter --topic hello --partitions 3 --bootstrap-server localhost:9092

3.2 在主题（Topic）中写入一些变乱(Events)

Kafka客户端通过网络与Kafka Brokers举行通信，可以写（或读）主题Topic中的变乱Events;
Kafka brokers一旦受到变乱Event，
就会将变乱 Event 以长期和容错的方式存储起来，可以永久地
存储；
通过 kafka-console-producer.sh 脚本工具写入变乱 Events ；
- 不带任何参数会告知该脚本如何使用： ./kafka-console-producer.sh
- ./kafka-console-producer.sh --topic hello --bootstrap-server localhost:9092
- 每一次换行是一个变乱 Event ；
- 使用 Ctrl+C 退出，停止发送变乱 Event 到主题 Topic ；

3.3 从主题（Topic）中读取变乱（Events）

使用 kafka-console-consumer.sh 消费者客户端读取之前写入的变乱 Event ：
- 不带任何参数会告知该脚本如何使用： ./kafka-console-consumer.sh
- ./kafka-console-consumer.sh --topic hello --from-beginning --bootstrap-server localhost:9092
- –from-beginning 表示从 kafka 最早的消息开始消费不加表示读取最新消息
- 使用 Ctrl+C 停止消费者客户端；
变乱 Events 是长期存储在 Kafka 中的，所以它们可以被任意多次读取；

3.4 外部环境毗连Kafka

启动 Kafka 容器： docker run -p 9092:9092 apache/kafka:3.7.0 &
安装外部毗连工具；
外部毗连工具毗连 Kafka ；

3.4.1 外部环境无法毗连Kafka

3.4.1.1 复制docker中kafka的配置文件到linux中

文件输入：提供一个本地 kafka 属性配置文件，替换 docker 容器中的默认配置文件；
cd /usr/local
mkdir docker
docker ps
docker run -p 9092:9092 apache/kafka:3.7.0
docker exec -it 容器 id /bin/bash
把 docker 容器中的文件复制到 linux 中：
- docker cp 容器id:/etc/kafka/docker/server.properties /user/local/docker

3.4.1.2 修改linux的配置文件和文件映射

配置文件： server.properties
listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093
advertised.listeners=PLAINTEXT://假造机ip:9092
- advertise 的含义表示宣称的、公布的， Kafka 服务对外开放的 IP 和端口 ;
文件映射： docker run --volume /usr/local/kafka_2.13-3.7.0/docker:/mnt/shared/config -p 9092:9092 apache/kafka:3.7.0

3.4.1.3 测试毗连

创建topic

./kafka-topics.sh --create --topic hello --bootstrap-server localhost:9092

复制代码

idea使用kafka插件举行毗连

3.5 Kafka图形界面毗连工具

Kafka 图形界面毗连工具：
- Offset Explorer ( 以前叫 Kafka Tool) ，官网： https://www.kafkatool.com/
- CMAK （以前叫 Kafka Manager ）官网： https://github.com/yahoo/CMAK
- EFAK （以前叫 kafka-eagle ）官网： https://www.kafka-eagle.org/

3.5.1 CMAK（以前叫 Kafka Manager ）

一个 web 背景管理系统，可以管理 kafka ；
项目地点： https://github.com/yahoo/CMAK
留意该管控台运行必要 JDK11 版本的支持；
下载： https://github.com/yahoo/CMAK/releases
下载下来是一个 zip 压缩包，直接 unzip 解压：
unzip cmak-3.0.0.6.zip
解压后即完成了安装；
基于 zookeeper 方式启动 kafka 才可以使用该 web 管理背景，否则不行；
- 1 、 CMAK 配置：
  - 修改 conf 目录下的 application.conf 配置文件：
  - kafka-manager.zkhosts=“192.168.11.128:2181”
  - cmak.zkhosts=“192.168.11.128:2181”
- 2 、 CMAK 启动：
  - 切换到 bin 目录下执行：
  - ./cmak -Dconfig.file=…/conf/application.conf -java-home /usr/local/jdk-11.0.22
  - 其中 -Dconfig.file 是指定配置文件， -java-home 是指定 jdk11 地点位置，假如机器上已经是 jdk11 ，则不必要指定；
- 3 、 CMAK 访问：
  - 启动之后 CMAK 默认端口为 9000 ，访问： http://192.168.11.128:9000/

3.5.2 EFAK （以前叫 kafka-eagle ）

EFAK 一款优秀的开源免费的 Kafka 集群监控工具；（国人开辟并开源）
- 官网： https://www.kafka-eagle.org/
- Github ： https://github.com/smartloli/EFAK
EFAK 下载与安装：
- 下载： https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz
- 安装，必要解压两次：
  - tar -zxvf kafka-eagle-bin-3.0.1.tar.gz
  - cd kafka-eagle-bin-3.0.1
  - tar -zxvf efak-web-3.0.1-bin.tar.gz
  - cd efak-web-3.0.1

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)