2023_Spark_实行二十三：Kafka的安装与根本操纵

Kafka的安装与根本操纵

一、前提工作
二、Kafka安装
三、Kafka根本操纵

一、前提工作

必须安装了zookeeper

单机可参考：zookeeper单机安装与配置
集群可参考：zookeeper的集群安装

二、Kafka安装


上传kafka_2.11-2.4.1.tgz到/tools目录下
解压安装到/opt/soft_installed/目录下

1. tar -zvxf kafka_2.11-2.4.1.tgz -C /opt/soft_installed

复制代码

配置环境变量并让环境变量收效
实行：vi ~/.bash_profile 命令，添加如下信息并保存退出：

1. # 配置kafka集群
2. export KAFKA_HOME=/opt/soft_installed/kafka_2.11-2.4.1
3. export PATH=$PATH:$KAFKA_HOME/bin

复制代码

环境变量实行收效

1. source ~/.bashrc

复制代码

创建用于存放kafka的log目录

1. mkdir -p /opt/soft_installed/kafka_2.11-2.4.1/kafka-logs

复制代码

配置server.properties(文件在kafka安装路径下的config目录中)
配置：vi server.properties

1. listeners=PLAINTEXT://node1:9092
2. log.dirs=/opt/soft_installed/kafka_2.11-2.4.1/kafka-logs
3. zookeeper.connect=node1:2181

复制代码

启动kafka(先需要启动zookeeper)

1. # 启动zookeeper
2. /opt/soft_installed/zookeeper-3.4.5/bin/zkServer.sh start
4. # 启动kafka
5. kafka-server-start.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties

复制代码

验证Kafka是否乐成启动
查看9092端口是否已经启动：

1. netstat -anop|grep 9092

复制代码

或者实行：jps，查看是否有kafka历程存在

kafaka一键启动脚本

1. [lh@master scripts]$ cat onekeykafka.sh
2. #! /bin/bash
4. # kafak 一键启停脚本
6. case $1 in
7. "start")
8.         echo "==========  now start kafak  =========="
9.         nohup /opt/soft_installed/kafka_2.11-2.4.1/bin/kafka-server-start.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties >/opt/soft_installed/kafka_2.11-2.4.1/logs/kafka_2023.log 2>&1 &;;
10. hup
11. "stop")
12.         echo "==========  now stop stop kafka  =========="
13.         nohup /opt/soft_installed/kafka_2.11-2.4.1/bin/kafka-server-stop.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties >/opt/soft_installed/kafka_2.11-2.4.1/logs/kafka_2023.log 2>&1 &;;
14. *)
15.         echo Invalid Args!
16.         echo 'Usage: '$(basename $0)' start|stop';;
17. esac

复制代码

三、Kafka根本操纵

创建主题topic，如test

1. kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic test

复制代码

启动控制台生产者（需要别的打开一个终端)

1. kafka-console-producer.sh --broker-list node1:9092 --topic test

复制代码

启动控制台消费者（需要别的打开一个终端)

1. kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

复制代码

测试
在生产者地点的终端中输入一些文字，如：我爱北京天安门，天安上太阳升。 i love beijing i love guizhou i love spark，按回车键

在消费者终端可以看到

查看历程，jps可以看到

查看下此时zookeeper中生成了哪些内容，实行：zkCli.sh

1. zkCli.sh

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。