2023_Spark_实行二十三：Kafka的安装与根本操纵
Kafka的安装与根本操纵一、前提工作
二、Kafka安装
三、Kafka根本操纵
一、前提工作
必须安装了zookeeper
单机可参考：zookeeper单机安装与配置
集群可参考：zookeeper的集群安装
二、Kafka安装
上传kafka_2.11-2.4.1.tgz到/tools目录下
解压安装到/opt/soft_installed/目录下
tar -zvxf kafka_2.11-2.4.1.tgz -C /opt/soft_installed 配置环境变量并让环境变量收效
实行：vi ~/.bash_profile 命令，添加如下信息并保存退出：
# 配置kafka集群
export KAFKA_HOME=/opt/soft_installed/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin 环境变量实行收效
source ~/.bashrc 创建用于存放kafka的log目录
mkdir -p /opt/soft_installed/kafka_2.11-2.4.1/kafka-logs 配置server.properties(文件在kafka安装路径下的config目录中)
配置：vi server.properties
listeners=PLAINTEXT://node1:9092
log.dirs=/opt/soft_installed/kafka_2.11-2.4.1/kafka-logs
zookeeper.connect=node1:2181 启动kafka(先需要启动zookeeper)
# 启动zookeeper
/opt/soft_installed/zookeeper-3.4.5/bin/zkServer.sh start
# 启动kafka
kafka-server-start.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties 验证Kafka是否乐成启动
查看9092端口是否已经启动：
netstat -anop|grep 9092 https://i-blog.csdnimg.cn/blog_migrate/9119120025bf5dde5c5411118d1b698e.png
或者实行：jps，查看是否有kafka历程存在
https://i-blog.csdnimg.cn/blog_migrate/f1f02fc870d6c0f90aae2e555b529a90.png
kafaka一键启动脚本
$ cat onekeykafka.sh
#! /bin/bash
# kafak 一键启停脚本
case $1 in
"start")
echo "==========now start kafak=========="
nohup /opt/soft_installed/kafka_2.11-2.4.1/bin/kafka-server-start.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties >/opt/soft_installed/kafka_2.11-2.4.1/logs/kafka_2023.log 2>&1 &;;
hup
"stop")
echo "==========now stop stop kafka=========="
nohup /opt/soft_installed/kafka_2.11-2.4.1/bin/kafka-server-stop.sh /opt/soft_installed/kafka_2.11-2.4.1/config/server.properties >/opt/soft_installed/kafka_2.11-2.4.1/logs/kafka_2023.log 2>&1 &;;
*)
echo Invalid Args!
echo 'Usage: '$(basename $0)' start|stop';;
esac
三、Kafka根本操纵
创建主题topic，如test
kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic test 启动控制台生产者（需要别的打开一个终端)
kafka-console-producer.sh --broker-list node1:9092 --topic test
https://i-blog.csdnimg.cn/blog_migrate/6cfc6fc027f1f3588e83fec9cf212c51.png
启动控制台消费者（需要别的打开一个终端)
kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning 测试
在生产者地点的终端中输入一些文字，如：我爱北京天安门，天安上太阳升。 i love beijing i love guizhou i love spark，按回车键
https://i-blog.csdnimg.cn/blog_migrate/c18154f4054d3c2af1827774a1ff2a1b.png
在消费者终端可以看到
https://i-blog.csdnimg.cn/blog_migrate/00bb40c4dc9d4a31324118a1c7c94f1a.png
查看历程，jps可以看到
https://i-blog.csdnimg.cn/blog_migrate/822217a5c951f7e913d4b013e58b6fd0.png
查看下此时zookeeper中生成了哪些内容，实行：zkCli.sh
zkCli.sh https://i-blog.csdnimg.cn/blog_migrate/f692da710b2d3f1dca8dcc2d55dc6719.png
https://i-blog.csdnimg.cn/blog_migrate/0c8ec05d9a422c4659a9287775ac5d96.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]