Linux下kafka单机版搭建

1.zookeeper的安装

   这里使用3.6.4版本
  条件：服务器已经安装了jdk，zookeeper运行必要jdk环境
  1.1创建放zookeeper的目录

1. #创建目录
2. mkdir -p /usr/local/zookeeper
4. #赋予权限
5. chmod 777 /usr/local/zookeeper

复制代码

1.2安装包的下载

1. #这里推荐去官网下载
2. https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz

复制代码

1.3放置安装包并解压

1. #切换到创建的目录
2. cd /usr/local/zookeeper
4. #将下载的包放在该目录
6. #解压该目录
7. tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz
9. #重命名
10. mv apache-zookeeper-3.6.4-bin zookeeper-3.6.4

复制代码

1.4修改配置文件

1. #进入配置文件目录
2. cd /usr/local/zookeeper/zookeeper-3.6.4/conf
4. #复制原有的配置文件并改名
5. cp zoo_sample.cfg zoo.cfg
7. #修改配置文件
8. vim zoo.cfg
10. #内容如下:
11. # 数据文件夹
12. dataDir=/usr/local/zookeeper/zookeeper-3.6.4/data
13.    
14. # 日志文件夹
15. dataLogDir=/usr/local/zookeeper/zookeeper-3.6.4/logs
17. # 客户端访问 zookeeper 的端口号
18. clientPort=2181
22. #退出保存zoo.cfg
23. :wq

复制代码

1.5添加环境变量

1. #编辑环境变量文件
2. vim /etc/profile
3. #尾部添加如下内容
4. export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.6.4/
5. export PATH=$ZOOKEEPER_HOME/bin:$PATH
6. export PATH
8. #退出保存
9. :wq
11. #重新执行一下
12. source /etc/profile

复制代码

1.6测试zookeeper启动

1. #进入bin目录
2. cd /usr/local/zookeeper/zookeeper-3.6.4/bin
4. #启动服务
5. zkServer.sh start
7. ZooKeeper JMX enabled by default
8. Using config: /usr/local/zookeeper/zookeeper-3.6.4/bin/../conf/zoo.cfg
9. Starting zookeeper ... STARTED
10. 出现这个就是成功了
12. #查看状态
13. zkServer.sh status
15. #关闭服务
16. zkServer.sh stop
18. #重启服务
19. zkServer.sh restart

复制代码

2.kafka的安装

2.1下载kafka

   下载地点：Apache Kafka
  

这里两个，第一个带源码我们可以下载下来检察对应的zookeeper版本
解压后的gradle/dependencies.gradle文件里面有zookeeper版本号
2.2创建目录

1. mkdir -p /opt/kafka  #y用于存放kafka的解压包
3. mkdir -p /opt/kafka/kafka_data #用于存放kafka的数据
5. mkdir -p /opt/kafka/kafka_log #用于存放kafka的日志

复制代码

2.3将kafka解压

将下载的kafka放在/opt/kafka下

1. #解压
2. tar -zxvf kafka_2.12-3.4.1.tgz

复制代码

2.4配置kafka服务

1. cd /opt/kafka/kafka_2.12-3.4.1/config
3. vim server.properties
5. #修改一下参数
6. broker.id=0
7. #端口号
8. port=9092   
9. #服务器IP地址，修改为自己的服务器IP
10. host.name=localhost
11. #日志存放路径，上面创建的目录
12. log.dirs=/opt/kafka/kafka_log
13. #zookeeper地址和端口，单机配置部署，localhost:2181
14. zookeeper.connect=localhost:2181         

复制代码

2.5启动kafka

1. /opt/kafka/kafka_2.12-3.4.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.12-3.4.1/config/server.properties

复制代码

2.6测试

   条件开启两个终端，一个生产者，一个消耗者
  2.6.1生产者

1. cd /opt/kafka/kafka_2.12-3.4.1/bin
3. ./kafka-console-producer.sh --broker-list localhost:9092 --topic test

复制代码

2.6.2消耗者

1. cd /opt/kafka/kafka_2.12-3.4.1/bin
3. ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

复制代码

3.脚本设计

   上面都是手动启动，这里可以考虑写一个脚本，自动去启动
  3.1启动脚本

1. cd /opt/kafka/kafka_2.12-3.4.1/binvim kafka_start.sh#内容如下：#!/bin/bash#echo "启动zookeeper服务..."sh /usr/local/zookeeper/zookeeper-3.6.4/bin/zkServer.sh startsleep 5echo "启动kafka服务..."/opt/kafka/kafka_2.12-3.4.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.12-3.4.1/config/server.properties
2. &i

复制代码

3.2关闭脚本

1. cd /opt/kafka/kafka_2.12-3.4.1/bin
3. vim kafka_stop.sh
5. #内容如下：
7. #!/bin/bash
8. echo "启动zookeeper服务..."
9. sh /usr/local/zookeeper/zookeeper-3.6.4/bin/zkServer.sh stop
10. sleep 5
11. echo "启动kafka服务..."
12. /opt/kafka/kafka_2.12-3.4.1/bin/kafka-server-stop.sh /opt/kafka/kafka_2.12-3.4.1/config/server.properties

复制代码

3.3给脚本赋予权限

1. chmod +x kafka_start.sh
3. chmod +x kafka_stop.sh

复制代码

3.4设置开机自启

1. vi /etc/rc.d/rc.local #编辑，在最后添加一行
2. sh /opt/kafka/kafka_2.12-3.4.1/kafka_start.sh & ＃设置开机自动在后台运行脚本

复制代码

4.内网穿透

   在kafka的配置文件server.properties里面设置如下

1. ############################# Socket Server Settings #############################
3. # The address the socket server listens on. It will get the value returned from
4. # java.net.InetAddress.getCanonicalHostName() if not configured.
5. #   FORMAT:
6. #     listeners = listener_name://host_name:port
7. #   EXAMPLE:
8. #     listeners = PLAINTEXT://your.host.name:9092
9. #listeners=PLAINTEXT://:9092
10. listeners=PRIVATE://0.0.0.0:9093,PUBLIC://0.0.0.0:9092
13. auto.create.topics.enable=true
15. # Hostname and port the broker will advertise to producers and consumers. If not set,
16. # it uses the value for "listeners" if configured.  Otherwise, it will use the value
17. # returned from java.net.InetAddress.getCanonicalHostName().
18. #advertised.listeners=PLAINTEXT://your.host.name:9092
19. #修改为外网ip
20. advertised.listeners=PRIVATE://192.168.150.203:9093,PUBLIC://10.140.211.88:9092
22. inter.broker.listener.name=PRIVATE
23. listener.security.protocol.map=PRIVATE:PLAINTEXT,PUBLIC:PLAINTEXT

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。