【kafka】Error connecting to the cluster,Failed to create new KafkaAdm ...

1.通过系列文章将实战组件技术经验串起来，深入、重构技术栈知识体系。
2.熟悉、梳理、总结下kafka干系知识体系。
3.接待批评指正，跪谢一键三连！
  

• 【kettle009】kettle访问Kafka中间件并处理数据至execl文件（已更新）
  
• 【kettle009】kettle访问Kafka中间件并处理数据至execl文件（已更新）
  

  
1.问题详情

• 容器运行下令参考
  1. # 实验虚拟机ip地址： 192.168.10.184
  2. ifconfig
  4. # 如下命令替换个人实验时的IP地址
  5. docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.10.184:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.10.184:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
  7. # --name kafka: 设置容器的名字为kafka
  8. # -p 9092:9092: 将容器的9092端口映射到宿主机的9092端口。
  9. # --e KAFKA_ZOOKEEPER_CONNECT=192.168.10.184:2181/kafka: 指定ZooKeeper的连接字符串。
  10. # --e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.10.184:9092: 指定Kafka的advertised listeners。
  11. # --e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092: 指定Kafka的listeners。
  12. # --e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1: 指定offsets topic的副本参数
  14. docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper

  复制代码
• 容器建立过程参考文章： 【kettle009】kettle访问Kafka中间件并处理数据至execl文件（最近美满中）
  
• Linux假造机中运行建立了kafka容器、zookeeper容器，通过Offset Explorer Version 3.0毗连报异常，异常详情如下图所示：
  
  
  
  

2.问题办理办法

• Bootstrap servers参数设置问题： 192.168.10.184:9092，增长端口号办理问题
  
• Properties Tab页参数设置如下图所示：
  
  
  
  
• Security Tab页参数设置如下图所示，其他Tab参数设置默认
  
  
  
  

3.测试效果详情

4.实验参考下令

1. # 一、拉取kafka、zookeeper镜像
2.         # 镜像准备
3.         docker pull wurstmeister/zookeeper
4.         docker pull wurstmeister/kafka
6. # 二、创建kafka、zookeeper容器
7.         # 虚拟机ip地址： 192.168.10.184
8.         ifconfig
9.         # 如下命令替换个人实验时的IP地址
10.         docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.10.184:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.10.184:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
11.         # --name kafka: 设置容器的名字为kafka
12.         # -p 9092:9092: 将容器的9092端口映射到宿主机的9092端口。
13.         # --e KAFKA_ZOOKEEPER_CONNECT=192.168.10.184:2181/kafka: 指定ZooKeeper的连接字符串。
14.         # --e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.10.184:9092: 指定Kafka的advertised listeners。
15.         # --e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092: 指定Kafka的listeners。
16.         # --e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1: 指定offsets topic的副本参数
17.        
18.         docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper
20. # 三、查看运行详情及进入容器操作
21.         # 查看容器状态
22.         docker ps -a
23.         # 查看容器日志
24.         docker logs kafka
25.         # 启动容器或重启容器
26.         docker start kafka        / docker restart kafka
28. # 四、开放2181、2888、3888、9092端口关闭防火墙
29.         #查看防火墙状态
30.         systemctl status firewalld
31.         firewall-cmd --zone=public --add-port=2181/tcp --permanent
32.         firewall-cmd --zone=public --add-port=2888/tcp --permanent
33.         firewall-cmd --zone=public --add-port=3888/tcp --permanent
34.         firewall-cmd --zone=public --add-port=9092/tcp --permanent
35.         firewall-cmd --reload
36.         firewall-cmd --list-all
37.         # 关闭防火墙
38.         systemctl stop firewalld
39. # 五、创建测试Topic，并发送测试数据
40.         # 进入Kafka容器
41.         docker exec -it kafka /bin/bash
42.         # 创建topic生产者
43.         kafka-console-producer.sh --broker-list 192.168.10.184:9092 --topic youli
44.         # 创建topic消费者
45.         kafka-console-consumer.sh --bootstrap-server 192.168.10.184:9092 --topic youli --from-beginning
46.        
47.         # topic测试数据
48.         {"datas":[{"channel":"youli","metric":"temperature","producer":"youli","sn":"00002245","time":"1543207156000","value":"80"}],"ver":"1.0"}

复制代码

5.参考文章

• JSON input，kettle转换使命设置中，kafka topic json字段解析第2种有用，亲测。
  
  
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。