前端监控项目环境搭建-Kafka

目次
如何把 Docker 容器封装成镜像
Docker 摆设 Kafka 集群（mac） 
Centos 容器启动 rsyslog 服务
Rsyslog 转发日志至 Kafka 
node-rdkafka@2.18.0 使用文档 
Librdkafka@2.3.0 国内仓库

---

如何把 Docker 容器封装成镜像

配景：centos 容器中运行 nginx + rsyslog，另一容器运行 Kafka。centos 容器 rsyslog 无法向 Kafka 生产消息。
要将一个容器封装成一个镜像，你需要使用 Docker 提供的 docker commit 命令。这个命令会基于容器的当前状态创建一个新的镜像。
下面是使用 docker commit 命令的基本步调：
1. 首先，确保你有一个正在运行的容器。你可以通过运行 docker ps 来查察当前运行的容器。
2. 使用 docker commit 命令创建镜像。命令的格式如下：

1. docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]

复制代码

其中：

• [OPTIONS] 是可选的，可以用来指定新镜像的分析等信息。
  
• CONTAINER 是要提交的容器的ID或名称。
  
• [REPOSITORY[:TAG]] 是新镜像的名称和可选的标签。如果不指定标签，默认标签是latest。
  

例如，如果你有一个名为 my_container 的容器，你想将它封装成名为 my_image 的镜像，并且标签为 v1.0，你可以运行：

1. docker commit my_container my_image:v1.0

复制代码

3. 运行命令后，使用 docker images 命令可以查察新创建的镜像。
下面是一个简单的例子：

1. # 创建并运行一个容器docker run -d --name my_container ubuntu /bin/sh -c "while true; do echo hello world; sleep 1; done" # 提交容器到镜像docker commit my_container my_image:v1.0
2. # 查察创建的镜像docker images

复制代码

实验上述步调后，你就会有一个包罗了特定输出的镜像 my_image:v1.0。 
Docker 摆设 Kafka 集群（mac） 

1. 集群规划

hostname	ip addr	port	listener
zook1	172.20.10.11	2183:2181
zook2	172.20.10.12	2184:2181
zook3	172.20.10.13	2185:2181
kafka1	172.20.10.14	内部 9093:9093，外部 9193:9193
kafka2	172.20.10.15	内部 9094:9094，外部 9194:9194
kafka3	172.20.10.16	内部 9095:9095，外部 9195:9195

2. 创建网络

1. # 配合命令：
2. docker network create --driver bridge --subnet 172.20.10.0/25 --gateway 172.20.10.1  zk_network

复制代码

如安在 Docker 中管理和配置容器的网络_怎么修改容器的网络-CSDN博客 
3. 编写 docker 文件

1. # zk-docker-compose.yml
3. version: '3.4'
5. services:
6.   zook1:
7.     image: zookeeper:latest
8.     #restart: always #自动重新启动
9.     hostname: zook1
10.     container_name: zook1 #容器名称，方便在rancher中显示有意义的名称
11.     ports:
12.       - 2183:2181 #将本容器的zookeeper默认端口号映射出去
13.     volumes:
14.       # 挂载数据卷 前面是宿主机即本机的目录位置，后面是docker的目录
15.       - "./zook1/data:/data"
16.       - "./zook1/datalog:/datalog"
17.       - "./zook1/logs:/logs"
18.     environment:
19.       ZOO_MY_ID: 1 #即是zookeeper的节点值，也是kafka的brokerid值
20.       ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
21.     networks:
22.       zk_network:
23.         ipv4_address: 172.20.10.11
25.   zook2:
26.     image: zookeeper
27.     #restart: always #自动重新启动
28.     hostname: zook2
29.     container_name: zook2 #容器名称，方便在rancher中显示有意义的名称
30.     ports:
31.       - 2184:2181 #将本容器的zookeeper默认端口号映射出去
32.     volumes:
33.       - "./zook2/data:/data"
34.       - "./zook2/datalog:/datalog"
35.       - "./zook2/logs:/logs"
36.     environment:
37.       ZOO_MY_ID: 2 #即是zookeeper的节点值，也是kafka的brokerid值
38.       ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
39.     networks:
40.       zk_network:
41.         ipv4_address: 172.20.10.12
43.   zook3:
44.     image: zookeeper
45.     #restart: always #自动重新启动
46.     hostname: zook3
47.     container_name: zook3 #容器名称，方便在rancher中显示有意义的名称
48.     ports:
49.       - 2185:2181 #将本容器的zookeeper默认端口号映射出去
50.     volumes:
51.       - "./zook3/data:/data"
52.       - "./zook3/datalog:/datalog"
53.       - "./zook3/logs:/logs"
54.     environment:
55.       ZOO_MY_ID: 3 #即是zookeeper的节点值，也是kafka的brokerid值
56.       ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
57.     networks:
58.       zk_network:
59.         ipv4_address: 172.20.10.13
60. networks:
61.   zk_network:
62.     name: zk_network
63.     external: true

复制代码

1. # kafka-docker-compose.yml
3. version: '2'
5. services:
6.   kafka1:
7.     image: wurstmeister/kafka
8.     restart: always #自动重新启动
9.     hostname: kafka1
10.     container_name: kafka1
11.     ports:
12.       - 9093:9093
13.       - 9193:9193
14.     environment:
15.       KAFKA_BROKER_ID: 1
16.       KAFKA_LISTENERS: INSIDE://:9093,OUTSIDE://:9193
17.       #KAFKA_ADVERTISED_LISTENERS=INSIDE://<container>:9092,OUTSIDE://<host>:9094
18.       KAFKA_ADVERTISED_LISTENERS: INSIDE://172.20.10.14:9093,OUTSIDE://localhost:9193
19.       KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
20.       KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
21.       KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
22.       ALLOW_PLAINTEXT_LISTENER: 'yes'
23.       JMX_PORT: 9999 #开放JMX监控端口，来监测集群数据
24.     volumes:
25.       - ./kafka1/wurstmeister/kafka:/wurstmeister/kafka
26.       - ./kafka1/kafka:/kafka
27.     external_links:
28.       - zook1
29.       - zook2
30.       - zook3
31.     networks:
32.       zk_network:
33.         ipv4_address: 172.20.10.14
35.   kafka2:
36.     image: wurstmeister/kafka
37.     restart: always #自动重新启动
38.     hostname: kafka2
39.     container_name: kafka2
40.     ports:
41.       - 9094:9094
42.       - 9194:9194
43.     environment:
44.       KAFKA_BROKER_ID: 2
45.       KAFKA_LISTENERS: INSIDE://:9094,OUTSIDE://:9194
46.       #KAFKA_ADVERTISED_LISTENERS=INSIDE://<container>:9092,OUTSIDE://<host>:9094
47.       KAFKA_ADVERTISED_LISTENERS: INSIDE://172.20.10.15:9094,OUTSIDE://localhost:9194
48.       KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
49.       KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
50.       KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
51.       ALLOW_PLAINTEXT_LISTENER: 'yes'
52.       JMX_PORT: 9999 #开放JMX监控端口，来监测集群数据
53.     volumes:
54.       - ./kafka2/wurstmeister/kafka:/wurstmeister/kafka
55.       - ./kafka2/kafka:/kafka
56.     external_links:
57.       - zook1
58.       - zook2
59.       - zook3
60.     networks:
61.       zk_network:
62.         ipv4_address: 172.20.10.15
64.   kafka3:
65.     image: wurstmeister/kafka
66.     restart: always #自动重新启动
67.     hostname: kafka3
68.     container_name: kafka3
69.     ports:
70.       - 9095:9095
71.       - 9195:9195
72.     environment:
73.       KAFKA_BROKER_ID: 3
74.       KAFKA_LISTENERS: INSIDE://:9095,OUTSIDE://:9195
75.       #KAFKA_ADVERTISED_LISTENERS=INSIDE://<container>:9092,OUTSIDE://<host>:9094
76.       KAFKA_ADVERTISED_LISTENERS: INSIDE://172.20.10.16:9095,OUTSIDE://localhost:9195
77.       KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
78.       KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
79.       KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
80.       ALLOW_PLAINTEXT_LISTENER: 'yes'
81.       JMX_PORT: 9999 #开放JMX监控端口，来监测集群数据
82.     volumes:
83.       - ./kafka3/wurstmeister/kafka:/wurstmeister/kafka
84.       - ./kafka3/kafka:/kafka
85.     external_links:
86.       - zook1
87.       - zook2
88.       - zook3
89.     networks:
90.       zk_network:
91.         ipv4_address: 172.20.10.16
92. networks:
93.   zk_network:
94.     name: zk_network
95.     external: true

复制代码

1. # kafka-manager-docker-compose.yml
3. version: '2'
5. services:
6.   kafka-manager:
7.     image: scjtqs/kafka-manager:latest
8.     restart: always
9.     hostname: kafka-manager
10.     container_name: kafka-manager
11.     ports:
12.       - 9000:9000
13.     external_links:
14.       # 连接本compose文件以外的container
15.       - zook1
16.       - zook2
17.       - zook3
18.       - kafka1
19.       - kafka2
20.       - kafka3
21.     environment:
22.       ZK_HOSTS: zook1:2181,zook2:2181,zook3:2181
23.       KAFKA_BROKERS: kafka1:9093,kafka2:9094,kafka3:9095
24.       APPLICATION_SECRET: letmein
25.       KM_ARGS: -Djava.net.preferIPv4Stack=true
26.     networks:
27.       zk_network:
28.         ipv4_address: 172.20.10.10
29. networks:
30.   zk_network:
31.     name: zk_network
32.     external: true

复制代码

4. 在文件目次下，依次 启动docker 文件

1. docker compose -p zookeeper -f ./zk-docker-compose.yml up -d

复制代码

1. docker compose -f ./kafka-docker-compose.yml up -d

复制代码

1. docker compose -f ./kafka-manager-docker-compose.yml up -d

复制代码

5. 参考链接
docker 摆设 kafka集群 【mac】_mac docker kafka-CSDN博客 
https://www.cnblogs.com/jay763190097/p/10292227.html
Centos 容器启动 rsyslog 服务

1. 参考链接
https://zhuanlan.zhihu.com/p/606856175?utm_id=0 
Rsyslog 转发日志至 Kafka 

1. 参考链接
最佳实践：Rsyslog转发日志至kafka 
日志网络之rsyslog to kafka_rsyslog template kafka-CSDN博客 
rsyslog配置详解： https://www.cnblogs.com/jiyanfeng/p/17606513.html 
2. 安装 rsyslog && rsyslog-kafka

1. yum install rsyslog
2. yum install rsyslog-kafka

复制代码

安装完成后，查察 /lib64/rysylog/ 中是否存在 omkafka.so，验证 rsyslog-kafka 是否安装成功。
3. rsyslog 配置
编辑配置文件（路径 `/etc/rsyslog.conf`  ），在配置项 `#### MODULES ####` 的下面添加如下配置（大概在 `/etc/rsyslogd/` 目次下添加 `XXX.conf` 配置文件） 

1. # 加载 omkafka 和 imfile 模块
2. module(load="omkafka")
3. module(load="imfile")
4.  
5. # nginx template
6. template(name="nginxAccessTemplate" type="string" string="%hostname%<-+>%syslogtag%<-+>%msg%\n")
7.  
8. # ruleset
9. ruleset(name="nginx-kafka") {
10.     # 日志转发 kafka
11.     action (
12.         type="omkafka"
13.             template="nginxAccessTemplate"
14.         topic="fee-test"
15.         broker="localhost:9092"
16.     )
17. }
18.  
19. # 定义消息来源及设置相关的 action
20. input(type="imfile" Tag="nginx-accesslog" File="/var/log/nginx/access.log" Ruleset="nginx-kafka")

复制代码

配置简单分析：
* `localhost:9092` 需要修改为你自己的kafka地址（如果为集群多个地址逗号分隔）
* `/var/log/nginx/access.log` 是监控的nginx日志文件
* `topic: fee-test`后续通过 `kafka-manager` 创建
修改完配置后运行： `rsyslogd -N 1` 查察配置是否报错；`rsyslogd -dn` debug 模式运行。
然后重启 `rsyslog`：`service rsyslog restart` `systemctl restart rsyslog` 。重启后查察 `/var/log/message` 中日志是否报错。
4. kafka 报错：InvalidReceiveException: Invalid receive (size = 1195725856 larger than 104857600)
将 $KAFKA_HOME/config/server.properties 文件中的 socket.request.max.bytes 值重置为超过数据包大小，然后重新启动 kafka 服务器。将 socket.request.max.bytes 翻倍。
5. Kafka 配置文件位置
Kafka 配置文件 server.properties 的位置取决于Kafka安装的路径。通常环境下，当你从Apache 官方网站下载 Kafka 或通过工具如 wget 或 curl 命令行工具下载时，配置文件会被放置在 Kafka 安装目次的 config 子目次下。
例如，如果你的 Kafka 安装在 /opt/kafka 目次，那么配置文件 server.properties 的完整路径就是 /opt/kafka/config/server.properties。
如果你是通过某种包管理器（如 apt 或 yum）安装的 Kafka，配置文件的位置可能会有所差别，但通常也会在 /etc/kafka 或 /etc/kafka/conf 目次下。
要修改 Kafka 配置，你需要编辑 server.properties 文件，并根据你的需求举行相应的设置。例如，你可以修改 log.dirs 来指定日志文件存放的目次，大概修改 listeners 来指定Kafka 监听的地址和端口。
node-rdkafka@2.18.0 使用文档 

1. 参考链接
node-rdkafka - npm 
2. npm install node-rdkafka 时 node-gyp rebuild 卡住解决办法 
node-gyp 需要 Python2.7 环境。
可以使用 npm install --loglevel verbose 查察安装时间的详细日志。
node-rdkafka install 时需要构建，通常会卡住。因为构建需要 node 源码来提供头文件，毗连外网下载很慢。so 建议自己下载后放置在 /Users/xxx/Library/Caches/node-gyp/10.23.3 中。
node 区分 arm64 x86 x64 等版本。留意和宿主机的兼容。 

1. ├── include  
2. │       └── node  
3. └── installVersion

复制代码

1. cat installVersion   
2. 9

复制代码

 npm install时node-gyp rebuild 卡住解决办法 - 杜神的技能博客 - ITeye博客 
https://www.cnblogs.com/mliudong/p/4528539.html 
Librdkafka@2.3.0 国内仓库

librdkafka: librdkafka 是 Apache Kafka 的 C/C++ 开辟包，提供生产者、消费者和管理客户端 - Gitee.com 
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。