Prometheus监控Kafka（三种方法JMX Kafka_exporter KMINION监控Kafka）_kaf
[*]下载jmx步伐包。
[*]修改kafka启动参数
[*]重启kafka
[*]访问JMX-Agent端口验证监控指标
[*]5.修改配置文件，并重启Prometheus
[*]访问Prometheus，验证target是否监控成功。
[*]配置Grafana：导入模板、配置数据源、查看监控数据。
1.下载jmx步伐包
使用阿里云提供的jmx-agent包，比较稳定靠谱，就不故意选择最新版本了。
下载链接：【阿里云JMX-Agent下载】
下载后需传输到kafka地点服务器上，如：
$ ls
kafka-jmx_prometheus_javaagent-1.18.1.jar
$ pwd
/ilw/jmx_agent
$
2.修改kafka启动参数。
修改kafka启动脚本的配置参数，可参考阿里云【阿里云官方文档：怎样摆设和配置Kafka JMX Agent】
也可参考我的示例文件，对比阿里云文档截图，我的示例文件更为简单直观：
在EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc '}这一行之后，新增JMX-agent内容-javaagent:/ilw/jmx_agent/kafka-jmx_prometheus_javaagent-1.18.1.jar=5506，目标是下次启动kafka历程的同时，运行一个jmx-agent并指定agent的端口。
完整示例文件如下：
$ pwd
/ilw/kafka_2.12-3.5.0/bin
$ cat kafka-server-start.sh
#!/bin/bash
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
if [ $# -lt 1 ];
then
echo "USAGE: $0 [-daemon] server.properties [--override property=value]\*"
exit 1
fi
base\_dir=$(dirname $0)
if [ "x$KAFKA\_LOG4J\_OPTS" = "x" ]; then
export KAFKA\_LOG4J\_OPTS="-Dlog4j.configuration=file:$base\_dir/../config/log4j.properties"
fi
if [ "x$KAFKA\_HEAP\_OPTS" = "x" ]; then
export KAFKA\_HEAP\_OPTS="-Xmx1G -Xms1G"
fi
##修改前，默认配置如下
#EXTRA\_ARGS=${EXTRA\_ARGS-'-name kafkaServer -loggc'}
#修改后，在下一行新增jmx-agent的路径位置，指定jmx暴露端口。
EXTRA\_ARGS=${EXTRA\_ARGS-'-name kafkaServer -loggc -javaagent:/ilw/jmx\_agent/kafka-jmx\_prometheus\_javaagent-1.18.1.jar=5506'}
COMMAND=$1
case $COMMAND in
-daemon)
EXTRA\_ARGS="-daemon "$EXTRA\_ARGS
shift
;;
*)
;;
esac
exec $base\_dir/kafka-run-class.sh $EXTRA\_ARGS kafka.Kafka "$@"
$
3.重启kafka
启动和停止kafka的脚本如下，也可直接复制下令执行：
$ cat 03_startKFK-3.5.0.sh
sudo /ilw/kafka_2.12-3.5.0/bin/kafka-server-start.sh /ilw/kafka_2.12-3.5.0/config/server.properties &
$ cat 04_stopKFK-3.5.0.sh
sudo /ilw/kafka_2.12-3.5.0/bin/kafka-server-stop.sh /ilw/kafka_2.12-3.5.0/config/server.properties
4.访问JMX-Agent端口验证监控指标
配置文件中指定了jmx-agent端口为5506。在开放防火墙策略、包管kafka重启成功后，可通过web访问查看相关的监控指标，如下图：
https://img-blog.csdnimg.cn/0f0a7d3fb0b94d4c94dd5c5c73a02c59.png
5.修改配置文件，并重启Prometheus
修改配置文件并重启Prometheus
sudo vim prometheus.yml
curl -X POST http://127.0.0.1:9091/-/reload
使用curl下令重启prometheus的条件是：首次启动Prometheus时，就启用web.enable-lifecycle功能，具体启动下令如下：
#使用sudo权限，后台执行Prometheus启动命令，并启用lifecycle功能，指定监听端口为9091
sudo nohup ./prometheus --web.enable-lifecycle --web.listen-address=:9091 &
修改内容如下：
https://img-blog.csdnimg.cn/235303ae1a454e4487d46ef280b6fbe2.png
6.访问Prometheus，验证target是否监控成功。
https://img-blog.csdnimg.cn/f6122d10b9f645f3921b2928a25deb33.png
7.配置Grafana：导入模板、配置数据源、查看监控数据。
下载dashboard模板，共同jmx-agent使用时，建议使用11962号模板。【Grafana官方：11962号模板下载地点】
https://img-blog.csdnimg.cn/1082be62ff1548219b6d3a1d7359abaf.png
导入模板，上传json文件。
https://img-blog.csdnimg.cn/867b267777984369b0e523816c3d0de2.png
查看仪表板，成功取得监控数据。
https://img-blog.csdnimg.cn/8636ceafbed44e69bdd3fe7b2feb1216.png
留意：
[*]需要开通kafka、Prometheus、Grafana之间对具体端口的防火墙策略。
[*]没啥留意的了，你们先操纵吧，方式二、方式三我后面再增补。
方式二：使用kafka_exporter监控
[*]下载kafka_exporter步伐包。
[*]修改kafka_exporter配置文件。
[*]启动kafka_exporter。
[*]重启prometheus。
[*]导入grafana模板。
方式三：使用Kminion监控
[*]下载Kminion步伐包。
[*]修改kminion配置文件。
[*]创建kminion配置文件的环境变量。
[*]启动kminion。
[*]重启prometheus。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数大数据工程师，想要提拔技能，每每是自己探索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易遇到天花板技术故步自封！
因此网络整理了一份《2024年大数据全套学习资料》，初志也很简单，就是渴望能够帮助到想自学提拔又不知道该从何学起的朋侪。
https://img-blog.csdnimg.cn/img_convert/ca501bbe8378b1e75576e6e7bfba1292.png
https://img-blog.csdnimg.cn/img_convert/6931af2e502da48bdc308a4651d87f52.png
https://img-blog.csdnimg.cn/img_convert/ef6336a218cb6df2f01792a2afd76703.png
https://img-blog.csdnimg.cn/img_convert/c8c8a4c04258c6c7d27b682b73ed41a0.png
https://img-blog.csdnimg.cn/img_convert/eb1e15d9504e84af5c66cc78ef107e9e.png
既有适合小白学习的零基础资料，也有适合3年以上经验的小同伴深入学习提拔的进阶课程，基本涵盖了95%以上大数据开辟知识点，真正体系化！
由于文件比较大，这里只是将部门目次大纲截图出来，每个节点里面都包含大厂面经、学习条记、源码讲义、实战项目、讲解视频，并且后续会持续更新
假如你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
https://img-blog.csdnimg.cn/img_convert/656147c309c55d4871907cf52fe21f82.png
学习提拔的进阶课程，基本涵盖了95%以上大数据开辟知识点，真正体系化！**
由于文件比较大，这里只是将部门目次大纲截图出来，每个节点里面都包含大厂面经、学习条记、源码讲义、实战项目、讲解视频，并且后续会持续更新
假如你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-Ezk34Yza-1712857255632)]
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]