Prometheus添加Kafka监控并配置Grafana

雁过留声 · 2025-5-3 00:44:31

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？立即注册

x

**

在大数据系统中，Kafka作为高吞吐量的消息队列常常被广泛使用。为了确保Kafka的稳定运行和性能，监控

是至关紧张的。Prometheus作为一款开源监控

系统，可以用来采集Kafka的各种指标，而Grafana则可以用来可视化这些指标。本指南将资助你将Prometheus与Kafka举行集成，并通过Grafana展示Kafka的监控

数据。

1. 安装Prometheus与Grafana

在开始配置Kafka监控之前，首先必要安装Prometheus和Grafana。下面是如何在Linux系统中安装Prometheus和Grafana的步骤。
1.1 安装Prometheus

下载Prometheus：
1. wget https://github.com/prometheus/prometheus/releases/download/v2.42.0/prometheus-2.42.0.linux-amd64.tar.gz
2. tar -xvzf prometheus-2.42.0.linux-amd64.tar.gz
3. cd prometheus-2.42.0.linux-amd64
复制代码
启动Prometheus：
1. ./prometheus --config.file=prometheus.yml
复制代码
访问Prometheus Web UI：
打开浏览器，访问 http://localhost:9090，你将看到Prometheus的管理界面。

1.2 安装Grafana

下载并安装Grafana：
1. sudo apt-get install -y software-properties-common
2. sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"
3. sudo apt-get update
4. sudo apt-get install grafana
复制代码
启动Grafana：
1. sudo systemctl start grafana-server
2. sudo systemctl enable grafana-server
复制代码
访问Grafana Web UI：
打开浏览器，访问 http://localhost:3000，默认用户名和暗码为 admin/admin。

2. 安装Kafka Exporter

为了让Prometheus能够采集Kafka的相干指标，必要使用Kafka Exporter。Kafka Exporter是一个专门为Kafka设计的Prometheus监控Exporter。
2.1 下载并配置Kafka Exporter

下载Kafka Exporter：
1. wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.3.0/kafka_exporter-1.3.0.linux-amd64.tar.gz
2. tar -xvzf kafka_exporter-1.3.0.linux-amd64.tar.gz
3. cd kafka_exporter-1.3.0.linux-amd64
复制代码
启动Kafka Exporter：
运行Kafka Exporter时，你必要指定Kafka的broker地址以及监听的端口，通常Kafka Exporter默认监听 9308 端口：
1. ./kafka_exporter --kafka.server=localhost:9092
复制代码
你可以根据自己的Kafka配置调整 --kafka.server 参数。

3. 配置Prometheus抓取Kafka指标

为了让Prometheus抓取Kafka Exporter提供的监控数据，我们必要在Prometheus的配置文件 prometheus.yml 中添加Kafka Exporter的相干配置。
3.1 配置Prometheus

编辑Prometheus的配置文件 prometheus.yml，加入Kafka Exporter的抓取配置：
1. scrape_configs:
2. - job_name: 'kafka'
3. static_configs:
4. - targets: ['localhost:9308']
复制代码
重启Prometheus，加载新的配置：
1. ./prometheus --config.file=prometheus.yml
复制代码
检查Prometheus是否成功抓取Kafka的指标：
访问 http://localhost:9090/targets，查看是否有Kafka Exporter的抓取目标。

4. 在Grafana中配置Kafka监控仪表盘

通过Prometheus收集了Kafka的监控数据之后，下一步是将这些数据可视化展示到Grafana中。下面将解说如何在Grafana中配置Kafka监控仪表盘。
4.1 添加Prometheus数据源到Grafana

登录到Grafana Web UI（默认地址为 http://localhost:3000，用户名暗码为 admin/admin）。
添加Prometheus为数据源：
- 点击左侧菜单栏中的“齿轮图标（配置）” -> “Data Sources”。
- 点击“Add data source”。
- 在数据源类型中选择“Prometheus”。
- 在URL字段中输入Prometheus地址，默以为 http://localhost:9090。
- 点击“Save & Test”按钮，确认毗连成功。

4.2 导入Kafka监控仪表盘

Grafana社区提供了一些现成的Kafka监控仪表盘，可以直接导入：

点击左侧菜单中的“+” -> “Import”。
输入Grafana的仪表盘ID，例如“10451”，这是一个流行的Kafka监控仪表盘。
点击“Load”按钮，选择刚刚添加的Prometheus数据源，然后点击“Import”。

Grafana会主动加载并表现Kafka相干的监控图表，表现Kafka的各类指标，如消息的吞吐量、消费延迟、消息积压等。

5. 配置常用Kafka监控指标

在Grafana中，常见的Kafka监控指标包罗以下几种：

Kafka Broker Metrics
- kafka_server_broker_state: 表现Kafka各个broker的状态。
- kafka_server_broker_uptime_seconds: 表现Kafka broker的启动时长。
Kafka Topic Metrics
- kafka_consumer_group_messages_lag: 消费者组的消息滞后。
- kafka_topic_partitions: 每个Kafka topic的分区数。
Kafka Consumer Metrics
- kafka_consumer_fetch_latency_ms: 消费者拉取消息的延迟。
- kafka_consumer_fetch_rate: 消费者拉取消息的速率。

6. 结论

通过Prometheus与Grafana的集成，能够轻松地监控Kafka的运行状态，确保其高效、稳定地运行。Prometheus提供了强大的数据采集能力，而Grafana则通过美观的图表展示Kafka的各种运行指标。通过公道配置Kafka Exporter、Prometheus和Grafana，你可以实现对Kafka的及时监控，并及时发现埋伏问题，举行优化。

参考文献

Prometheus官方文档
Grafana官方文档
Kafka Exporter GitHub

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告

		自动登录	找回密码
密码			立即注册

Prometheus添加Kafka监控并配置Grafana

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

0 个回复

快速回复

楼主热帖

标签云

Prometheus添加Kafka监控并配置Grafana

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

0 个回复

快速回复

楼主热帖

标签云

登录参与点评抽奖加入IT实名职场社区