KAFKA EAGLE 监控MRS kafka之操作实践

打印 上一主题 下一主题

主题 722|帖子 722|积分 2166

本文分享自华为云社区《KAFKA EAGLE 监控MRS kafka之操作实践》,作者: 啊喔YeYe 。
1.Kafka Eagle简介

Kafka eagle 是一款分布式、高可用的kafka监控软件,提供丰富的kafka监控指标,例如:Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic Capacity Top10、Lag挤压,CPU/Memory监控等。
Eagle新版本中改名为EFAK,基于版本3.0.1对接监控MRS 3.1.0(普通集群)中的kafka集群。
2. Eagle安装步骤

2.1 修改MRS kafka jmx服务的ip,重启生效

MRS manager进入kafka配置页面,输入JMX搜索,修改KAFKA_JMX_IP为 ${BROKER_IP}

2.2 把efak安装包放到集群目录下,然后解压
  1. tar –xvf kafka-eagle-bin-3.0.1.tar.gz
  2. cd kafka-eagle-bin-3.0.1
  3. tar –xvf efka-web-3.0.1-bin.tar.gz
复制代码
2.3 在opt目录下新建efak目录

把efka-web-3.0.1复制到/opt/efka目录下
2.4 新建环境变量

vim /etc/profile
export KE_HOME=/opt/efka/efka-web-3.0.1
PATH变量后面添加:$KE_HOME/bin
例如:

source /etc/profile
2.5 修改/opt/efka/efka-web-3.0.1/conf/system-config.properties配置文件

cluster1.zk.list的值改为kafka服务的metrics.reporter.zookeeper.url配置项的值

efak.zk.cluster.alias只保留一个cluster
efak.zk.cluster.alias=cluster1
cluster1.zk.list=XXX:2181,XXX:2181,XXX:2181/kafka
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
修改kafka jmx uri的配置
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka修改kafka mysql jdbc driver address数据库相关的配置
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=XXX2.6 启动efka服务
  1. sh /opt/efak/efak-web-3.0.1/bin/ke.sh start
复制代码
如下启动ok

2.7 访问EFKA Webui 默认用户密码:admin/123456

kafka集群监控

Topic监控

Consumer监控

3. 常见问题

问题:无法获取kafka cpu与内存监控信息日志提示:
  1. java.io.IOException cannot be cast to javax.management.remote.JMXConnector
复制代码

原因:jmx地址配置错误,默认jmx地址为:
  1. cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi
复制代码
MRS内kafka jmx名称为kafka,需要设置为:
  1. cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka
复制代码
点击关注,第一时间了解华为云新鲜技术~
 

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

我爱普洱茶

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表