大数据笔记--kafka工具AKHQ

目次

一、项目配景
二、项目目标
三、项目摆设
1、前提条件
2、流程
2.1、预备工作
2.2、安装AKHQ
2.3、配置AKHQ
2.4、启动AKHQ
四、验证

---

一、项目配景

日常运维工作中，越来越多的团队成员，包括开发人员、数据分析师和业务运营团队，必要实时查看和监控kafka主题中的数据，这对快速诊断问题、优化性能和支持数据驱动的决议十分紧张。
二、项目目标

本文档旨在指导技术团队将 Apache Kafka 集群与 AKHQ 监控工具乐成集成。
适用于必要监控和管理 Kafka 集群的技术团队。
三、项目摆设

1、前提条件

• 集群为prod情况kafka集群与log_kafka集群
  
• 具有访问 Kafka 集群所需的kerberos相干文件和权限。
  
• 一台服务器用于摆设 AKHQ。
  
• JDK 11+ 我安装的JDK 17+
  

2、流程

2.1、预备工作

	集群	keytab	principal
kafka	kafka-01:9092 kafka-02:9092 kafka-03:9092 kafka-04:9092 kafka-05:9092	/etc/keytabs/kafka-01.keytab	kafka/kafka-01@principal
log_kafka	log_kafka-01:9092 log_kafka-02:9092 log_kafka-03:9092 log_kafka-04:9092 log_kafka-05:9092	/etc/keytabs/log_kafka-01.keytab	kafka/log_kafka-01@principal
ladp	server: ldap://ldap.server.com:389 managerDn: "cn=ladp,OU=ldap,OU=Corp Services,DC=dc,DC=intra" managerPassword: "*****" searchbase: "OU=Ou Users,OU=Corp Users,DC=DC,DC=intra" filter: "sAMAccountName={0}" groupbase: "OU=Ou Users,OU=Corp Users,DC=DC,DC=intra" filter: "(objectClass=groupofnames)"
AKHQ	ip:8443	/data/src

2.2、安装AKHQ

在目标服务器上，安装Java 17 情况，上传akhq-0.24.0-all.jar

1. #登陆akhq机器，检查是否有jdk11+
2. java -version
3. cd /data/src/
4. tar -zxvf akhq-0.24.0-all.jar
5. ln -s /data/src/akhq-0.24.0/ /data/service/akhq

复制代码

2.3、配置AKHQ

  创建 AKHQ 的 application.yml 文件，添加 Kafka 集群的配置信息。
  配置 AKHQ 的LDAP 集成、用户角色和权限。
  设置日志格式。

1. # 进入AKHQ配置主机
2. cd /data/service/akhq/
3. # 注意创建log目录
4. mkdir log
5. touch application.yml

复制代码

application.yml内容

1. # debug配置
2. #logger:
3. #   levels:
4.      #root: DEBUG
5. #     org.akhq.configs: TRACE
6. #     io.micronaut: DEBUG
7. #     io.micronaut.security.ldap: TRACE
8. #     io.micronaut.configuration.security: TRACE
9. #     java.security: TRACE
11. micronaut:
12.   security:
13.     enabled: true #是否开启安全认证
14.     # Ldap authenticaton configuration
15.     ldap:
16.       default:
17.         enabled: true #是否开启ladp
18.         context:
19.           server: "ldap://ldap.server.com:389" #ladp地址
20.           managerDn: "cn=cn,OU=ldap,OU=Corp Services,DC=DC,DC=intra" #ldap管理员账号密码
21.           managerPassword: "密码"
22.         search:
23.           base: "OU=Ou Users,OU=Corp Users,DC=DC,DC=intra"
24.           filter: "sAMAccountName={0}" #ladp 查询用户
25.         groups:
26.           enabled: true        #是否使用ldap组
27.           base: "OU=Ou Users,OU=Corp Users,DC=DC,DC=intra"
28.           filter: "(objectClass=groupofnames)" #查询组
29.   server:
30.     port: 8443        #akhq服务端口
31.     cors:
32.       enabled: true    #是否转发前端（无影响）
33.       configurations:
34.         all:
35.           allowedOrigins:
36.             - http://localhost:3000
38. akhq:                #服务配置
39.   server:
40.     access-log: # 日志配置 (可选)
41.       enabled: true # true by default
42.       name: org.akhq.log.access # Logger name
43.       format: "[Date: {}] [Duration: {} ms] [Url: {} {}] [Status: {}] [Ip: {}] [User: {}]" # Logger format
44.   connections:        #集群配置
45.     kafka-prod:       # prod集群
46.       properties:
47.         bootstrap.servers:  "kafka-01:9092,kafka-02:9092,kafka-03:9092,kafka-04:9092,kafka-05:9092" #kafka集群地址
48.         security.protocol: SASL_PLAINTEXT
49.         sasl.mechanism: GSSAPI
50.         sasl.jaas.config: com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/etc/keytabs/kafka-01.keytab" storeKey=true serviceName="kafka" client=true useTicketCache=true principal="kafka/kafka-01@principal"; #认证文件，连接参数
51.    
52.     log-kafka-prod: #logkafka集群
53.       properties:
54.         bootstrap.servers: "log_kafka-01:9092,log_kafka-02:9092,log_kafka-03:9092,log_kafka-04:9092,log_kafka-05:9092"
55.         security.protocol: SASL_PLAINTEXT
56.         sasl.mechanism: GSSAPI
57.         sasl.jaas.config: com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/etc/keytabs/log_kafka-01.keytab" storeKey=true serviceName="kafka" client=true useTicketCache=true principal="kafka/log_kafka-01@principal";
59.   pagination:    #页面页数，线程数
60.     page-size: 25 # number of elements per page (default : 25)
61.     threads: 16 # Number of parallel threads to resolve page
62.    
63.   security:
64.     default-group: no-roles # Default groups for all the user even unlogged user
65.     # Groups definition
66.     groups:        #权限相关配置
67.       admin: # unique key
68.         name: admin # Group name
69.         roles:  # roles for the group
70.           - topic/read
71.           - topic/insert
72.           - topic/delete
73.           - topic/config/update
74.           - node/read
75.           - node/config/update
76.           - topic/data/read
77.           - topic/data/insert
78.           - topic/data/delete
79.           - group/read
80.           - group/delete
81.           - group/offsets/update
82.           - registry/read
83.           - registry/insert
84.           - registry/update
85.           - registry/delete
86.           - registry/version/delete
87.           - acls/read
88.           - connect/read
89.           - connect/insert
90.           - connect/update
91.           - connect/delete
92.           - connect/state/update
93.         attributes:  #正则过滤指定主题，*表示全部显示，test.*表示test开始的主题显示
94.           # Regexp list to filter topic available for group
95.           topics-filter-regexp:
96.             - ".*"
97.           # Regexp list to filter connect configs visible for group
98.           connects-filter-regexp:
99.             - ".*"
100.           # Regexp list to filter consumer groups visible for group
101.           consumer-groups-filter-regexp:
102.             - ".*"
103.       topic-reader: # unique key #只读权限
104.         name: topic-reader # Other group
105.         roles:
106.           - topic/read
107.           - topic/data/read
108.          
109.     # Basic auth configuration
110.     basic-auth:        #本地账号
111.       - username: admin # Username   
112.         password: 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918 # Password in sha256
113.         groups: # Groups for the user
114.           - admin
115.           - topic-reader
117.     # Ldap Groups configuration (when using ldap)
118.     ldap:     #根据ldap组来设置权限，目前我们ladp只有一个组，所有用现在只有只读权限
119.       default-group: topic-reader
120.       groups:
121.         - name: group-ldap-1
122.           groups: # Akhq groups list
123.             - topic-reader
124.       users:  #指定ldap用户有管理员权限
125.         - username: user1 # ldap user id
126.           groups: # Akhq groups list
127.             - admin
128.         - username: user2
129.           groups:
130.             - admin
131.         - username: user3
132.           groups:
133.             - admin
134.     # 数据脱敏相关配置
135.     # # Data masking configuration
136.     # data-masking:
137.     #   filters:
138.     #     - description: "Masks value for secret-key fields"
139.     #       search-regex: '"(secret-key)":".*"'
140.     #       replacement: '"$1":"xxxx"'
141.     #     - description: "Masks last digits of phone numbers"
142.     #       search-regex: '"([\+]?[(]?[0-9]{3}[)]?[-\s\.]?[0-9]{3}[-\s\.]?)[0-9]{4,6}"'
143.     #       replacement: '"$1xxxx"'

复制代码

2.4、启动AKHQ

  配置akhq启动脚本
  查抄启动日志，确认没有错误信息。

1. #进入akhq配置主机
2. ssh ip
3. cd /data/service/akhq/
4. touch akhq_service.sh
5. vi akhq_service.sh
6. #添加如下内容
8. #!/bin/bash
10. # AKHQ start/stop/restart script
12. # Configuration
13. AKHQ_JAR="/data/service/akhq/akhq-0.24.0-all.jar"
14. CONFIG_FILE="/data/service/akhq/application.yml"
15. LOG_DIR="/data/service/akhq/log"
16. LOG_FILE="${LOG_DIR}/akhq.log"
17. PID_FILE="/data/service/akhq/akhq.pid"
18. JAVA_HOME="/data/src/zulu17.42.21-ca-crac-jdk17.0.7-linux_x64"
20. # Ensure log directory exists
21. mkdir -p "$LOG_DIR"
23. start() {
24.     if [ -f "$PID_FILE" ]; then
25.         echo "AKHQ is already running."
26.     else
27.         echo "Starting AKHQ..."
28.         #nohup "$JAVA_HOME/bin/java" -Dmicronaut.config.files="$CONFIG_FILE"  -jar "$AKHQ_JAR" >> "$LOG_FILE" 2>&1 &
29.         nohup "$JAVA_HOME/bin/java" -Dmicronaut.config.files="$CONFIG_FILE" -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=0.0.0.0:5005 -jar "$AKHQ_JAR" >> "$LOG_FILE" 2>&1 &
30.         echo $! > "$PID_FILE"
31.         echo "AKHQ started."
32.     fi
33. }
35. stop() {
36.     if [ ! -f "$PID_FILE" ]; then
37.         echo "AKHQ is not running."
38.     else
39.         PID=$(cat "$PID_FILE")
40.         echo "Stopping AKHQ..."
41.         kill "$PID"
42.         rm "$PID_FILE"
43.         echo "AKHQ stopped."
44.     fi
45. }
47. restart() {
48.     echo "Restarting AKHQ..."
49.     stop
50.     sleep 2
51.     start
52. }
54. case "$1" in
55.     start)
56.         start
57.         ;;
58.     stop)
59.         stop
60.         ;;
61.     restart)
62.         restart
63.         ;;
64.     *)
65.         echo "Usage: $0 {start|stop|restart}"
66.         exit 1
67. esac

复制代码

四、验证

访问 AKHQ 的 UI，查抄是否能够乐成连接到 Kafka 集群并显示相干信息。
Prod: http://ip:8443/ui/login
实验实验一些基本操作，如查看主题、消耗者组等，以验证集成乐成。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。