Prometheus多集群监控的3种方案，你选哪种？

本文分享自华为云社区《Prometheus多集群监控方案》，作者： 可以交个朋侪。
一、背景

不少用户在k8s集群外裸机环境摆设了prometheus监控组件想要查询k8s集群的监控指标，又大概是想采集多个k8s集群中的节点指标，容器指标，master组件指标等。
二、Prometheus多集群监控能力介绍

当前通过Prometheus采集多套k8s集群中的容器指标通常有三种方式。

• 通过APIServer代理的方式获取k8s集群指标，直接在prometheus.yml配置相关其他kubernetes集群信息，实现一个prometheus同时采集多个kubernetes集群信息
  
• 通过prometheus 联邦模式，实现一个prometheus拉取其他prometheus 数据
  
• 通过Prometheus Agent模式remote write远端存储，实现多个prometheus向同一个prometheus 输出数据（推荐）
  

三种方式对比分析

• APIServer方式解决了数据冗余的方式，但是引入了配置的复杂性。同时随着k8s集群规模扩大，走APIServer代理请求获取集群指标数据对AIserver负载过大。
  
• Prometheus联邦机制相对来说配置简单，最早的多集群监控方案。但是缺点也很明显: 占用资源较多,出现数据冗余; global Prometheus 汇总叶子Prometheus数据，处理数据压力大。
  
• Prometheus Agent remote write方案配置简单，可以解决多集群监控数据冗余问题。同时可在remotewrite中配置过滤规则，减轻远端Prometheus数据处理压力
  

综上所述关于多集群监控方式，比较推荐Prometheus Agent remote write方案
三、配置实现

3.1 一个prometheus同时采集多个kubernetes集群操纵

promethues通过配置bearer token，利用apiserver 代理的的形式，获取k8s集群的node指标，容器指标。
在目的集群创建Prometheus访问Kubernetes资源对象的RBAC资源
kubectl apply -f prometheus_rbac.yaml，目的为了Prometheus使用该serviceAccount能够自动发现集群相关资源，并拥有执行get list 等权限

1. apiVersion: v1
2. kind: ServiceAccount
3. metadata:
4.   name: prometheus-test
5.   namespace: kube-system
7. ---
8. apiVersion: rbac.authorization.k8s.io/v1
9. kind: ClusterRole
10. metadata:
11.   name: prometheus-test
12. rules:
13. - apiGroups:
14.   - ""
15.   resources:
16.   - nodes
17.   - services
18.   - endpoints
19.   - pods
20.   - nodes/proxy
21.   verbs:
22.   - get
23.   - list
24.   - watch
25. - apiGroups:
26.   - "extensions"
27.   resources:
28.     - ingresses
29.   verbs:
30.   - get
31.   - list
32.   - watch
33. - apiGroups:
34.   - ""
35.   resources:
36.   - configmaps
37.   - nodes/metrics
38.   verbs:
39.   - get
40. - nonResourceURLs:
41.   - /metrics
42.   verbs:
43.   - get
44. ---
45. apiVersion: rbac.authorization.k8s.io/v1
46. kind: ClusterRoleBinding
47. metadata:
48.   name: prometheus-test
49. roleRef:
50.   apiGroup: rbac.authorization.k8s.io
51.   kind: ClusterRole
52.   name: prometheus-test
53. subjects:
54. - kind: ServiceAccount
55.   name: prometheus-test
56.   namespace: kube-system

复制代码

从目的集群获取token凭证
1.21以前版本的集群中，Pod中获取Token的形式是通过挂载ServiceAccount的Secret来获取Token，这种方式获得的Token是永世的。该方式在1.21及以上的版本中不再推荐使用，而且根据社区版本迭代策略，在1.25及以上版本的集群中，ServiceAccount将不会自动创建对应的Secret。可参考kubernetes官方提供的如何创建长期token: https://kubernetes.io/zh-cn/docs/tasks/configure-pod-container/configure-service-account/#manually-create-an-api-token-for-a-serviceaccount

将对应token保存为文件，为了演示便利，本Prometheus使用虚拟形态摆设
在prometheus配置中写入其他集群信息，并启动

1. - job_name: k8s_cAdvisor
2.     scheme: https
3.     bearer_token_file: k8s_token
4.     tls_config:
5.       insecure_skip_verify: true
6.     kubernetes_sd_configs:  #kubernetes 自动发现配置
7.     - role: node    #node类型的自动发现
8.       bearer_token_file: k8s_token   #步骤1中创建的token文件
9.       api_server: https://192.168.0.153:5443  #k8s集群 apiserver地址
10.       tls_config:
11.         insecure_skip_verify: true   #跳过对服务端的认证
12.     relabel_configs:  #用于在抓取metrics之前修改target的已有标签
13.     - target_label: __address__
14.       replacement: 192.168.0.153:5443
15.       action: replace
16.       ##将metrics_path地址转换为/api/v1/nodes/${1}/proxy/metrics/cadvisor
17.       #相当于通过APIServer代理到kubelet上获取数据
18.     - source_labels: [__meta_kubernetes_node_name]   #指定我们需要处理的源标签
19.       regex: (.+)    #匹配源标签的值,(.+)表示源标签什么值都可以匹配上
20.       target_label: __metrics_path__     #指定了需要replace后的标签
21.       replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor  # 表示替换后的标签即__metrics_path__  对应的值。其中${1}表示正则匹配的值，即nodename
22.     - target_label: cluster  为该集群下的node节点打上cluster标签便于分组管理
23.       replacement: k8s   #为cluster标签赋值，值可以是集群名称或者其他唯一标识符
25. ###该job用于监控另一个集群
26.   - job_name: k8s02_cAdvisor
27.     scheme: https
28.     bearer_token_file: k8s02_token
29.     tls_config:
30.       insecure_skip_verify: true
31.     kubernetes_sd_configs:
32.     - role: node   
33.       bearer_token_file: k8s02_token  #步骤1中创建的token文件
34.       api_server: https://192.168.0.147:5443
35.       tls_config:
36.         insecure_skip_verify: true
37.     relabel_configs:
38.     - target_label: __address__
39.       replacement: 192.168.0.147:5443
40.       action: replace
41.     - source_labels: [__meta_kubernetes_node_name]
42.       regex: (.+)
43.       target_label: __metrics_path__
44.       replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
45.     - target_label: cluster
46.       replacement: k8s02

复制代码

启动prometheus服务: ./prometheus --config.file=prometheus.yml

3.2 prometheus联邦操纵

Prometheus支持拉取其他Prometheus的数据到本地，称为联邦机制。这样我们可以在每个集群内摆设一个Prometheus，然后摆设一个global Prometheus用于拉取每个集群内部的Prometheus数据进行汇总。
增长联邦配置信息，并重启

1.   - job_name: 'federate-k8s01'
2.     scrape_interval: 15s
4.     honor_labels: true
5.     metrics_path: '/federate'          #固定配置
7.     params:
8.       'match[]':
9.        - '{job="istio-mesh"}'           #目标prometheus的监控job列表 ，根据实际情况填写
10.        - '{job="kubernetes-cadvisor"}'
12.     static_configs:
13.       - targets:
14.         - '100.85.123.205:32298'        #目标prometheus的访问地址

复制代码

3.3 prometheus remote write模式操纵

Remote Write支持将k8s集群内Prometheus采集的metrics写到长途存储中，长途存储可以是Prometheus，也可以是其他时序数据库。在用户使用的时候，直接从远端存储中读取数据，并提供全局视图。
以下以华为云CCE监控插件kube-prometheus-stack为例。(开源Promethues需要手动进行配置)
被写入prometheus需要开启web.enable-remote-write-receiver，表示本prometheus担当来着其他prometheus的长途写入

需要采集指标的集群中安装kube-prometheus-stack插件

摆设模式采用Agent模式，参数配置对接第三方，数据上报地址为远端存储的地址。如果远端是prometheus-server，可以填写: http://ip:port/api/v1/write
查看kube-prometheus-stack agent日志，确认remote write成功

确认中心prometheus可获取多个集群数据

点击关注，第一时间了解华为云新鲜技术~
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。