基于 Prometheus+Grafana+Alertmanager 搭建 K8S 云监控告警平台（附配置 ...

目录

• 一、机器规划
  
• 二、摆设安装 node-exporter、prometheus、Grafana、kube-state-metrics
  
  
  
  • 1、创建 monitor-sa 定名空间
    
  • 2、安装node-exporter组件
    
    
    
    • 2.1、分析
      
    • 2.2、应用资源清单
      
    • 2.3、通过node-exporter采集数据
      
    
    
  • 3、k8s 集群中摆设 prometheus
    
    
    
    • 3.1、创建一个 sa 账号
      
    • 3.2、将 sa 账号 monitor 通过 clusterrolebing 绑定到 clusterrole 上
      
    • 3.3、创建数据目录
      
    • 3.4、安装prometheus
      
      
      
      • 3.4.1、将 prometheus.yml 文件以 ConfigMap 的形式举行管理
        
      • 3.4.2、应用 cm 资源清单
        
      • 3.4.3、通过 Deployment 摆设 prometheus
        
      • 3.4.4、应用 prometheus 资源清单
        
      • 3.4.5、给 prometheus 的 pod 创建一个 svc
        
      • 3.4.6、应用 svc 资源清单
        
      
      
    • 3.5、访问prometheus UI界面
      
    • 3.6、检察配置的服务发现
      
    
    
  • 4、prometheus热更新
    
    
    
    • 4.1、热加载 prometheus
      
    • 4.2、暴力重启 prometheus
      
    
    
  • 5、Grafana安装和配置
    
    
    
    • 5.1、下载 Grafana 必要的镜像
      
    • 5.2、在 k8s 集群各个节点导入 Grafana 镜像
      
    • 5.3、master 节点创建 grafana.yaml
      
    • 5.4、检察 Grafana 的 pod 和 svc
      
    • 5.5、检察 Grafana UI 界面
      
    • 5.6、给 Grafana 接入 Prometheus 数据源
      
    • 5.7、获取监控模板
      
    • 5.8、导入监控模板
      
    
    
  • 6、安装配置 kube-state-metrics 组件
    
    
    
    • 6.1、什么是 kube-state-metrics
      
    • 6.2、创建 sa ，并举行授权
      
    • 6.3、创建并应用 kube-state-metrics-deploy.yaml 文件
      
    • 6.4、创建并应用 kube-state-metrics-svc.yaml 文件
      
    • 6.5、获取 kube-state-metrics json 文件
      
    • 6.6、向 Grafana 导入 kube-state-metrics json 文件
      
    
    
  
  
• 三、安装和配置 Alertmanager -- 发送告警到 QQ 邮箱
  
  
  
  • 1、将 alertmanager-cm.yaml 文件以 cm 形式举行管理
    
    
    
    • 1.1、alertmanager配置文件分析
      
    
    
  • 2、重新生成并应用 prometheus-cfg.yaml 文件
    
  • 3、重新生成 prometheus-deploy.yaml 文件
    
    
    
    • 3.1、创建一个名为 etcd-certs 的 Secret
      
    • 3.2、应用 prometheus-deploy.yaml 文件
      
    
    
  • 4、重新生成并创建 alertmanager-svc.yaml 文件
    
  • 5、访问 prometheus UI 界面
    
    
    
    • 5.1、【error】kube-controller-manager、etcd、kube-proxy、kube-scheduler 组件 connection refused
      
      
      
      • 5.1.1、kube-proxy
        
      • 5.1.2、kube-controller-manager
        
      • 5.1.3、kube-schedule
        
      • 5.1.4、etcd
        
      
      
    
    
  • 6、点击Alerts，检察
    
  • 7、把controller-manager的cpu使用率大于90%展开
    
  • 8、登录 alertmanager UI
    
  • 9、登录 QQ 邮箱检察告警信息
    
  
  
• 四、配置 Alertmanager 报警 -- 发送告警到钉钉
  
  
  
  • 1、手机端拉群
    
  • 2、创建自定义机器人
    
  • 3、获取钉钉的 Webhook 插件
    
  • 4、启动钉钉告警插件
    
  • 5、对 alertmanager-cm.yaml 文件做备份
    
  • 6、重新生成新的 alertmanager-cm.yaml 文件
    
  • 7、重建资源以生效
    
  • 8、结果
    
  
  

一、机器规划

角色主机名ip 地点masterk8s-master1192.168.112.10nodek8s-node1192.168.112.20nodek8s-node2192.168.112.30平台VMware Workstation操纵系统CentOS Linux release 7.9.2009 (Core)内存、CPU4C4G磁盘大小20G SCSI二、摆设安装 node-exporter、prometheus、Grafana、kube-state-metrics

1、创建 monitor-sa 定名空间

master 节点操纵

1. kubectl create ns monitor-sa

复制代码

2、安装node-exporter组件

master 节点操纵

1. cat >> node-export.yaml  <<EOF
2. apiVersion: apps/v1
3. kind: DaemonSet
4. metadata:
5.   name: node-exporter
6.   namespace: monitor-sa
7.   labels:
8.     name: node-exporter
9. spec:
10.   selector:
11.     matchLabels:
12.      name: node-exporter
13.   template:
14.     metadata:
15.       labels:
16.         name: node-exporter
17.     spec:
18.       hostPID: true
19.       hostIPC: true
20.       hostNetwork: true
21.       containers:
22.       - name: node-exporter
23.         image: prom/node-exporter:v0.16.0
24.         ports:
25.         - containerPort: 9100
26.         resources:
27.           requests:
28.             cpu: 0.15
29.         securityContext:
30.           privileged: true
31.         args:
32.         - --path.procfs
33.         - /host/proc
34.         - --path.sysfs
35.         - /host/sys
36.         - --collector.filesystem.ignored-mount-points
37.         - '"^/(sys|proc|dev|host|etc)($|/)"'
38.         volumeMounts:
39.         - name: dev
40.           mountPath: /host/dev
41.         - name: proc
42.           mountPath: /host/proc
43.         - name: sys
44.           mountPath: /host/sys
45.         - name: rootfs
46.           mountPath: /rootfs
47.       tolerations:
48.       - key: "node-role.kubernetes.io/master"
49.         operator: "Exists"
50.         effect: "NoSchedule"
51.       volumes:
52.         - name: proc
53.           hostPath:
54.             path: /proc
55.         - name: dev
56.           hostPath:
57.             path: /dev
58.         - name: sys
59.           hostPath:
60.             path: /sys
61.         - name: rootfs
62.           hostPath:
63.             path: /
64. EOF

复制代码

1. kubectl apply -f node-export.yaml
3. kubectl get pods -n monitor-sa -l name=node-exporter

复制代码

4.2、暴力重启 prometheus

热加载速度比较慢，可以暴力重启prometheus
如修改上面的prometheus-cfg.yaml文件之后，可执行如下强制删除

1. # curl http://<master-ip>:9100/metrics
3. curl http://192.168.112.10:9100/metrics

复制代码

线上最好热加载，暴力删除可能造成监控数据的丢失

5、Grafana安装和配置

5.1、下载 Grafana 必要的镜像

1. kubectl create serviceaccount monitor -n monitor-sa

复制代码

5.2、在 k8s 集群各个节点导入 Grafana 镜像

1. kubectl create clusterrolebinding monitor-clusterrolebinding -n monitor-sa --clusterrole=cluster-admin  --serviceaccount=monitor-sa:monitor

复制代码

5.3、master 节点创建 grafana.yaml

[code]cat >> grafana.yaml