HAMi + prometheus-k8s + grafana实现vgpu虚拟化监控

最近长沙跑了半个多月，跟甲方客户对了下项目指标，许久没更新

回来后继承研究如何实现 grafana实现HAMi vgpu虚拟化监控，毕竟条约里写了须要体现gpu资源限制和算力共享以及体现算力卡资源共享监控

先说下为啥要用HAMi吧， 一个重要原因是公司有人引见了这个工具的作者， 很多问题我都可以直接向作者提问
HAMi，是一个国产的GPU与国产加速卡（支持的GPU与国产加速卡型号与具体特性请查看此项目官网：https://github.com/Project-HAMi/HAMi/）虚拟化开源项目，实现以kubernetes为基础的容器场景下GPU或加速卡虚拟化。HAMi原名“k8s-vGPU-scheduler”，
最初由我司开源，现已在国内与国际上愈加流行，是管理Kubernetes中异构装备的中间件。它可以管理不同范例的异构装备（如GPU、NPU等），在Pod之间共享异构装备，根据装备的拓扑信息和调理策略做出更好的调理决策。为了论述的简明性，本文只提供一种可行的办法，最终实现使用prometheus抓取监控指标并作为数据源、使用grafana来展示监控信息的目的。
       本文假定已经部署好Kubernetes集群、HAMi。以下涉及到的相关组件都是在kubernetes集群内安装的，相关组件或软件版本信息如下：
组件或软件名称版本备注kubernetes集群v1.23.1AMD64构架服务器环境下HAMi根据向开源作者提问，当前HAMi版本发行机制还不够成熟，暂以安装HAMi的scheduler.kubeScheduler.imageTag 参数值为其版本，此值要跟kubernetes版本看齐项目地址：https://github.com/Project-HAMi/HAMi/kube-prometheus stack prom/prometheus:v2.27.1关于监控的安装参见实现prometheus+grafana的监控部署_prometheus grafana监控部署-CSDN博客dcgm-exporternvcr.io/nvidia/k8s/dcgm-exporter:3.3.9-3.6.1-ubuntu22.04 HAMi  的默认安装方式是通过helm，添加Helm堆栈:

1. helm repo add hami-charts https://project-hami.github.io/HAMi/

复制代码

检查Kubernetes版本并安装HAMi（服务器版本为1.23.1）:

1. helm install hami hami-charts/hami --set scheduler.kubeScheduler.imageTag=v1.23.1 -n kube-system

复制代码

验证hami安装成功

1. kubectl get pods -n kube-system

复制代码

确认hami-device-plugin和hami-scheduler都处于Running状态表示安装成功。

把helm安装转为hami-install.yaml

2. helm template hami hami-charts/hami --set scheduler.kubeScheduler.imageTag=v1.23.1 -n kube-system > hami-install.yaml

复制代码

该格式部署

1. ---
2. # Source: hami/templates/device-plugin/monitorserviceaccount.yaml
3. apiVersion: v1
4. kind: ServiceAccount
5. metadata:
6.   name: hami-device-plugin
7.   namespace: "kube-system"
8.   labels:
9.     app.kubernetes.io/component: "hami-device-plugin"
10.     helm.sh/chart: hami-2.4.0
11.     app.kubernetes.io/name: hami
12.     app.kubernetes.io/instance: hami
13.     app.kubernetes.io/version: "2.4.0"
14.     app.kubernetes.io/managed-by: Helm
15. ---
16. # Source: hami/templates/scheduler/serviceaccount.yaml
17. apiVersion: v1
18. kind: ServiceAccount
19. metadata:
20.   name: hami-scheduler
21.   namespace: "kube-system"
22.   labels:
23.     app.kubernetes.io/component: "hami-scheduler"
24.     helm.sh/chart: hami-2.4.0
25.     app.kubernetes.io/name: hami
26.     app.kubernetes.io/instance: hami
27.     app.kubernetes.io/version: "2.4.0"
28.     app.kubernetes.io/managed-by: Helm
29. ---
30. # Source: hami/templates/device-plugin/configmap.yaml
31. apiVersion: v1
32. kind: ConfigMap
33. metadata:
34.   name: hami-device-plugin
35.   labels:
36.     app.kubernetes.io/component: hami-device-plugin
37.     helm.sh/chart: hami-2.4.0
38.     app.kubernetes.io/name: hami
39.     app.kubernetes.io/instance: hami
40.     app.kubernetes.io/version: "2.4.0"
41.     app.kubernetes.io/managed-by: Helm
42. data:
43.   config.json: |
44.     {
45.         "nodeconfig": [
46.             {
47.                 "name": "m5-cloudinfra-online02",
48.                 "devicememoryscaling": 1.8,
49.                 "devicesplitcount": 10,
50.                 "migstrategy":"none",
51.                 "filterdevices": {
52.                   "uuid": [],
53.                   "index": []
54.                 }
55.             }
56.         ]
57.     }
58. ---
59. # Source: hami/templates/scheduler/configmap.yaml
60. apiVersion: v1
61. kind: ConfigMap
62. metadata:
63.   name: hami-scheduler
64.   labels:
65.     app.kubernetes.io/component: hami-scheduler
66.     helm.sh/chart: hami-2.4.0
67.     app.kubernetes.io/name: hami
68.     app.kubernetes.io/instance: hami
69.     app.kubernetes.io/version: "2.4.0"
70.     app.kubernetes.io/managed-by: Helm
71. data:
72.   config.json: |
73.     {
74.         "kind": "Policy",
75.         "apiVersion": "v1",
76.         "extenders": [
77.             {
78.                 "urlPrefix": "https://127.0.0.1:443",
79.                 "filterVerb": "filter",
80.                 "bindVerb": "bind",
81.                 "enableHttps": true,
82.                 "weight": 1,
83.                 "nodeCacheCapable": true,
84.                 "httpTimeout": 30000000000,
85.                 "tlsConfig": {
86.                     "insecure": true
87.                 },
88.                 "managedResources": [
89.                     {
90.                         "name": "nvidia.com/gpu",
91.                         "ignoredByScheduler": true
92.                     },
93.                     {
94.                         "name": "nvidia.com/gpumem",
95.                         "ignoredByScheduler": true
96.                     },
97.                     {
98.                         "name": "nvidia.com/gpucores",
99.                         "ignoredByScheduler": true
100.                     },
101.                     {
102.                         "name": "nvidia.com/gpumem-percentage",
103.                         "ignoredByScheduler": true
104.                     },
105.                     {
106.                         "name": "nvidia.com/priority",
107.                         "ignoredByScheduler": true
108.                     },
109.                     {
110.                         "name": "cambricon.com/vmlu",
111.                         "ignoredByScheduler": true
112.                     },
113.                     {
114.                         "name": "hygon.com/dcunum",
115.                         "ignoredByScheduler": true
116.                     },
117.                     {
118.                         "name": "hygon.com/dcumem",
119.                         "ignoredByScheduler": true
120.                     },
121.                     {
122.                         "name": "hygon.com/dcucores",
123.                         "ignoredByScheduler": true
124.                     },
125.                     {
126.                         "name": "iluvatar.ai/vgpu",
127.                         "ignoredByScheduler": true
128.                     }
129.                 ],
130.                 "ignoreable": false
131.             }
132.         ]
133.     }
134. ---
135. # Source: hami/templates/scheduler/configmapnew.yaml
136. apiVersion: v1
137. kind: ConfigMap
138. metadata:
139.   name: hami-scheduler-newversion
140.   labels:
141.     app.kubernetes.io/component: hami-scheduler
142.     helm.sh/chart: hami-2.4.0
143.     app.kubernetes.io/name: hami
144.     app.kubernetes.io/instance: hami
145.     app.kubernetes.io/version: "2.4.0"
146.     app.kubernetes.io/managed-by: Helm
147. data:
148.   config.yaml: |
149.     apiVersion: kubescheduler.config.k8s.io/v1
150.     kind: KubeSchedulerConfiguration
151.     leaderElection:
152.       leaderElect: false
153.     profiles:
154.     - schedulerName: hami-scheduler
155.     extenders:
156.     - urlPrefix: "https://127.0.0.1:443"
157.       filterVerb: filter
158.       bindVerb: bind
159.       nodeCacheCapable: true
160.       weight: 1
161.       httpTimeout: 30s
162.       enableHTTPS: true
163.       tlsConfig:
164.         insecure: true
165.       managedResources:
166.       - name: nvidia.com/gpu
167.         ignoredByScheduler: true
168.       - name: nvidia.com/gpumem
169.         ignoredByScheduler: true
170.       - name: nvidia.com/gpucores
171.         ignoredByScheduler: true
172.       - name: nvidia.com/gpumem-percentage
173.         ignoredByScheduler: true
174.       - name: nvidia.com/priority
175.         ignoredByScheduler: true
176.       - name: cambricon.com/vmlu
177.         ignoredByScheduler: true
178.       - name: hygon.com/dcunum
179.         ignoredByScheduler: true
180.       - name: hygon.com/dcumem
181.         ignoredByScheduler: true
182.       - name: hygon.com/dcucores
183.         ignoredByScheduler: true
184.       - name: iluvatar.ai/vgpu
185.         ignoredByScheduler: true
186. ---
187. # Source: hami/templates/scheduler/device-configmap.yaml
188. apiVersion: v1
189. kind: ConfigMap
190. metadata:
191.   name: hami-scheduler-device
192.   labels:
193.     app.kubernetes.io/component: hami-scheduler
194.     helm.sh/chart: hami-2.4.0
195.     app.kubernetes.io/name: hami
196.     app.kubernetes.io/instance: hami
197.     app.kubernetes.io/version: "2.4.0"
198.     app.kubernetes.io/managed-by: Helm
199. data:
200.   device-config.yaml: |-
201.     nvidia:
202.       resourceCountName: nvidia.com/gpu
203.       resourceMemoryName: nvidia.com/gpumem
204.       resourceMemoryPercentageName: nvidia.com/gpumem-percentage
205.       resourceCoreName: nvidia.com/gpucores
206.       resourcePriorityName: nvidia.com/priority
207.       overwriteEnv: false
208.       defaultMemory: 0
209.       defaultCores: 0
210.       defaultGPUNum: 1
211.       deviceSplitCount: 10
212.       deviceMemoryScaling: 1
213.       deviceCoreScaling: 1
214.     cambricon:
215.       resourceCountName: cambricon.com/vmlu
216.       resourceMemoryName: cambricon.com/mlu.smlu.vmemory
217.       resourceCoreName: cambricon.com/mlu.smlu.vcore
218.     hygon:
219.       resourceCountName: hygon.com/dcunum
220.       resourceMemoryName: hygon.com/dcumem
221.       resourceCoreName: hygon.com/dcucores
222.     metax:
223.       resourceCountName: "metax-tech.com/gpu"
224.     mthreads:
225.       resourceCountName: "mthreads.com/vgpu"
226.       resourceMemoryName: "mthreads.com/sgpu-memory"
227.       resourceCoreName: "mthreads.com/sgpu-core"
228.     iluvatar:
229.       resourceCountName: iluvatar.ai/vgpu
230.       resourceMemoryName: iluvatar.ai/vcuda-memory
231.       resourceCoreName: iluvatar.ai/vcuda-core
232.     vnpus:
233.     - chipName: 910B
234.       commonWord: Ascend910A
235.       resourceName: huawei.com/Ascend910A
236.       resourceMemoryName: huawei.com/Ascend910A-memory
237.       memoryAllocatable: 32768
238.       memoryCapacity: 32768
239.       aiCore: 30
240.       templates:
241.         - name: vir02
242.           memory: 2184
243.           aiCore: 2
244.         - name: vir04
245.           memory: 4369
246.           aiCore: 4
247.         - name: vir08
248.           memory: 8738
249.           aiCore: 8
250.         - name: vir16
251.           memory: 17476
252.           aiCore: 16
253.     - chipName: 910B3
254.       commonWord: Ascend910B
255.       resourceName: huawei.com/Ascend910B
256.       resourceMemoryName: huawei.com/Ascend910B-memory
257.       memoryAllocatable: 65536
258.       memoryCapacity: 65536
259.       aiCore: 20
260.       aiCPU: 7
261.       templates:
262.         - name: vir05_1c_16g
263.           memory: 16384
264.           aiCore: 5
265.           aiCPU: 1
266.         - name: vir10_3c_32g
267.           memory: 32768
268.           aiCore: 10
269.           aiCPU: 3
270.     - chipName: 310P3
271.       commonWord: Ascend310P
272.       resourceName: huawei.com/Ascend310P
273.       resourceMemoryName: huawei.com/Ascend310P-memory
274.       memoryAllocatable: 21527
275.       memoryCapacity: 24576
276.       aiCore: 8
277.       aiCPU: 7
278.       templates:
279.         - name: vir01
280.           memory: 3072
281.           aiCore: 1
282.           aiCPU: 1
283.         - name: vir02
284.           memory: 6144
285.           aiCore: 2
286.           aiCPU: 2
287.         - name: vir04
288.           memory: 12288
289.           aiCore: 4
290.           aiCPU: 4
291. ---
292. # Source: hami/templates/device-plugin/monitorrole.yaml
293. apiVersion: rbac.authorization.k8s.io/v1
294. kind: ClusterRole
295. metadata:
296.   name:  hami-device-plugin-monitor
297. rules:
298.   - apiGroups:
299.       - ""
300.     resources:
301.       - pods
302.     verbs:
303.       - get
304.       - create
305.       - watch
306.       - list
307.       - update
308.       - patch
309.   - apiGroups:
310.       - ""
311.     resources:
312.       - nodes
313.     verbs:
314.       - get
315.       - update
316.       - list
317.       - patch
318. ---
319. # Source: hami/templates/device-plugin/monitorrolebinding.yaml
320. apiVersion: rbac.authorization.k8s.io/v1
321. kind: ClusterRoleBinding
322. metadata:
323.   name: hami-device-plugin
324.   labels:
325.     app.kubernetes.io/component: "hami-device-plugin"
326.     helm.sh/chart: hami-2.4.0
327.     app.kubernetes.io/name: hami
328.     app.kubernetes.io/instance: hami
329.     app.kubernetes.io/version: "2.4.0"
330.     app.kubernetes.io/managed-by: Helm
331. roleRef:
332.   apiGroup: rbac.authorization.k8s.io
333.   kind: ClusterRole
334.   #name: cluster-admin
335.   name: hami-device-plugin-monitor
336. subjects:
337.   - kind: ServiceAccount
338.     name: hami-device-plugin
339.     namespace: "kube-system"
340. ---
341. # Source: hami/templates/scheduler/rolebinding.yaml
342. apiVersion: rbac.authorization.k8s.io/v1
343. kind: ClusterRoleBinding
344. metadata:
345.   name: hami-scheduler
346.   labels:
347.     app.kubernetes.io/component: "hami-scheduler"
348.     helm.sh/chart: hami-2.4.0
349.     app.kubernetes.io/name: hami
350.     app.kubernetes.io/instance: hami
351.     app.kubernetes.io/version: "2.4.0"
352.     app.kubernetes.io/managed-by: Helm
353. roleRef:
354.   apiGroup: rbac.authorization.k8s.io
355.   kind: ClusterRole
356.   name: cluster-admin
357. subjects:
358.   - kind: ServiceAccount
359.     name: hami-scheduler
360.     namespace: "kube-system"
361. ---
362. # Source: hami/templates/device-plugin/monitorservice.yaml
363. apiVersion: v1
364. kind: Service
365. metadata:
366.   name: hami-device-plugin-monitor
367.   labels:
368.     app.kubernetes.io/component: hami-device-plugin
369.     helm.sh/chart: hami-2.4.0
370.     app.kubernetes.io/name: hami
371.     app.kubernetes.io/instance: hami
372.     app.kubernetes.io/version: "2.4.0"
373.     app.kubernetes.io/managed-by: Helm
374. spec:
375.   externalTrafficPolicy: Local
376.   selector:
377.     app.kubernetes.io/component: hami-device-plugin
378.   type: NodePort
379.   ports:
380.     - name: monitorport
381.       port: 31992
382.       targetPort: 9394
383.       nodePort: 31992
384. ---
385. # Source: hami/templates/scheduler/service.yaml
386. apiVersion: v1
387. kind: Service
388. metadata:
389.   name: hami-scheduler
390.   labels:
391.     app.kubernetes.io/component: hami-scheduler
392.     helm.sh/chart: hami-2.4.0
393.     app.kubernetes.io/name: hami
394.     app.kubernetes.io/instance: hami
395.     app.kubernetes.io/version: "2.4.0"
396.     app.kubernetes.io/managed-by: Helm
397. spec:
398.   type: NodePort
399.   ports:
400.     - name: http
401.       port: 443
402.       targetPort: 443
403.       nodePort: 31998
404.       protocol: TCP
405.     - name: monitor
406.       port: 31993
407.       targetPort: 9395
408.       nodePort: 31993
409.       protocol: TCP
410.   selector:
411.     app.kubernetes.io/component: hami-scheduler
412.     app.kubernetes.io/name: hami
413.     app.kubernetes.io/instance: hami
414. ---
415. # Source: hami/templates/device-plugin/daemonsetnvidia.yaml
416. apiVersion: apps/v1
417. kind: DaemonSet
418. metadata:
419.   name: hami-device-plugin
420.   labels:
421.     app.kubernetes.io/component: hami-device-plugin
422.     helm.sh/chart: hami-2.4.0
423.     app.kubernetes.io/name: hami
424.     app.kubernetes.io/instance: hami
425.     app.kubernetes.io/version: "2.4.0"
426.     app.kubernetes.io/managed-by: Helm
427. spec:
428.   selector:
429.     matchLabels:
430.       app.kubernetes.io/component: hami-device-plugin
431.       app.kubernetes.io/name: hami
432.       app.kubernetes.io/instance: hami
433.   template:
434.     metadata:
435.       labels:
436.         app.kubernetes.io/component: hami-device-plugin
437.         hami.io/webhook: ignore
438.         app.kubernetes.io/name: hami
439.         app.kubernetes.io/instance: hami
440.     spec:
441.       imagePullSecrets:
442.         []
443.       serviceAccountName: hami-device-plugin
444.       priorityClassName: system-node-critical
445.       hostPID: true
446.       hostNetwork: true
447.       containers:
448.         - name: device-plugin
449.           image: projecthami/hami:latest
450.           imagePullPolicy: "IfNotPresent"
451.           lifecycle:
452.             postStart:
453.               exec:
454.                 command: ["/bin/sh","-c", "cp -f /k8s-vgpu/lib/nvidia/* /usr/local/vgpu/"]
455.           command:
456.             - nvidia-device-plugin
457.             - --config-file=/device-config.yaml
458.             - --mig-strategy=none
459.             - --disable-core-limit=false
460.             - -v=false
461.           env:
462.             - name: NODE_NAME
463.               valueFrom:
464.                 fieldRef:
465.                   fieldPath: spec.nodeName
466.             - name: NVIDIA_MIG_MONITOR_DEVICES
467.               value: all
468.             - name: HOOK_PATH
469.               value: /usr/local
470.           securityContext:
471.             allowPrivilegeEscalation: false
472.             capabilities:
473.               drop: ["ALL"]
474.               add: ["SYS_ADMIN"]
475.           volumeMounts:
476.             - name: device-plugin
477.               mountPath: /var/lib/kubelet/device-plugins
478.             - name: lib
479.               mountPath: /usr/local/vgpu
480.             - name: usrbin
481.               mountPath: /usrbin
482.             - name: deviceconfig
483.               mountPath: /config
484.             - name: hosttmp
485.               mountPath: /tmp
486.             - name: device-config
487.               mountPath: /device-config.yaml
488.               subPath: device-config.yaml
489.         - name: vgpu-monitor
490.           image: projecthami/hami:latest
491.           imagePullPolicy: "IfNotPresent"
492.           command: ["vGPUmonitor"]
493.           securityContext:
494.             allowPrivilegeEscalation: false
495.             capabilities:
496.               drop: ["ALL"]
497.               add: ["SYS_ADMIN"]
498.           env:
499.             - name: NVIDIA_VISIBLE_DEVICES
500.               value: "all"
501.             - name: NVIDIA_MIG_MONITOR_DEVICES
502.               value: all
503.             - name: HOOK_PATH
504.               value: /usr/local/vgpu              
505.           volumeMounts:
506.             - name: ctrs
507.               mountPath: /usr/local/vgpu/containers
508.             - name: dockers
509.               mountPath: /run/docker
510.             - name: containerds
511.               mountPath: /run/containerd
512.             - name: sysinfo
513.               mountPath: /sysinfo
514.             - name: hostvar
515.               mountPath: /hostvar
516.       volumes:
517.         - name: ctrs
518.           hostPath:
519.             path: /usr/local/vgpu/containers
520.         - name: hosttmp
521.           hostPath:
522.             path: /tmp
523.         - name: dockers
524.           hostPath:
525.             path: /run/docker
526.         - name: containerds
527.           hostPath:
528.             path: /run/containerd
529.         - name: device-plugin
530.           hostPath:
531.             path: /var/lib/kubelet/device-plugins
532.         - name: lib
533.           hostPath:
534.             path: /usr/local/vgpu
535.         - name: usrbin
536.           hostPath:
537.             path: /usr/bin
538.         - name: sysinfo
539.           hostPath:
540.             path: /sys
541.         - name: hostvar
542.           hostPath:
543.             path: /var
544.         - name: deviceconfig
545.           configMap:
546.             name: hami-device-plugin
547.         - name: device-config
548.           configMap:
549.             name: hami-scheduler-device
550.       nodeSelector:
551.         gpu: "on"
552. ---
553. # Source: hami/templates/scheduler/deployment.yaml
554. apiVersion: apps/v1
555. kind: Deployment
556. metadata:
557.   name: hami-scheduler
558.   labels:
559.     app.kubernetes.io/component: hami-scheduler
560.     helm.sh/chart: hami-2.4.0
561.     app.kubernetes.io/name: hami
562.     app.kubernetes.io/instance: hami
563.     app.kubernetes.io/version: "2.4.0"
564.     app.kubernetes.io/managed-by: Helm
565. spec:
566.   replicas: 1
567.   selector:
568.     matchLabels:
569.       app.kubernetes.io/component: hami-scheduler
570.       app.kubernetes.io/name: hami
571.       app.kubernetes.io/instance: hami
572.   template:
573.     metadata:
574.       labels:
575.         app.kubernetes.io/component: hami-scheduler
576.         app.kubernetes.io/name: hami
577.         app.kubernetes.io/instance: hami
578.         hami.io/webhook: ignore
579.     spec:
580.       imagePullSecrets:
581.         []
582.       serviceAccountName: hami-scheduler
583.       priorityClassName: system-node-critical
584.       containers:
585.         - name: kube-scheduler
586.           image: registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.31.0
587.           imagePullPolicy: "IfNotPresent"
588.           command:
589.             - kube-scheduler
590.             - --config=/config/config.yaml
591.             - -v=4
592.             - --leader-elect=true
593.             - --leader-elect-resource-name=hami-scheduler
594.             - --leader-elect-resource-namespace=kube-system
595.           volumeMounts:
596.             - name: scheduler-config
597.               mountPath: /config
598.         - name: vgpu-scheduler-extender
599.           image: projecthami/hami:latest
600.           imagePullPolicy: "IfNotPresent"
601.           env:
602.           command:
603.             - scheduler
604.             - --http_bind=0.0.0.0:443
605.             - --cert_file=/tls/tls.crt
606.             - --key_file=/tls/tls.key
607.             - --scheduler-name=hami-scheduler
608.             - --metrics-bind-address=:9395
609.             - --node-scheduler-policy=binpack
610.             - --gpu-scheduler-policy=spread
611.             - --device-config-file=/device-config.yaml
612.             - --debug
613.             - -v=4
614.           ports:
615.             - name: http
616.               containerPort: 443
617.               protocol: TCP
618.           volumeMounts:
619.             - name: tls-config
620.               mountPath: /tls
621.             - name: device-config
622.               mountPath: /device-config.yaml
623.               subPath: device-config.yaml
624.       volumes:
625.         - name: tls-config
626.           secret:
627.             secretName: hami-scheduler-tls
628.         - name: scheduler-config
629.           configMap:
630.             name: hami-scheduler-newversion
631.         - name: device-config
632.           configMap:
633.             name: hami-scheduler-device
634. ---
635. # Source: hami/templates/scheduler/webhook.yaml
636. apiVersion: admissionregistration.k8s.io/v1
637. kind: MutatingWebhookConfiguration
638. metadata:
639.   name: hami-webhook
640. webhooks:
641.   - admissionReviewVersions:
642.     - v1beta1
643.     clientConfig:
644.       service:
645.         name: hami-scheduler
646.         namespace: kube-system
647.         path: /webhook
648.         port: 443
649.     failurePolicy: Ignore
650.     matchPolicy: Equivalent
651.     name: vgpu.hami.io
652.     namespaceSelector:
653.       matchExpressions:
654.       - key: hami.io/webhook
655.         operator: NotIn
656.         values:
657.         - ignore
658.     objectSelector:
659.       matchExpressions:
660.       - key: hami.io/webhook
661.         operator: NotIn
662.         values:
663.         - ignore
664.     reinvocationPolicy: Never
665.     rules:
666.       - apiGroups:
667.           - ""
668.         apiVersions:
669.           - v1
670.         operations:
671.           - CREATE
672.         resources:
673.           - pods
674.         scope: '*'
675.     sideEffects: None
676.     timeoutSeconds: 10
677. ---
678. # Source: hami/templates/scheduler/job-patch/serviceaccount.yaml
679. apiVersion: v1
680. kind: ServiceAccount
681. metadata:
682.   name: hami-admission
683.   annotations:
684.     "helm.sh/hook": pre-install,pre-upgrade,post-install,post-upgrade
685.     "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
686.   labels:
687.     helm.sh/chart: hami-2.4.0
688.     app.kubernetes.io/name: hami
689.     app.kubernetes.io/instance: hami
690.     app.kubernetes.io/version: "2.4.0"
691.     app.kubernetes.io/managed-by: Helm
692.     app.kubernetes.io/component: admission-webhook
693. ---
694. # Source: hami/templates/scheduler/job-patch/clusterrole.yaml
695. apiVersion: rbac.authorization.k8s.io/v1
696. kind: ClusterRole
697. metadata:
698.   name: hami-admission
699.   annotations:
700.     "helm.sh/hook": pre-install,pre-upgrade,post-install,post-upgrade
701.     "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
702.   labels:
703.     helm.sh/chart: hami-2.4.0
704.     app.kubernetes.io/name: hami
705.     app.kubernetes.io/instance: hami
706.     app.kubernetes.io/version: "2.4.0"
707.     app.kubernetes.io/managed-by: Helm
708.     app.kubernetes.io/component: admission-webhook
709. rules:
710.   - apiGroups:
711.       - admissionregistration.k8s.io
712.     resources:
713.       #- validatingwebhookconfigurations
714.       - mutatingwebhookconfigurations
715.     verbs:
716.       - get
717.       - update
718. ---
719. # Source: hami/templates/scheduler/job-patch/clusterrolebinding.yaml
720. apiVersion: rbac.authorization.k8s.io/v1
721. kind: ClusterRoleBinding
722. metadata:
723.   name:  hami-admission
724.   annotations:
725.     "helm.sh/hook": pre-install,pre-upgrade,post-install,post-upgrade
726.     "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
727.   labels:
728.     helm.sh/chart: hami-2.4.0
729.     app.kubernetes.io/name: hami
730.     app.kubernetes.io/instance: hami
731.     app.kubernetes.io/version: "2.4.0"
732.     app.kubernetes.io/managed-by: Helm
733.     app.kubernetes.io/component: admission-webhook
734. roleRef:
735.   apiGroup: rbac.authorization.k8s.io
736.   kind: ClusterRole
737.   name: hami-admission
738. subjects:
739.   - kind: ServiceAccount
740.     name: hami-admission
741.     namespace: "kube-system"
742. ---
743. # Source: hami/templates/scheduler/job-patch/role.yaml
744. apiVersion: rbac.authorization.k8s.io/v1
745. kind: Role
746. metadata:
747.   name:  hami-admission
748.   annotations:
749.     "helm.sh/hook": pre-install,pre-upgrade,post-install,post-upgrade
750.     "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
751.   labels:
752.     helm.sh/chart: hami-2.4.0
753.     app.kubernetes.io/name: hami
754.     app.kubernetes.io/instance: hami
755.     app.kubernetes.io/version: "2.4.0"
756.     app.kubernetes.io/managed-by: Helm
757.     app.kubernetes.io/component: admission-webhook
758. rules:
759.   - apiGroups:
760.       - ""
761.     resources:
762.       - secrets
763.     verbs:
764.       - get
765.       - create
766. ---
767. # Source: hami/templates/scheduler/job-patch/rolebinding.yaml
768. apiVersion: rbac.authorization.k8s.io/v1
769. kind: RoleBinding
770. metadata:
771.   name: hami-admission
772.   annotations:
773.     "helm.sh/hook": pre-install,pre-upgrade,post-install,post-upgrade
774.     "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
775.   labels:
776.     helm.sh/chart: hami-2.4.0
777.     app.kubernetes.io/name: hami
778.     app.kubernetes.io/instance: hami
779.     app.kubernetes.io/version: "2.4.0"
780.     app.kubernetes.io/managed-by: Helm
781.     app.kubernetes.io/component: admission-webhook
782. roleRef:
783.   apiGroup: rbac.authorization.k8s.io
784.   kind: Role
785.   name: hami-admission
786. subjects:
787.   - kind: ServiceAccount
788.     name: hami-admission
789.     namespace: "kube-system"
790. ---
791. # Source: hami/templates/scheduler/job-patch/job-createSecret.yaml
792. apiVersion: batch/v1
793. kind: Job
794. metadata:
795.   name: hami-admission-create
796.   annotations:
797.     "helm.sh/hook": pre-install,pre-upgrade
798.     "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
799.   labels:
800.     helm.sh/chart: hami-2.4.0
801.     app.kubernetes.io/name: hami
802.     app.kubernetes.io/instance: hami
803.     app.kubernetes.io/version: "2.4.0"
804.     app.kubernetes.io/managed-by: Helm
805.     app.kubernetes.io/component: admission-webhook
806. spec:
807.   template:
808.     metadata:
809.       name: hami-admission-create
810.       labels:
811.         helm.sh/chart: hami-2.4.0
812.         app.kubernetes.io/name: hami
813.         app.kubernetes.io/instance: hami
814.         app.kubernetes.io/version: "2.4.0"
815.         app.kubernetes.io/managed-by: Helm
816.         app.kubernetes.io/component: admission-webhook
817.         hami.io/webhook: ignore
818.     spec:
819.       imagePullSecrets:
820.         []
821.       containers:
822.         - name: create
823.           image: liangjw/kube-webhook-certgen:v1.1.1
824.           imagePullPolicy: IfNotPresent
825.           args:
826.             - create
827.             - --cert-name=tls.crt
828.             - --key-name=tls.key
829.             - --host=hami-scheduler.kube-system.svc,127.0.0.1
830.             - --namespace=kube-system
831.             - --secret-name=hami-scheduler-tls
832.       restartPolicy: OnFailure
833.       serviceAccountName: hami-admission
834.       securityContext:
835.         runAsNonRoot: true
836.         runAsUser: 2000
837. ---
838. # Source: hami/templates/scheduler/job-patch/job-patchWebhook.yaml
839. apiVersion: batch/v1
840. kind: Job
841. metadata:
842.   name: hami-admission-patch
843.   annotations:
844.     "helm.sh/hook": post-install,post-upgrade
845.     "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
846.   labels:
847.     helm.sh/chart: hami-2.4.0
848.     app.kubernetes.io/name: hami
849.     app.kubernetes.io/instance: hami
850.     app.kubernetes.io/version: "2.4.0"
851.     app.kubernetes.io/managed-by: Helm
852.     app.kubernetes.io/component: admission-webhook
853. spec:
854.   template:
855.     metadata:
856.       name: hami-admission-patch
857.       labels:
858.         helm.sh/chart: hami-2.4.0
859.         app.kubernetes.io/name: hami
860.         app.kubernetes.io/instance: hami
861.         app.kubernetes.io/version: "2.4.0"
862.         app.kubernetes.io/managed-by: Helm
863.         app.kubernetes.io/component: admission-webhook
864.         hami.io/webhook: ignore
865.     spec:
866.       imagePullSecrets:
867.         []
868.       containers:
869.         - name: patch
870.           image: liangjw/kube-webhook-certgen:v1.1.1
871.           imagePullPolicy: IfNotPresent
872.           args:
873.             - patch
874.             - --webhook-name=hami-webhook
875.             - --namespace=kube-system
876.             - --patch-validating=false
877.             - --secret-name=hami-scheduler-tls
878.       restartPolicy: OnFailure
879.       serviceAccountName: hami-admission
880.       securityContext:
881.         runAsNonRoot: true
882.         runAsUser: 2000

复制代码

部署dcgm-exporter

1. apiVersion: apps/v1
2. kind: DaemonSet
3. metadata:
4.   name: "dcgm-exporter"
5.   labels:
6.     app.kubernetes.io/name: "dcgm-exporter"
7.     app.kubernetes.io/version: "3.6.1"
8. spec:
9.   updateStrategy:
10.     type: RollingUpdate
11.   selector:
12.     matchLabels:
13.       app.kubernetes.io/name: "dcgm-exporter"
14.       app.kubernetes.io/version: "3.6.1"
15.   template:
16.     metadata:
17.       labels:
18.         app.kubernetes.io/name: "dcgm-exporter"
19.         app.kubernetes.io/version: "3.6.1"
20.       name: "dcgm-exporter"
21.     spec:
22.       containers:
23.       - image: "nvcr.io/nvidia/k8s/dcgm-exporter:3.3.9-3.6.1-ubuntu22.04"
24.         env:
25.         - name: "DCGM_EXPORTER_LISTEN"
26.           value: ":9400"
27.         - name: "DCGM_EXPORTER_KUBERNETES"
28.           value: "true"
29.         name: "dcgm-exporter"
30.         ports:
31.         - name: "metrics"
32.           containerPort: 9400
33.         securityContext:
34.           runAsNonRoot: false
35.           runAsUser: 0
36.           capabilities:
37.             add: ["SYS_ADMIN"]
38.         volumeMounts:
39.         - name: "pod-gpu-resources"
40.           readOnly: true
41.           mountPath: "/var/lib/kubelet/pod-resources"
42.       volumes:
43.       - name: "pod-gpu-resources"
44.         hostPath:
45.           path: "/var/lib/kubelet/pod-resources"
47. ---
49. kind: Service
50. apiVersion: v1
51. metadata:
52.   name: "dcgm-exporter"
53.   labels:
54.     app.kubernetes.io/name: "dcgm-exporter"
55.     app.kubernetes.io/version: "3.6.1"
56. spec:
57.   selector:
58.     app.kubernetes.io/name: "dcgm-exporter"
59.     app.kubernetes.io/version: "3.6.1"
60.   ports:
61.   - name: "metrics"
62.     port: 9400

复制代码

dcgm-exporter安装成功

参考这个hami-vgpu  dashboard 下载panel 的json文件
hami-vgpu-dashboard | Grafana Labs 导入后grafana中将创建一个名为“hami-vgpu-dashboard”的dashboard，但此页面中有一些Panel如vGPUCorePercentage还没有数据

ServiceMonitor 是 Prometheus Operator 中的一个自定义资源，主要用于监控 Kubernetes 中的服务。它的作用包罗：
1. 自动化发现

ServiceMonitor 允许 Prometheus 自动发现和监控 Kubernetes 中的服务。通过定义 ServiceMonitor，您可以告诉 Prometheus 监控特定服务的端点。
2. 配置抓取参数

您可以在 ServiceMonitor 中设置抓取的相关参数，比方：

• 抓取隔断：定义 Prometheus 多频繁抓取数据（如每 30 秒）。
  
• 超时：定义抓取请求的超时时间。
  
• 标签选择器：指定要监控的服务的标签，确保 Prometheus 仅抓取相关服务的数据。
  

dcgm-exporter须要配置两个service monitor
hami-device-plugin-svc-monitor.yaml

1. apiVersion: monitoring.coreos.com/v1
2. kind: ServiceMonitor
3. metadata:
4.   name: hami-device-plugin-svc-monitor
5.   namespace: kube-system
6. spec:
7.   selector:
8.     matchLabels:
9.       app.kubernetes.io/component: hami-device-plugin
10.   namespaceSelector:
11.     matchNames:
12.       - kube-system
13.   endpoints:
14.     - path: /metrics
15.       port: monitorport
16.       interval: "15s"
17.       honorLabels: false
18.       relabelings:
19.         - sourceLabels: [__meta_kubernetes_endpoints_name]
20.           regex: hami-.*
21.           replacement: $1
22.           action: keep
23.         - sourceLabels: [__meta_kubernetes_pod_node_name]
24.           regex: (.*)
25.           targetLabel: node_name
26.           replacement: ${1}
27.           action: replace
28.         - sourceLabels: [__meta_kubernetes_pod_host_ip]
29.           regex: (.*)
30.           targetLabel: ip
31.           replacement: $1
32.           action: replace

复制代码

hami-scheduler-svc-monitor.yaml

1. apiVersion: monitoring.coreos.com/v1
2. kind: ServiceMonitor
3. metadata:
4.   name: hami-scheduler-svc-monitor
5.   namespace: kube-system
6. spec:
7.   selector:
8.     matchLabels:
9.       app.kubernetes.io/component: hami-scheduler
10.   namespaceSelector:
11.     matchNames:
12.       - kube-system
13.   endpoints:
14.     - path: /metrics
15.       port: monitor
16.       interval: "15s"
17.       honorLabels: false
18.       relabelings:
19.         - sourceLabels: [__meta_kubernetes_endpoints_name]
20.           regex: hami-.*
21.           replacement: $1
22.           action: keep
23.         - sourceLabels: [__meta_kubernetes_pod_node_name]
24.           regex: (.*)
25.           targetLabel: node_name
26.           replacement: ${1}
27.           action: replace
28.         - sourceLabels: [__meta_kubernetes_pod_host_ip]
29.           regex: (.*)
30.           targetLabel: ip
31.           replacement: $1
32.           action: replace

复制代码

确认创建的ServiceMonitor

启动gpu pod一个测试下

1. apiVersion: v1
2. kind: Pod
3. metadata:
4.   name: gpu-pod-1
5. spec:
6.   restartPolicy: Never
7.   containers:
8.     - name: cuda-container
9.       image: nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda11.2.1
10.       command: ["sleep", "infinity"]
11.       resources:
12.         limits:
13.           nvidia.com/gpu: 1
14.           nvidia.com/gpumem: 1000
15.           nvidia.com/gpucores: 10

复制代码

如果看到pod不绝pending 状态

检查下节点如果出现下面gpu为0的环境

须要

1.    docker：
2.                 1:下载NVIDIA-DOCKER2安装包并安装
3.                 2:修改/etc/docker/daemon.json文件内容加上
4.                         {
5.                         "default-runtime": "nvidia",
6.                                 "runtimes": {
7.                                         "nvidia": {
8.                                                 "path": "/usr/bin/nvidia-container-runtime",
9.                                                 "runtimeArgs": []
10.                                         }
11.                                 },
12.                         }
13.         k8s:
14.                 1:下载k8s-device-plugin 镜像
15.                 2:编写nvidia-device-plugin.yml创建驱动pod

复制代码

使用这个yml进行创建

1. apiVersion: apps/v1
2. kind: DaemonSet
3. metadata:
4.   name: nvidia-device-plugin-daemonset
5.   namespace: kube-system
6. spec:
7.   selector:
8.     matchLabels:
9.       name: nvidia-device-plugin-ds
10.   updateStrategy:
11.     type: RollingUpdate
12.   template:
13.     metadata:
14.       labels:
15.         name: nvidia-device-plugin-ds
16.     spec:
17.       tolerations:
18.       - key: nvidia.com/gpu
19.         operator: Exists
20.         effect: NoSchedule
21.       priorityClassName: "system-node-critical"
22.       containers:
23.       - image: nvidia/k8s-device-plugin:1.11
24.         name: nvidia-device-plugin-ctr
25.         env:
26.           - name: FAIL_ON_INIT_ERROR
27.             value: "false"
28.         securityContext:
29.           allowPrivilegeEscalation: false
30.           capabilities:
31.             drop: ["ALL"]
32.         volumeMounts:
33.         - name: device-plugin
34.           mountPath: /var/lib/kubelet/device-plugins
35.       volumes:
36.       - name: device-plugin
37.         hostPath:
38.           path: /var/lib/kubelet/device-plugins

复制代码

gpu pod启动后进入查看下， gpu内存和限制的大小雷同设置成功

访问下{scheduler node ip}:31993/metrics 

日志最后有两行

1. vGPUPodsDeviceAllocated{containeridx="0",deviceusedcore="40",deviceuuid="GPU-7666e9de-679b-a768-51c6-260b81cd00ec",nodename="192.168.110.126",podname="gpu-pod-1",podnamespace="default",zone="vGPU"} 1.048576e+10
2. vGPUPodsDeviceAllocated{containeridx="0",deviceusedcore="40",deviceuuid="GPU-7666e9de-679b-a768-51c6-260b81cd00ec",nodename="192.168.110.126",podname="gpu-pod-2",podnamespace="default",zone="vGPU"} 1.048576e+10

复制代码

可以看到雷同deviceuuid的gpu被不同pod共享使用
exec进入hami-device-plugin  daemonset里面执行nvidia-smi -L 可以看到呆板上所有显卡的信息
   root@node126:/# nvidia-smi -L
GPU 0: NVIDIA GeForce RTX 4090 (UUID: GPU-7666e9de-679b-a768-51c6-260b81cd00ec)
GPU 1: NVIDIA GeForce RTX 4090 (UUID: GPU-9f32af29-1a72-6e47-af2c-72b1130a176b)
root@node126:/# 
  
之前创建的两个serviceMonitor会去请求
app.kubernetes.io/component: hami-scheduler 和app.kubernetes.io/component: hami-device-plugin 的/metrics  接口获取数据
当gpu-pod跑起来以后查看hami-vgpu-metrics-dashboard

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。