ToB企服应用市场:ToB评测及商务社交产业平台

标题: kubernetes数据持久化StorageClass动态供给(二) [打印本页]

---

作者: 祗疼妳一个    时间: 2022-11-28 23:16
标题: kubernetes数据持久化StorageClass动态供给(二)

• 存储类的好处之一便是支持PV的动态供给，它甚至可以直接被视作为PV的创建模版，用户用到持久性存储时，需要通过创建PVC来绑定匹配的PV，此类操作需求较大，或者当管理员手动创建的PV无法满足PVC的所有需求时，系统按PVC的需求标准动态创建适配的PV会为存储管理带来极大的灵活性，不过仅那些属于StorageClass的PVC和PV才能产生绑定关系，即没有指定StorageClass的PVC只能绑定同类的PV。
  
• 存储类对象的名称至关重要，它是用户调用的标识，创建存储类对象时，除了名称之外，还需要为其定义三个关键字段。provisioner、parameter和reclaimPolicy。
  
• 所以kubernetes提供了一种可以动态分配的工作机制，可用自动创建PV，该机制依赖于StorageClass的API，将某个存储节点划分1T给kubernetes使用，当用户申请5Gi的PVC时，会自动从这1T的存储空间去创建一个5Gi的PV，而后自动与之进行关联绑定。
  
• 动态PV供给的启用需要事先创建一个存储类，不同的Provisoner的创建方法各有不同，并非所有的存储卷插件都由Kubernetes内建支持PV动态供给。
  

2.基于NFS实现动态供应

由于kubernetes内部不包含NFS驱动，所以需要使用外部驱动nfs-subdir-external-provisioner是一个自动供应器，它使用NFS服务端来支持动态供应。
NFS-subdir-external- provisioner实例负责监视PersistentVolumeClaims请求StorageClass，并自动为它们创建NFS所支持的PresistentVolumes。
GitHub地址: https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner
2.1 准备NFS服务端的共享目录

这里的意思是要把哪个目录给kubernetes来使用。把目录共享出来。

1. [root@kn-server-node02-15 ~]# ll /data/
2. 总用量 0
3. [root@kn-server-node02-15 ~]# showmount -e 10.0.0.15
4. Export list for 10.0.0.15:
5. /data        10.0.0.0/24

复制代码

2.2 安装NFS-Server驱动。

首先创建RBAC权限。

1. [root@kn-server-master01-13 nfs-provisioner]# cat nfs-rbac.yaml
2. apiVersion: v1
3. kind: ServiceAccount
4. metadata:
5.   name: nfs-client-provisioner
6.   # replace with namespace where provisioner is deployed
7.   namespace: default
8. ---
9. kind: ClusterRole
10. apiVersion: rbac.authorization.k8s.io/v1
11. metadata:
12.   name: nfs-client-provisioner-runner
13. rules:
14.   - apiGroups: [""]
15.     resources: ["nodes"]
16.     verbs: ["get", "list", "watch"]
17.   - apiGroups: [""]
18.     resources: ["persistentvolumes"]
19.     verbs: ["get", "list", "watch", "create", "delete"]
20.   - apiGroups: [""]
21.     resources: ["persistentvolumeclaims"]
22.     verbs: ["get", "list", "watch", "update"]
23.   - apiGroups: ["storage.k8s.io"]
24.     resources: ["storageclasses"]
25.     verbs: ["get", "list", "watch"]
26.   - apiGroups: [""]
27.     resources: ["events"]
28.     verbs: ["create", "update", "patch"]
29. ---
30. kind: ClusterRoleBinding
31. apiVersion: rbac.authorization.k8s.io/v1
32. metadata:
33.   name: run-nfs-client-provisioner
34. subjects:
35.   - kind: ServiceAccount
36.     name: nfs-client-provisioner
37.     # replace with namespace where provisioner is deployed
38.     namespace: default
39. roleRef:
40.   kind: ClusterRole
41.   name: nfs-client-provisioner-runner
42.   apiGroup: rbac.authorization.k8s.io
43. ---
44. kind: Role
45. apiVersion: rbac.authorization.k8s.io/v1
46. metadata:
47.   name: leader-locking-nfs-client-provisioner
48.   # replace with namespace where provisioner is deployed
49.   namespace: default
50. rules:
51.   - apiGroups: [""]
52.     resources: ["endpoints"]
53.     verbs: ["get", "list", "watch", "create", "update", "patch"]
54. ---
55. kind: RoleBinding
56. apiVersion: rbac.authorization.k8s.io/v1
57. metadata:
58.   name: leader-locking-nfs-client-provisioner
59.   # replace with namespace where provisioner is deployed
60.   namespace: default
61. subjects:
62.   - kind: ServiceAccount
63.     name: nfs-client-provisioner
64.     # replace with namespace where provisioner is deployed
65.     namespace: default
66. roleRef:
67.   kind: Role
68.   name: leader-locking-nfs-client-provisioner
69.   apiGroup: rbac.authorization.k8s.io
70. [root@kn-server-master01-13 nfs-provisioner]# kubectl apply -f nfs-rbac.yaml
71. serviceaccount/nfs-client-provisioner created
72. clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-runner created
73. clusterrolebinding.rbac.authorization.k8s.io/run-nfs-client-provisioner created
74. role.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created
75. rolebinding.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created

复制代码

2.3 部署NFS-Provisioner

1. [root@kn-server-master01-13 nfs-provisioner]# cat nfs-provisioner-deploy.yaml
2. apiVersion: apps/v1
3. kind: Deployment
4. metadata:
5.   name: nfs-client-provisioner
6.   labels:
7.     app: nfs-client-provisioner
8.   # replace with namespace where provisioner is deployed
9.   namespace: default
10. spec:
11.   replicas: 1
12.   strategy:
13.     type: Recreate
14.   selector:
15.     matchLabels:
16.       app: nfs-client-provisioner
17.   template:
18.     metadata:
19.       labels:
20.         app: nfs-client-provisioner
21.     spec:
22.       serviceAccountName: nfs-client-provisioner
23.       containers:
24.         - name: nfs-client-provisioner
25.           image: k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2  镜像在国内是拉取不到的，因此为下载下来了放在我的docker hub。 替换为lihuahaitang/nfs-subdir-external-provisioner:v4.0.2
26.           volumeMounts:
27.             - name: nfs-client-root
28.               mountPath: /persistentvolumes
29.           env:
30.             - name: PROVISIONER_NAME
31.               value: k8s-sigs.io/nfs-subdir-external-provisioner   NFS-Provisioner的名称，后续StorageClassName要与该名称保持一致
32.             - name: NFS_SERVER    NFS服务器的地址
33.               value: 10.0.0.15  
34.             - name: NFS_PATH
35.               value: /data
36.       volumes:
37.         - name: nfs-client-root
38.           nfs:
39.             server: 10.0.0.15
40.             path: /data
41. [root@kn-server-master01-13 nfs-provisioner]# kubectl apply -f nfs-provisioner-deploy.yaml
42. deployment.apps/nfs-client-provisioner created
45. Pod正常运行。
46. [root@kn-server-master01-13 nfs-provisioner]# kubectl get pods
47. NAME                                      READY   STATUS    RESTARTS   AGE
48. nfs-client-provisioner-57d6d9d5f6-dcxgq   1/1     Running   0          2m25s
50. describe查看Pod详细信息；
51. [root@kn-server-master01-13 nfs-provisioner]# kubectl describe pods nfs-client-provisioner-57d6d9d5f6-dcxgq
52. Name:         nfs-client-provisioner-57d6d9d5f6-dcxgq
53. Namespace:    default
54. Priority:     0
55. Node:         kn-server-node02-15/10.0.0.15
56. Start Time:   Mon, 28 Nov 2022 11:19:33 +0800
57. Labels:       app=nfs-client-provisioner
58.               pod-template-hash=57d6d9d5f6
59. Annotations:  <none>
60. Status:       Running
61. IP:           192.168.2.82
62. IPs:
63.   IP:           192.168.2.82
64. Controlled By:  ReplicaSet/nfs-client-provisioner-57d6d9d5f6
65. Containers:
66.   nfs-client-provisioner:
67.     Container ID:   docker://b5ea240a8693185be681714747f8e0a9f347492a24920dd68e629effb3a7400f
68.     Image:          k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2  镜像来自k8s.gcr.io
69.     Image ID:       docker-pullable://k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner@sha256:63d5e04551ec8b5aae83b6f35938ca5ddc50a88d85492d9731810c31591fa4c9
70.     Port:           <none>
71.     Host Port:      <none>
72.     State:          Running
73.       Started:      Mon, 28 Nov 2022 11:20:12 +0800
74.     Ready:          True
75.     Restart Count:  0
76.     Environment:
77.       PROVISIONER_NAME:  k8s-sigs.io/nfs-subdir-external-provisioner
78.       NFS_SERVER:        10.0.0.15
79.       NFS_PATH:          /data
80.     Mounts:
81.       /persistentvolumes from nfs-client-root (rw)
82.       /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-q2z8w (ro)
83. Conditions:
84.   Type              Status
85.   Initialized       True
86.   Ready             True
87.   ContainersReady   True
88.   PodScheduled      True
89. Volumes:
90.   nfs-client-root:
91.     Type:      NFS (an NFS mount that lasts the lifetime of a pod)
92.     Server:    10.0.0.15
93.     Path:      /data
94.     ReadOnly:  false
95.   kube-api-access-q2z8w:
96.     Type:                    Projected (a volume that contains injected data from multiple sources)
97.     TokenExpirationSeconds:  3607
98.     ConfigMapName:           kube-root-ca.crt
99.     ConfigMapOptional:       <nil>
100.     DownwardAPI:             true
101. QoS Class:                   BestEffort
102. Node-Selectors:              <none>
103. Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
104.                              node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
105. Events:
106.   Type    Reason     Age    From               Message
107.   ----    ------     ----   ----               -------
108.   Normal  Scheduled  3m11s  default-scheduler  Successfully assigned default/nfs-client-provisioner-57d6d9d5f6-dcxgq to kn-server-node02-15
109.   Normal  Pulling    3m11s  kubelet            Pulling image "k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2"
110.   Normal  Pulled     2m32s  kubelet            Successfully pulled image "k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2" in 38.965869132s
111.   Normal  Created    2m32s  kubelet            Created container nfs-client-provisioner
112.   Normal  Started    2m32s  kubelet            Started container nfs-client-provisioner

复制代码

2.4 创建StorageClass

创建NFS StorageClass动态供应商。

1. [root@kn-server-master01-13 nfs-provisioner]# cat storageclass.yaml
2. apiVersion: storage.k8s.io/v1
3. kind: StorageClass    类型为storageclass
4. metadata:
5.   name: nfs-provisioner-storage    PVC申请时需明确指定的storageclass名称
6.   annotations:
7.     storageclass.kubernetes.io/is-default-class: "true"
8. provisioner: k8s-sigs.io/nfs-subdir-external-provisioner  供应商名称，必须和上面创建的"PROVISIONER_NAME"保持一致
9. parameters:
10.   archiveOnDelete: "false" 如果值为false，删除pvc后也会删除目录内容，"true"则会对数据进行保留
11.   pathPattern: "${.PVC.namespace}/${.PVC.name}" 创建目录路径的模板，默认为随机命名。
12. [root@kn-server-master01-13 nfs-provisioner]# kubectl apply -f storageclass.yaml
13. storageclass.storage.k8s.io/nfs-provisioner-storage created
15. storage简写sc
16. [root@kn-server-master01-13 nfs-provisioner]# kubectl get sc
17. NAME                      PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
18. nfs-provisioner-storage   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate           false                  3s
20. describe查看配详细信息。
21. [root@kn-server-master01-13 nfs-provisioner]# kubectl describe sc
22. Name:            nfs-provisioner-storage
23. IsDefaultClass:  Yes
24. Annotations:     kubectl.kubernetes.io/last-applied-configuration={"apiVersion":"storage.k8s.io/v1","kind":"StorageClass","metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"true"},"name":"nfs-provisioner-storage"},"parameters":{"archiveOnDelete":"false","pathPattern":"${.PVC.namespace}/${.PVC.name}"},"provisioner":"k8s-sigs.io/nfs-subdir-external-provisioner"}
25. ,storageclass.kubernetes.io/is-default-class=true
26. Provisioner:           k8s-sigs.io/nfs-subdir-external-provisioner
27. Parameters:            archiveOnDelete=false,pathPattern=${.PVC.namespace}/${.PVC.name}
28. AllowVolumeExpansion:  <unset>
29. MountOptions:          <none>
30. ReclaimPolicy:         Delete
31. VolumeBindingMode:     Immediate
32. Events:                <none>

复制代码

2.5 创建PVC，自动关联PV

1. [root@kn-server-master01-13 nfs-provisioner]# cat nfs-pvc-test.yaml
2. apiVersion: v1
3. kind: PersistentVolumeClaim
4. metadata:
5.   name: nfs-pvc-test
6. spec:
7.   storageClassName: "nfs-provisioner-storage"
8.   accessModes:
9.   - ReadWriteMany
10.   resources:
11.     requests:
12.       storage: 0.5Gi
14. 这里的PV的名字是随机的，数据的存储路径是根据pathPattern来定义的。
15. [root@kn-server-node02-15 data]# ls
16. default
17. [root@kn-server-node02-15 data]# ll default/
18. 总用量 0
19. drwxrwxrwx 2 root root 6 11月 28 13:56 nfs-pvc-test
20. [root@kn-server-master01-13 pv]# kubectl get pv
21. pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f   512Mi      RWX            Delete           Bound         default/nfs-pvc-test   nfs-provisioner-storage            5m19s
22. [root@kn-server-master01-13 nfs-provisioner]# kubectl describe pv pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
23. Name:            pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
24. Labels:          <none>
25. Annotations:     pv.kubernetes.io/provisioned-by: k8s-sigs.io/nfs-subdir-external-provisioner
26. Finalizers:      [kubernetes.io/pv-protection]
27. StorageClass:    nfs-provisioner-storage
28. Status:          Bound
29. Claim:           default/nfs-pvc-test
30. Reclaim Policy:  Delete
31. Access Modes:    RWX
32. VolumeMode:      Filesystem
33. Capacity:        512Mi
34. Node Affinity:   <none>
35. Message:         
36. Source:
37.     Type:      NFS (an NFS mount that lasts the lifetime of a pod)
38.     Server:    10.0.0.15
39.     Path:      /data/default/nfs-pvc-test
40.     ReadOnly:  false
41. Events:        <none>
44. describe可用看到更详细的信息
45. root@kn-server-master01-13 nfs-provisioner]# kubectl describe pvc
46. Name:          nfs-pvc-test
47. Namespace:     default
48. StorageClass:  nfs-provisioner-storage
49. Status:        Bound
50. Volume:        pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
51. Labels:        <none>
52. Annotations:   pv.kubernetes.io/bind-completed: yes
53.                pv.kubernetes.io/bound-by-controller: yes
54.                volume.beta.kubernetes.io/storage-provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
55. Finalizers:    [kubernetes.io/pvc-protection]
56. Capacity:      512Mi    定义的存储大小
57. Access Modes:  RWX    卷的读写
58. VolumeMode:    Filesystem
59. Used By:       <none>
60. Events:
61.   Type    Reason                 Age   From                                                                                                                      Message
62.   ----    ------                 ----  ----                                                                                                                      -------
63.   Normal  ExternalProvisioning   13m   persistentvolume-controller                                                                                               waiting for a volume to be created, either by external provisioner "k8s-sigs.io/nfs-subdir-external-provisioner" or manually created by system administrator
64.   Normal  Provisioning           13m   k8s-sigs.io/nfs-subdir-external-provisioner_nfs-client-provisioner-57d6d9d5f6-dcxgq_259532a3-4dba-4183-be6d-8e8b320fc778  External provisioner is provisioning volume for claim "default/nfs-pvc-test"
65.   Normal  ProvisioningSucceeded  13m   k8s-sigs.io/nfs-subdir-external-provisioner_nfs-client-provisioner-57d6d9d5f6-dcxgq_259532a3-4dba-4183-be6d-8e8b320fc778  Successfully provisioned volume pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f

复制代码

2.6 创建Pod，测试数据是否持久。

1. [root@kn-server-master01-13 nfs-provisioner]# cat nginx-pvc-test.yaml
2. apiVersion: v1
3. kind: Pod
4. metadata:
5.   name: nginx-sc
6. spec:
7.   containers:
8.   - name: nginx
9.     image: nginx
10.     volumeMounts:
11.     - name: nginx-page
12.       mountPath: /usr/share/nginx/html
13.   volumes:
14.   - name: nginx-page
15.     persistentVolumeClaim:
16.       claimName: nfs-pvc-test
17. [root@kn-server-master01-13 nfs-provisioner]# kubectl apply -f nginx-pvc-test.yaml
18. pod/nginx-sc created
20. [root@kn-server-master01-13 nfs-provisioner]# kubectl describe pvc
21. Name:          nfs-pvc-test
22. Namespace:     default
23. StorageClass:  nfs-provisioner-storage
24. Status:        Bound
25. Volume:        pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
26. Labels:        <none>
27. Annotations:   pv.kubernetes.io/bind-completed: yes
28.                pv.kubernetes.io/bound-by-controller: yes
29.                volume.beta.kubernetes.io/storage-provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
30. Finalizers:    [kubernetes.io/pvc-protection]
31. Capacity:      512Mi
32. Access Modes:  RWX
33. VolumeMode:    Filesystem
34. Used By:       nginx-sc   可以看到的是nginx-sc这个Pod在使用这个PVC。
36. 和上面名称是一致的。
37. [root@kn-server-master01-13 nfs-provisioner]# kubectl get pods nginx-sc
38. NAME       READY   STATUS    RESTARTS   AGE
39. nginx-sc   1/1     Running   0          2m43s
41. 尝试写入数据
42. [root@kn-server-node02-15 data]# echo "haitang" > /data/default/nfs-pvc-test/index.html
44. 访问测试。
45. [root@kn-server-master01-13 nfs-provisioner]# curl 192.168.2.83
46. haitang

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4