kubernetes数据持久化StorageClass动态供给(二)

写过一篇  金牌会员 | 2022-11-28 23:15:59 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 727|帖子 727|积分 2181


  • 存储类的好处之一便是支持PV的动态供给，它甚至可以直接被视作为PV的创建模版，用户用到持久性存储时，需要通过创建PVC来绑定匹配的PV，此类操作需求较大，或者当管理员手动创建的PV无法满足PVC的所有需求时，系统按PVC的需求标准动态创建适配的PV会为存储管理带来极大的灵活性，不过仅那些属于StorageClass的PVC和PV才能产生绑定关系，即没有指定StorageClass的PVC只能绑定同类的PV。
  • 存储类对象的名称至关重要，它是用户调用的标识，创建存储类对象时，除了名称之外，还需要为其定义三个关键字段。provisioner、parameter和reclaimPolicy。
  • 所以kubernetes提供了一种可以动态分配的工作机制，可用自动创建PV，该机制依赖于StorageClass的API，将某个存储节点划分1T给kubernetes使用，当用户申请5Gi的PVC时，会自动从这1T的存储空间去创建一个5Gi的PV，而后自动与之进行关联绑定。
  • 动态PV供给的启用需要事先创建一个存储类，不同的Provisoner的创建方法各有不同，并非所有的存储卷插件都由Kubernetes内建支持PV动态供给。
2.基于NFS实现动态供应

由于kubernetes内部不包含NFS驱动，所以需要使用外部驱动nfs-subdir-external-provisioner是一个自动供应器，它使用NFS服务端来支持动态供应。
NFS-subdir-external- provisioner实例负责监视PersistentVolumeClaims请求StorageClass，并自动为它们创建NFS所支持的PresistentVolumes。
GitHub地址: https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner
2.1 准备NFS服务端的共享目录

这里的意思是要把哪个目录给kubernetes来使用。把目录共享出来。
  1. [root@kn-server-node02-15 ~]# ll /data/
  2. 总用量 0
  3. [root@kn-server-node02-15 ~]# showmount -e 10.0.0.15
  4. Export list for 10.0.0.15:
  5. /data        10.0.0.0/24
复制代码
2.2 安装NFS-Server驱动。

首先创建RBAC权限。
  1. [root@kn-server-master01-13 nfs-provisioner]# cat nfs-rbac.yaml
  2. apiVersion: v1
  3. kind: ServiceAccount
  4. metadata:
  5.   name: nfs-client-provisioner
  6.   # replace with namespace where provisioner is deployed
  7.   namespace: default
  8. ---
  9. kind: ClusterRole
  10. apiVersion: rbac.authorization.k8s.io/v1
  11. metadata:
  12.   name: nfs-client-provisioner-runner
  13. rules:
  14.   - apiGroups: [""]
  15.     resources: ["nodes"]
  16.     verbs: ["get", "list", "watch"]
  17.   - apiGroups: [""]
  18.     resources: ["persistentvolumes"]
  19.     verbs: ["get", "list", "watch", "create", "delete"]
  20.   - apiGroups: [""]
  21.     resources: ["persistentvolumeclaims"]
  22.     verbs: ["get", "list", "watch", "update"]
  23.   - apiGroups: ["storage.k8s.io"]
  24.     resources: ["storageclasses"]
  25.     verbs: ["get", "list", "watch"]
  26.   - apiGroups: [""]
  27.     resources: ["events"]
  28.     verbs: ["create", "update", "patch"]
  29. ---
  30. kind: ClusterRoleBinding
  31. apiVersion: rbac.authorization.k8s.io/v1
  32. metadata:
  33.   name: run-nfs-client-provisioner
  34. subjects:
  35.   - kind: ServiceAccount
  36.     name: nfs-client-provisioner
  37.     # replace with namespace where provisioner is deployed
  38.     namespace: default
  39. roleRef:
  40.   kind: ClusterRole
  41.   name: nfs-client-provisioner-runner
  42.   apiGroup: rbac.authorization.k8s.io
  43. ---
  44. kind: Role
  45. apiVersion: rbac.authorization.k8s.io/v1
  46. metadata:
  47.   name: leader-locking-nfs-client-provisioner
  48.   # replace with namespace where provisioner is deployed
  49.   namespace: default
  50. rules:
  51.   - apiGroups: [""]
  52.     resources: ["endpoints"]
  53.     verbs: ["get", "list", "watch", "create", "update", "patch"]
  54. ---
  55. kind: RoleBinding
  56. apiVersion: rbac.authorization.k8s.io/v1
  57. metadata:
  58.   name: leader-locking-nfs-client-provisioner
  59.   # replace with namespace where provisioner is deployed
  60.   namespace: default
  61. subjects:
  62.   - kind: ServiceAccount
  63.     name: nfs-client-provisioner
  64.     # replace with namespace where provisioner is deployed
  65.     namespace: default
  66. roleRef:
  67.   kind: Role
  68.   name: leader-locking-nfs-client-provisioner
  69.   apiGroup: rbac.authorization.k8s.io
  70. [root@kn-server-master01-13 nfs-provisioner]# kubectl apply -f nfs-rbac.yaml
  71. serviceaccount/nfs-client-provisioner created
  72. clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-runner created
  73. clusterrolebinding.rbac.authorization.k8s.io/run-nfs-client-provisioner created
  74. role.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created
  75. rolebinding.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created
复制代码
2.3 部署NFS-Provisioner
  1. [root@kn-server-master01-13 nfs-provisioner]# cat nfs-provisioner-deploy.yaml
  2. apiVersion: apps/v1
  3. kind: Deployment
  4. metadata:
  5.   name: nfs-client-provisioner
  6.   labels:
  7.     app: nfs-client-provisioner
  8.   # replace with namespace where provisioner is deployed
  9.   namespace: default
  10. spec:
  11.   replicas: 1
  12.   strategy:
  13.     type: Recreate
  14.   selector:
  15.     matchLabels:
  16.       app: nfs-client-provisioner
  17.   template:
  18.     metadata:
  19.       labels:
  20.         app: nfs-client-provisioner
  21.     spec:
  22.       serviceAccountName: nfs-client-provisioner
  23.       containers:
  24.         - name: nfs-client-provisioner
  25.           image: k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2  镜像在国内是拉取不到的，因此为下载下来了放在我的docker hub。 替换为lihuahaitang/nfs-subdir-external-provisioner:v4.0.2
  26.           volumeMounts:
  27.             - name: nfs-client-root
  28.               mountPath: /persistentvolumes
  29.           env:
  30.             - name: PROVISIONER_NAME
  31.               value: k8s-sigs.io/nfs-subdir-external-provisioner   NFS-Provisioner的名称，后续StorageClassName要与该名称保持一致
  32.             - name: NFS_SERVER    NFS服务器的地址
  33.               value: 10.0.0.15  
  34.             - name: NFS_PATH
  35.               value: /data
  36.       volumes:
  37.         - name: nfs-client-root
  38.           nfs:
  39.             server: 10.0.0.15
  40.             path: /data
  41. [root@kn-server-master01-13 nfs-provisioner]# kubectl apply -f nfs-provisioner-deploy.yaml
  42. deployment.apps/nfs-client-provisioner created
  45. Pod正常运行。
  46. [root@kn-server-master01-13 nfs-provisioner]# kubectl get pods
  47. NAME                                      READY   STATUS    RESTARTS   AGE
  48. nfs-client-provisioner-57d6d9d5f6-dcxgq   1/1     Running   0          2m25s
  50. describe查看Pod详细信息；
  51. [root@kn-server-master01-13 nfs-provisioner]# kubectl describe pods nfs-client-provisioner-57d6d9d5f6-dcxgq
  52. Name:         nfs-client-provisioner-57d6d9d5f6-dcxgq
  53. Namespace:    default
  54. Priority:     0
  55. Node:         kn-server-node02-15/10.0.0.15
  56. Start Time:   Mon, 28 Nov 2022 11:19:33 +0800
  57. Labels:       app=nfs-client-provisioner
  58.               pod-template-hash=57d6d9d5f6
  59. Annotations:  <none>
  60. Status:       Running
  61. IP:           192.168.2.82
  62. IPs:
  63.   IP:           192.168.2.82
  64. Controlled By:  ReplicaSet/nfs-client-provisioner-57d6d9d5f6
  65. Containers:
  66.   nfs-client-provisioner:
  67.     Container ID:   docker://b5ea240a8693185be681714747f8e0a9f347492a24920dd68e629effb3a7400f
  68.     Image:          k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2  镜像来自k8s.gcr.io
  69.     Image ID:       docker-pullable://k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner@sha256:63d5e04551ec8b5aae83b6f35938ca5ddc50a88d85492d9731810c31591fa4c9
  70.     Port:           <none>
  71.     Host Port:      <none>
  72.     State:          Running
  73.       Started:      Mon, 28 Nov 2022 11:20:12 +0800
  74.     Ready:          True
  75.     Restart Count:  0
  76.     Environment:
  77.       PROVISIONER_NAME:  k8s-sigs.io/nfs-subdir-external-provisioner
  78.       NFS_SERVER:        10.0.0.15
  79.       NFS_PATH:          /data
  80.     Mounts:
  81.       /persistentvolumes from nfs-client-root (rw)
  82.       /var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-q2z8w (ro)
  83. Conditions:
  84.   Type              Status
  85.   Initialized       True
  86.   Ready             True
  87.   ContainersReady   True
  88.   PodScheduled      True
  89. Volumes:
  90.   nfs-client-root:
  91.     Type:      NFS (an NFS mount that lasts the lifetime of a pod)
  92.     Server:    10.0.0.15
  93.     Path:      /data
  94.     ReadOnly:  false
  95.   kube-api-access-q2z8w:
  96.     Type:                    Projected (a volume that contains injected data from multiple sources)
  97.     TokenExpirationSeconds:  3607
  98.     ConfigMapName:           kube-root-ca.crt
  99.     ConfigMapOptional:       <nil>
  100.     DownwardAPI:             true
  101. QoS Class:                   BestEffort
  102. Node-Selectors:              <none>
  103. Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
  104.                              node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
  105. Events:
  106.   Type    Reason     Age    From               Message
  107.   ----    ------     ----   ----               -------
  108.   Normal  Scheduled  3m11s  default-scheduler  Successfully assigned default/nfs-client-provisioner-57d6d9d5f6-dcxgq to kn-server-node02-15
  109.   Normal  Pulling    3m11s  kubelet            Pulling image "k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2"
  110.   Normal  Pulled     2m32s  kubelet            Successfully pulled image "k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2" in 38.965869132s
  111.   Normal  Created    2m32s  kubelet            Created container nfs-client-provisioner
  112.   Normal  Started    2m32s  kubelet            Started container nfs-client-provisioner
复制代码
2.4 创建StorageClass

创建NFS StorageClass动态供应商。
  1. [root@kn-server-master01-13 nfs-provisioner]# cat storageclass.yaml
  2. apiVersion: storage.k8s.io/v1
  3. kind: StorageClass    类型为storageclass
  4. metadata:
  5.   name: nfs-provisioner-storage    PVC申请时需明确指定的storageclass名称
  6.   annotations:
  7.     storageclass.kubernetes.io/is-default-class: "true"
  8. provisioner: k8s-sigs.io/nfs-subdir-external-provisioner  供应商名称，必须和上面创建的"PROVISIONER_NAME"保持一致
  9. parameters:
  10.   archiveOnDelete: "false" 如果值为false，删除pvc后也会删除目录内容，"true"则会对数据进行保留
  11.   pathPattern: "${.PVC.namespace}/${.PVC.name}" 创建目录路径的模板，默认为随机命名。
  12. [root@kn-server-master01-13 nfs-provisioner]# kubectl apply -f storageclass.yaml
  13. storageclass.storage.k8s.io/nfs-provisioner-storage created
  15. storage简写sc
  16. [root@kn-server-master01-13 nfs-provisioner]# kubectl get sc
  17. NAME                      PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
  18. nfs-provisioner-storage   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate           false                  3s
  20. describe查看配详细信息。
  21. [root@kn-server-master01-13 nfs-provisioner]# kubectl describe sc
  22. Name:            nfs-provisioner-storage
  23. IsDefaultClass:  Yes
  24. Annotations:     kubectl.kubernetes.io/last-applied-configuration={"apiVersion":"storage.k8s.io/v1","kind":"StorageClass","metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"true"},"name":"nfs-provisioner-storage"},"parameters":{"archiveOnDelete":"false","pathPattern":"${.PVC.namespace}/${.PVC.name}"},"provisioner":"k8s-sigs.io/nfs-subdir-external-provisioner"}
  25. ,storageclass.kubernetes.io/is-default-class=true
  26. Provisioner:           k8s-sigs.io/nfs-subdir-external-provisioner
  27. Parameters:            archiveOnDelete=false,pathPattern=${.PVC.namespace}/${.PVC.name}
  28. AllowVolumeExpansion:  <unset>
  29. MountOptions:          <none>
  30. ReclaimPolicy:         Delete
  31. VolumeBindingMode:     Immediate
  32. Events:                <none>
复制代码
2.5 创建PVC，自动关联PV
  1. [root@kn-server-master01-13 nfs-provisioner]# cat nfs-pvc-test.yaml
  2. apiVersion: v1
  3. kind: PersistentVolumeClaim
  4. metadata:
  5.   name: nfs-pvc-test
  6. spec:
  7.   storageClassName: "nfs-provisioner-storage"
  8.   accessModes:
  9.   - ReadWriteMany
  10.   resources:
  11.     requests:
  12.       storage: 0.5Gi
  14. 这里的PV的名字是随机的，数据的存储路径是根据pathPattern来定义的。
  15. [root@kn-server-node02-15 data]# ls
  16. default
  17. [root@kn-server-node02-15 data]# ll default/
  18. 总用量 0
  19. drwxrwxrwx 2 root root 6 11月 28 13:56 nfs-pvc-test
  20. [root@kn-server-master01-13 pv]# kubectl get pv
  21. pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f   512Mi      RWX            Delete           Bound         default/nfs-pvc-test   nfs-provisioner-storage            5m19s
  22. [root@kn-server-master01-13 nfs-provisioner]# kubectl describe pv pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
  23. Name:            pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
  24. Labels:          <none>
  25. Annotations:     pv.kubernetes.io/provisioned-by: k8s-sigs.io/nfs-subdir-external-provisioner
  26. Finalizers:      [kubernetes.io/pv-protection]
  27. StorageClass:    nfs-provisioner-storage
  28. Status:          Bound
  29. Claim:           default/nfs-pvc-test
  30. Reclaim Policy:  Delete
  31. Access Modes:    RWX
  32. VolumeMode:      Filesystem
  33. Capacity:        512Mi
  34. Node Affinity:   <none>
  35. Message:         
  36. Source:
  37.     Type:      NFS (an NFS mount that lasts the lifetime of a pod)
  38.     Server:    10.0.0.15
  39.     Path:      /data/default/nfs-pvc-test
  40.     ReadOnly:  false
  41. Events:        <none>
  44. describe可用看到更详细的信息
  45. root@kn-server-master01-13 nfs-provisioner]# kubectl describe pvc
  46. Name:          nfs-pvc-test
  47. Namespace:     default
  48. StorageClass:  nfs-provisioner-storage
  49. Status:        Bound
  50. Volume:        pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
  51. Labels:        <none>
  52. Annotations:   pv.kubernetes.io/bind-completed: yes
  53.                pv.kubernetes.io/bound-by-controller: yes
  54.                volume.beta.kubernetes.io/storage-provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
  55. Finalizers:    [kubernetes.io/pvc-protection]
  56. Capacity:      512Mi    定义的存储大小
  57. Access Modes:  RWX    卷的读写
  58. VolumeMode:    Filesystem
  59. Used By:       <none>
  60. Events:
  61.   Type    Reason                 Age   From                                                                                                                      Message
  62.   ----    ------                 ----  ----                                                                                                                      -------
  63.   Normal  ExternalProvisioning   13m   persistentvolume-controller                                                                                               waiting for a volume to be created, either by external provisioner "k8s-sigs.io/nfs-subdir-external-provisioner" or manually created by system administrator
  64.   Normal  Provisioning           13m   k8s-sigs.io/nfs-subdir-external-provisioner_nfs-client-provisioner-57d6d9d5f6-dcxgq_259532a3-4dba-4183-be6d-8e8b320fc778  External provisioner is provisioning volume for claim "default/nfs-pvc-test"
  65.   Normal  ProvisioningSucceeded  13m   k8s-sigs.io/nfs-subdir-external-provisioner_nfs-client-provisioner-57d6d9d5f6-dcxgq_259532a3-4dba-4183-be6d-8e8b320fc778  Successfully provisioned volume pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
复制代码
2.6 创建Pod，测试数据是否持久。
  1. [root@kn-server-master01-13 nfs-provisioner]# cat nginx-pvc-test.yaml
  2. apiVersion: v1
  3. kind: Pod
  4. metadata:
  5.   name: nginx-sc
  6. spec:
  7.   containers:
  8.   - name: nginx
  9.     image: nginx
  10.     volumeMounts:
  11.     - name: nginx-page
  12.       mountPath: /usr/share/nginx/html
  13.   volumes:
  14.   - name: nginx-page
  15.     persistentVolumeClaim:
  16.       claimName: nfs-pvc-test
  17. [root@kn-server-master01-13 nfs-provisioner]# kubectl apply -f nginx-pvc-test.yaml
  18. pod/nginx-sc created
  20. [root@kn-server-master01-13 nfs-provisioner]# kubectl describe pvc
  21. Name:          nfs-pvc-test
  22. Namespace:     default
  23. StorageClass:  nfs-provisioner-storage
  24. Status:        Bound
  25. Volume:        pvc-8ed67f7d-d829-4d87-8c66-d8a85f50772f
  26. Labels:        <none>
  27. Annotations:   pv.kubernetes.io/bind-completed: yes
  28.                pv.kubernetes.io/bound-by-controller: yes
  29.                volume.beta.kubernetes.io/storage-provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
  30. Finalizers:    [kubernetes.io/pvc-protection]
  31. Capacity:      512Mi
  32. Access Modes:  RWX
  33. VolumeMode:    Filesystem
  34. Used By:       nginx-sc   可以看到的是nginx-sc这个Pod在使用这个PVC。
  36. 和上面名称是一致的。
  37. [root@kn-server-master01-13 nfs-provisioner]# kubectl get pods nginx-sc
  38. NAME       READY   STATUS    RESTARTS   AGE
  39. nginx-sc   1/1     Running   0          2m43s
  41. 尝试写入数据
  42. [root@kn-server-node02-15 data]# echo "haitang" > /data/default/nfs-pvc-test/index.html
  44. 访问测试。
  45. [root@kn-server-master01-13 nfs-provisioner]# curl 192.168.2.83
  46. haitang
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

写过一篇

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表