k8s StorageClass 存储类

耶耶耶耶耶  金牌会员 | 2024-9-25 02:19:30 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 858|帖子 858|积分 2574

目录

一、概述

集群级别资源，StorageClass 是 Kubernetes 中的一种资源对象，它定义了创建 Persistent Volume (PV) 的策略和方法。StorageClass 主要用于实现 PV 的动态供应，这意味着当用户创建了一个 Persistent Volume Claim (PVC) 时，Kubernetes 会根据所指定的 StorageClass 主动创建一个符合要求的 PV 并将其绑定到 PVC 上
StorageClass 作为对存储资源的抽象定义，对用户设置的 PVC 申请屏蔽后端存储的细节，一方面减少了用户对于存储资源细节的关注，另一方面减轻了管理员手工管理 PV 的工作，由系统主动完成 PV 的创建和绑定，实现动态的资源供应。基于 StorageClass 的动态资源供应模式将逐步成为云平台的标准存储管理模式。
1、StorageClass 对象定义

StorageClass 资源对象的定义主要包罗：名称、后端存储的提供者 (provisioner）、后端存储的相关参数配置（parameters）和回收策略(reclaimPolicy)、卷绑定模式（volumeBindingMode）


  • StorageClass 的名称很重要，将在创建 PVC 时引用，管理员应该正确定名具有不同存储特性的 StorageClass。
  • StorageClass 一旦被创建，则无法修改，如需更改，则只能删除原 StorageClass 资源对象并重新创建。
2、StorageClass YAML 示例
  1. apiVersion: storage.k8s.io/v1
  2. kind: StorageClass
  3. metadata:
  4.   # 存储类的名称，用户在 PVC 中引用
  5.   name: example-storage-class
  6.   storageclass.kubernetes.io/is-default-class: "true"  # 设置为默认的 StorageClass
  7. # 动态制备器的名称，需要与已安装的制备器匹配
  8. provisioner: kubernetes.io/aws-ebs # 例子中使用的是 AWS EBS 制备器
  9. # reclaimPolicy 定义了当 PVC 被删除时，PV 应该如何处理
  10. reclaimPolicy: Delete # 可选值为 Retain 或 Delete
  11. # 允许卷扩展
  12. allowVolumeExpansion: true # 可选值为 true 或 false
  13. # 定义了卷绑定到 Pod 的模式
  14. volumeBindingMode: Immediate # 可选值为 Immediate 或 WaitForFirstConsumer
  15. # 定义了存储系统需要的参数，这些参数会传递给制备器
  16. parameters:
  17.   # 存储类型，根据制备器和存储系统的要求设置
  18.   type: gp2 # AWS EBS 的例子，对于其他系统可能有不同的值
  19.   # 存储 IOPS 性能，某些存储系统可能需要这个参数
  20.   iopsPerGB: "10" # 例子，具体值根据需求和制备器支持设置
  21.   # 存储的最小 IOPS 值，某些存储系统可能需要这个参数
  22.   minimumIOPS: "1000" # 例子，具体值根据需求和制备器支持设置
  23.   # 存储的最大 IOPS 值，某些存储系统可能需要这个参数
  24.   maximumIOPS: "20000" # 例子，具体值根据需求和制备器支持设置
  25.   # 存储的加密选项，某些存储系统可能支持加密
  26.   encrypted: "true" # 例子，具体值根据需求和制备器支持设置
  27.   # 存储的区域，对于跨区域存储系统可能需要这个参数
  28.   availabilityZone: "us-east-1a" # 例子，具体值根据制备器和存储系统的要求设置
  29.   # 存储的性能等级，某些存储系统可能提供不同的性能等级
  30.   performance: "high" # 例子，具体值根据制备器和存储系统的要求设置
  31. # 定义了挂载选项，这些选项会在 PV 被挂载到节点时使用
  32. mountOptions:
  33.   - debug # 例子，具体值根据需求设置，可能包括 "debug", "defaults", "ro" 等
  34.   # - other-option # 可以添加额外的挂载选项
  35. # 允许的拓扑约束，定义了存储可以被哪些节点访问
  36. allowedTopologies:
  37.   - matchLabelExpressions:
  38.     - key: topology.kubernetes.io/region
  39.       values:
  40.         - us-east-1
  41.     - key: topology.kubernetes.io/zone
  42.       values:
  43.         - us-east-1a
复制代码

二、StorageClass 字段

1、provisioner（存储制备器）

provisioner 指定了用于动态创建 PersistentVolume (PV) 的制备器（Provisioner）。制备器是一个插件，它负责在后端存储系统中根据 PersistentVolumeClaim (PVC) 的哀求来创建存储资源，不同的存储插件支持不同的存储后端和服务提供商。当 PVC 被创建而且与之关联的 StorageClass 指定了一个制备器时，Kubernetes 会调用这个制备器来主动创建相应的 PV。
卷插件内置制备器配置示例AWSElasticBlockStore√AWS EBSAzureFile√Azure文件（已弃用）AzureDisk√Azure DiskCephFS--Cinder√Open Stack CinderFC--FlexVolume--GCEPersistentDisk√gcePDGlusterfs√GlusterFSiSCSI--Local-LocalNFS-NFSPortworxVolume√portworx-volumeRBD√ceph-rbdVsphereVolume√Vsphere1.1、内置制备器

Kubernetes 内置支持的 Provisioner 的定名都以 "kubernetes.io/" 开头

  • kubernetes.io/aws-ebs：用于在 AWS 上创建 Elastic Block Store (EBS) 卷。
  • kubernetes.io/azure-disk：用于在 Azure 上创建磁盘。
  • kubernetes.io/gce-pd：用于在 Google Cloud Platform (GCP) 上创建持久磁盘。
  • kubernetes.io/cinder：用于在 OpenStack 上创建 Cinder 卷。
1.2、第三方制备器

为了符合 StorageClass 的用法，自定义 Provisioner 必要符合存储卷的开发规范，外部存储供应商的作者对代码、提供方式、运行方式、存储插件（包罗Flex）等具有完全的自由控制权。
代码堆栈 kubernetes-sigs/sig-storage-lib-external-provisioner 包含一个用于为外部制备器编写功能实现的类库。你可以访问代码堆栈 kubernetes-sigs/sig-storage-lib-external-provisioner 了解外部驱动列表。
比方，对NFS范例，Kubernetes没有提供内部的Provisioner，但可以使用外部的Provisioner。也有很多第三方存储提供商自行提供外部的Provisioner。
2、reclaimPolicy（回收策略）

通过动态资源供应模式创建的PV将继承在StorageClass资源对象上设置的回收策略，配置字段名称为“reclaimPolicy“，可以设置的选项包罗Delete（删除）和 Retain(保留）。


  • 如果StorageClass没有指定reclaimPolicy，则默认值为Delete。
  • 对于管理员手工创建的仍被StorageClass管理的PV，将使用创建PV时设置的资源回收策略。
3、allowVolumeExpansion（允许卷扩展）

PV 可以被配置为允许扩容，当 StorageClass 资源对象的 allowVolumeExpansion字段被设置为true时，将允许用户通过编辑PVC的存储空间主动完成PV的扩容。
下表形貌了支持存储扩容的Volume范例和要求的Kubernetes最低版本：
支持存储扩容的 Volume 范例Kubernetes 最低版本gcePersistentDisk1.11awsElasticBlock Store1.11Cinder1.11glusterfs1.11RBD1.11Azure File1.11Azure Disk1.11Portworx1.13FlexVolume1.14(Alpha)CSI1.16(Beta)
此功能仅可用于扩容卷，不能用于缩小卷。
4、mountOptions（挂载选项）

通过StorageClass资源对象的mountOptions字段，系统将为动态创建的PV设置挂载选项。
并不是所有 PV范例都支持挂载选项，如果 PV不支持但 StorageClass 设置了该字段，则 PV将会创建失败。另外，系统不会对挂载选项进行验证，如果设置了错误的选项，则容器在挂载存储时将直接失败。
5、volumeBindingMode（卷绑定模式）

StorageClass 资源对象的 volumeBindingMode 字段设置用于控制何时将 PVC 与动态创建的 PV 绑定。
目前支持的绑定模式包罗： Immediate 和 WaitForFirstConsumer。
5.1、Immediate

存储绑定模式的默认值为 Immediate，表示当一个PersistentVolumeClaim (PVC)创建出来时，就动态创建PV并进行PVC与PV的绑定操纵。
必要注意的是，对于拓扑受限 (Topology-limited) 或无法从全部Node访问的后端存储，将在不了解Pod调度需求的情况下完成PV的绑定操纵，这大概会导致某些Pod无法完成调度。
5.2、WaitForFirstConsumer

WaitForFirstConsumer绑定模式表示PVC与PV的绑定操纵延迟到第一个使用 PVC的Pod创建出来时再进行。
系统将根据Pod的调度需求，在Pod所在的Node上创建PV，这些调度需求可以通过以下条件（不限于）进行设置:

  • Pod对资源的需求
  • Node Selector
  • Pod亲和性和反亲和性设置
  • Taint和Toleration设置
目前支持 WaitForFirstConsumer 绑定模式的存储卷包罗：

  • AWSElasticBlockStore
  • AzureDisk
  • GCEPersistentDisk.
另外,有些存储插件通过预先创建好的PV绑定支持WaitForFirstConsumer模式，好比:

  • AWSElasticBlockStore
  • AzureDisk
  • GCEPersistentDisk
  • Local
6、allowedTopologies（允许的拓扑结构）

在使用WaitForFirstConsumer模式的环境中，如果仍然希望基于特定拓扑信息（Topology）进行PV绑定操纵，则在StorageClass的定义中还可以通过 allowedTopologies字段进行设置。
6.1、示例

下面的例子通过 matchLabelExpressions 设置目标 Node 的标签选择条件 (zone=us-central1-a或 us-central1-b) PV 将在满足这些条件的 Node 上允许创建
  1. apiVersion: storage.k8s.io/v1
  2. kind: StorageClass
  3. metadata:
  4.   name: standard
  5. provisioner: kubernetes.io/example
  6. parameters:
  7.   type: pd-standard
  8. volumeBindingMode: WaitForFirstConsumer
  9. allowedTopologies:
  10. - matchLabelExpressions:
  11.   - key: topology.kubernetes.io/zone
  12.     values:
  13.     - us-central-1a
  14.     - us-central-1b
复制代码
7、parameters（存储参数）

后端存储资源提供者的参数设置，不同的 Provisioner 大概提供不同的参数设置。某些参数可以不显示设定，Provisioner 将使用其默认值。
目前 StorageClass 资源对象支持设置的存储参数最多为 512个，全部 key 和 value 所占的空间不能超过 256KiB。
7.1、示例

下面举常见存储提供商(Provisioner）提供的 StorageClass 存储参数示例（以AWSElasticBlockStore存储卷为例子）：
  1. apiVersion: storage.k8s.io/v1
  2. kind: StorageClass
  3. metadata:
  4.   name: ebs-sc
  5. provisioner: ebs.csi.aws.com
  6. volumeBindingMode: WaitForFirstConsumer
  7. parameters:
  8.   csi.storage.k8s.io/fstype: xfs
  9.   type: io1
  10.   iopsPerGB: "50"
  11.   encrypted: "true"
  12. allowedTopologies:
  13. - matchLabelExpressions:
  14.   - key: topology.ebs.csi.aws.com/zone
  15.     values:
  16.     - us-east-2c
复制代码
7.2、存储参数（AWSElasticBlockStore）

AWS EBS 存储参数


  • type (必需)

    • 定义 EBS 卷的存储范例（默认值gp3）。比方：

      • gp2：通用目的 SSD
      • io1：提供高 IOPS 的 SSD
      • io2：适用于必要大量 IOPS 的应用程序的新一代 SSD
      • st1：通过 HDD 存储优化的卷
      • sc1：通过冷 HDD 存储优化的卷


  • iopsPerGB (可选，仅当 type 为 io1 或 io2 时有效)

    • 定义每个 GiB 提供的 IOPS 数量。
    • 比方，如果 type 为 io1 而且 iopsPerGB 设置为 10，则 100 GiB 的卷将提供 1000 IOPS。

  • iops (可选，仅当 type 为 io1 时有效)

    • 直接定义卷的 IOPS 总数。比方，iops: "1000" 表示卷将提供 1000 IOPS。

  • throughput (可选，仅当 type 为 st1 时有效)

    • 定义卷的吞吐量，以 MiB/s 为单元。比方，throughput: "500" 表示卷的吞吐量为 500 MiB/s。

  • encrypted (可选)

    • 布尔值，指示是否应该加密 EBS 卷。比方，encrypted: "true"。

  • kmsKeyId (可选)

    • 指定用于加密 EBS 卷的 KMS 密钥 ID。比方，kmsKeyId: "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"。

  • fsType (可选)

    • 定义文件系统范例。比方，fsType: "ext4"。

  • volumeSize (可选)

    • 定义哀求的卷大小（以 GiB 为单元）。比方，volumeSize: "100" 表示哀求 100 GiB 的卷。

  • availabilityZone (可选)

    • 定义 EBS 卷应该创建在哪个可用区。比方，availabilityZone: "us-west-2a"。

  • multiAttachEnabled (可选)

    • 布尔值，指示是否启用多附加。比方，multiAttachEnabled: "true" 允许卷同时附加到多个实例。

  • snapshotId (可选)

    • 定义用于创建 EBS 卷的快照 ID。比方，snapshotId: "snap-0123456789abcdef0"。

  • tags (可选)

    • 定义一组键值对，用于标记 EBS 卷。比方：
      1. tags:
      2.   - key: "project"
      3.     value: "myproject"
      4.   - key: "owner"
      5.     value: "myteam"
      复制代码

8、设置默认的 StorageClass（storageclass.kubernetes.io/is-default-class）

在创建 SC 的 YAML 文件时，必要在 metadata 部分添加一个注解，以标记该 SC 为默认。
8.1、示例
  1. apiVersion: storage.k8s.io/v1
  2. kind: StorageClass
  3. metadata:
  4.   name: low-latency
  5.   annotations:
  6.     storageclass.kubernetes.io/is-default-class: "false"
  7. provisioner: csi-driver.example-vendor.example
  8. reclaimPolicy: Retain # 默认值是 Delete
  9. allowVolumeExpansion: true
  10. mountOptions:
  11.   - discard # 这可能会在块存储层启用 UNMAP/TRIM
  12. volumeBindingMode: WaitForFirstConsumer
  13. parameters:
  14.   guaranteedReadWriteLatency: "true" # 这是服务提供商特定的
复制代码
8.2、修改已有的 StorageClass

8.2.1、将存在的 SC 设置为默认
  1. kubectl patch storageclass <sc-name> -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
复制代码
8.2.2、将存在的 SC 设置为非默认
  1. kubectl patch storageclass <sc-name> -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'
复制代码
如果你在集群中的多个 StorageClass 上将 storageclass.kubernetes.io/is-default-class 注解设置为 true，然后创建一个未设置 storageClassName 的 PersistentVolumeClaim (PVC)， Kubernetes 将使用近来创建的默认 StorageClass。
三、实例 -- 使用 NFS 范例的 StorageClass 动态创建 PV

角色主机名ip地址nfs 服务端 + master 节点k8s-master1192.168.112.10nfs 客户端 + node 节点k8s-node1192.168.112.20nfs 客户端 + node 节点k8s-node2192.168.112.301、配置 NFS 服务端

1.1、master 节点安装 nfs-utils 包
  1. yum install -y nfs-utils
复制代码
1.2、master 节点创建共享目录
  1. mkdir -pv /data/nfs
复制代码

1.3、编辑/etc/exports文件
  1. echo "/data/nfs 192.168.112.0/24(rw,sync,no_root_squash)" > /etc/exports
复制代码

1.4、应用新的导出设置
  1. exportfs -arv
复制代码

1.5、重启并设置 NFS 开机自启
  1. systemctl restart nfs && systemctl enable nfs
复制代码

1.6、检查 NFS 共享
  1. showmount -e localhost
复制代码

2、配置 NFS 客户端

所有 node 节点
2.1、安装 nfs-utils 包
  1. yum install -y nfs-utils
复制代码
2.2、创建目录挂载 NFS 共享
  1. mkdir -pv /mnt/nfs
  3. mount -t nfs 192.168.112.10:/data/nfs /mnt/nfs
复制代码


2.2.1、卸载错误的挂载点

如果在执行 mount -t nfs 下令时出现了错误，好比使用了错误的参数或者路径，你可以通过卸载当前的挂载点然后再重新挂载来修正错误。

  • 确认当前的挂载状态

    • 使用 mount 下令查看当前的所有挂载情况，找到错误挂载的条目。
      1. mount
      复制代码

  • 卸载错误的挂载点

      1. # 知道错误的挂载点
      2. sudo umount /mnt/nfs
      复制代码
      1. # 知道 nfs 服务端 IP 地址和共享目录路径
      2. sudo umount 192.168.112.10:/data/nfs
      复制代码

  • 卸载时碰到设备/文件正在使用中

      1. umount -f /mnt/nfs
      复制代码
    • 强制卸载大概会导致数据丢失，因此只有在确定没有数据写入的情况下才这样做。

2.3、重启并设置 NFS 开机自启
  1. systemctl restart nfs && systemctl enable nfs
复制代码


2.4、系统启动主动挂载 NFS 共享（非须要）
  1. echo '192.168.112.10:/data/nfs /mnt/nfs nfs defaults 0 0' >> /etc/fstab
复制代码
2.5、查看挂载状态
  1. mount | grep 192.168.112.10
复制代码


3、创建存储类
  1. cat >> nfs-storage.yaml << EOF
  2. apiVersion: storage.k8s.io/v1
  3. kind: StorageClass
  4. metadata:
  5.   name: nfs-storage
  6.   namespace: default
  7.   labels:
  8.     environment: test
  9. provisioner: fuseim.pri/ifs
  10. reclaimPolicy: Retain
  11. volumeBindingMode: Immediate
  12. EOF
复制代码
10、从另一个 Pod 读取数据
  1. kubectl apply -f nfs-storage.yaml
复制代码

11、查看 nfs 服务端与客户端的共享目录
  1. cat >> rbac.yaml << EOF
  2. apiVersion: v1
  3. kind: ServiceAccount
  4. metadata:
  5.   name: nfs-client-provisioner
  6.   namespace: default
  7. ---
  8. kind: ClusterRole
  9. apiVersion: rbac.authorization.k8s.io/v1
  10. metadata:
  11.   name: nfs-client-provisioner-runner
  12. rules:
  13.   - apiGroups: [""]
  14.     resources: ["persistentvolumes"]
  15.     verbs: ["get", "list", "watch", "create", "delete"]
  16.   - apiGroups: [""]
  17.     resources: ["persistentvolumeclaims"]
  18.     verbs: ["get", "list", "watch", "update"]
  19.   - apiGroups: ["storage.k8s.io"]
  20.     resources: ["storageclasses"]
  21.     verbs: ["get", "list", "watch"]
  22.   - apiGroups: [""]
  23.     resources: ["events"]
  24.     verbs: ["create", "update", "patch"]
  25. ---
  26. kind: ClusterRoleBinding
  27. apiVersion: rbac.authorization.k8s.io/v1
  28. metadata:
  29.   name: run-nfs-client-provisioner
  30. subjects:
  31.   - kind: ServiceAccount
  32.     name: nfs-client-provisioner
  33.     namespace: default                                      
  34. roleRef:
  35.   kind: ClusterRole
  36.   name: nfs-client-provisioner-runner
  37.   apiGroup: rbac.authorization.k8s.io
  38. ---
  39. kind: Role
  40. apiVersion: rbac.authorization.k8s.io/v1
  41. metadata:
  42.   name: leader-locking-nfs-client-provisioner
  43.   namespace: default                                       
  44. rules:
  45.   - apiGroups: [""]
  46.     resources: ["endpoints"]
  47.     verbs: ["get", "list", "watch", "create", "update", "patch"]
  48. ---
  49. kind: RoleBinding
  50. apiVersion: rbac.authorization.k8s.io/v1
  51. metadata:
  52.   name: leader-locking-nfs-client-provisioner
  53.   namespace: default
  54. subjects:
  55.   - kind: ServiceAccount
  56.     name: nfs-client-provisioner
  57.     namespace: default
  58. roleRef:
  59.   kind: Role
  60.   name: leader-locking-nfs-client-provisioner
  61.   apiGroup: rbac.authorization.k8s.io
  62. EOF
复制代码



这个新出现的目录（PV 目录） default-nginx-pvc-pvc-c8a8b825-1577-4f76-ba1f-a1302941b333 用于映射 PersistentVolume (PV) 到 NFS 服务器上的具体路径
11.1、PV 目录创建的流程


  • 创建 PVC：

    • 当你创建 PVC 时，Kubernetes 会根据 StorageClass 主动创建 PV。

  • Provisioner 创建 PV：

    • Provisioner 会在 NFS 服务器上的共享目录下创建一个新目录，目录名称包含了 PVC 的名称和 UUID。

  • 挂载到 Pod：

    • 创建的 PV 会被挂载到 Pod 中指定的路径。

11.2、PV 目录的结构
  1. kubectl apply -f rbac.yaml
复制代码

  • 共享目录：

    • 这是你在 NFS 服务器上创建并共享出去的目录，好比 nfs 服务端的 /data/nfs 以及 nfs 客户端的 /mnt/nfs

  • 定名空间：

    • 这是 Kubernetes 中的一个逻辑分组，用于隔离不同的应用程序和服务。PVC 所属的定名空间名称。

  • PVC 名称：

    • 这是在 Kubernetes 中创建的 PersistentVolumeClaim 的名称。

  • PV 名称：

    • 这是根据 PVC 动态创建出来的 PersistentVolume 的名称，通常是一个带有 UUID 的字符串。

  1. cat >> nfs-provisioner.yaml << EOF
  2. apiVersion: apps/v1
  3. kind: Deployment
  4. metadata:
  5.   name: nfs-client-provisioner
  6.   labels:
  7.     app: nfs-client-provisioner
  8.   namespace: default
  9. spec:
  10.   replicas: 1
  11.   strategy:
  12.     type: Recreate
  13.   selector:
  14.     matchLabels:
  15.       app: nfs-client-provisioner
  16.   template:
  17.     metadata:
  18.       labels:
  19.         app: nfs-client-provisioner
  20.     spec:
  21.       serviceAccountName: nfs-client-provisioner
  22.       containers:
  23.         - name: nfs-client-provisioner
  24.           image: registry.cn-beijing.aliyuncs.com/mydlq/nfs-subdir-external-provisioner:v4.0.0
  25.           volumeMounts:
  26.             - name: nfs-client-root
  27.               mountPath: /persistentvolumes
  28.           env:
  29.             - name: PROVISIONER_NAME
  30.               value: fuseim.pri/ifs       # 这里必须要填写storageclass中的PROVISIONER名称信息一致
  31.             - name: NFS_SERVER
  32.               value: 192.168.112.10       # 指定NFS服务器的IP地址
  33.             - name: NFS_PATH
  34.               value: /data/nfs            # 指定NFS服务器中的共享挂载目录
  35.       volumes:
  36.         - name: nfs-client-root           # 定义持久化卷的名称，必须要上面volumeMounts挂载的名称一致
  37.           nfs:
  38.             server: 192.168.112.10        # 指定NFS所在的IP地址
  39.             path: /data/nfs               # 指定NFS服务器中的共享挂载目录
  40. EOF
复制代码

12、修改 NFS 服务器共享目录内容查看容器内部变化

可以发现也是同步更新的
  1. kubectl apply -f nfs-provisioner.yaml
复制代码

四、实例 -- 动态创建 PVC 和 PV

1、创建 Headless Service

[code]cat >> nginx-headless.yaml > sts.yaml

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

耶耶耶耶耶

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表