ToB企服应用市场:ToB评测及商务社交产业平台

标题: 探索 Kubernetes 持久化存储之 Rook Ceph 初窥门径 [打印本页]
作者: 光之使者    时间: 2024-8-13 15:05
标题: 探索 Kubernetes 持久化存储之 Rook Ceph 初窥门径
在 Kubernetes 生态系统中，持久化存储是支撑业务应用稳定运行的基石，对于维护整个系统的健壮性至关重要。对于选择自主搭建 Kubernetes 集群的运维架构师来说，挑选合适的后端持久化存储办理方案是关键的选型决策。目前，Ceph、GlusterFS、NFS、Longhorn 和 openEBS 等办理方案已在业界得到广泛应用。
为了丰富技术栈，并为容器云平台的持久化存储设计提供更广泛的灵活性和选择性，今天，我将领导各人一起探索，如何将 Ceph 集成到由 KubeSphere 管理的 Kubernetes 集群中。
集成 Ceph 至 Kubernetes 集群主要有两种方案：
本文将重点实战演示使用 Rook Ceph 在 Kubernetes 集群上直接部署 Ceph 集群的方法，让您体验到云原生环境下 Ceph 部署的便捷与强大。
实战服务器配置(架构 1:1 复刻小规模生产环境，配置略有不同)
主机名IPCPU内存系统盘数据盘用途ksp-registry192.168.9.904840200Harbor 镜像堆栈ksp-control-1192.168.9.914840100KubeSphere/k8s-control-planeksp-control-2192.168.9.924840100KubeSphere/k8s-control-planeksp-control-3192.168.9.934840100KubeSphere/k8s-control-planeksp-worker-1192.168.9.9441640100k8s-worker/CIksp-worker-2192.168.9.9541640100k8s-workerksp-worker-3192.168.9.9641640100k8s-workerksp-storage-1192.168.9.974840400+Containerd、OpenEBS、ElasticSearch/Longhorn/Ceph/NFSksp-storage-2192.168.9.984840300+Containerd、OpenEBS、ElasticSearch/Longhorn/Cephksp-storage-3192.168.9.994840300+Containerd、OpenEBS、ElasticSearch/Longhorn/Cephksp-gpu-worker-1192.168.9.10141640100k8s-worker(GPU NVIDIA Tesla M40 24G)ksp-gpu-worker-2192.168.9.10241640100k8s-worker(GPU NVIDIA Tesla P100 16G)ksp-gateway-1192.168.9.1032440自建应用服务代理网关/VIP：192.168.9.100ksp-gateway-2192.168.9.1042440自建应用服务代理网关/VIP：192.168.9.100ksp-mid192.168.9.1054840100部署在 k8s 集群之外的服务节点（Gitlab 等）合计15561526002100+实战环境涉及软件版本信息
1. Rook 部署规划

为了更好地满足生产环境的实际需求，在规划和部署存储基础设施时，我增加了以下计谋：
重要提示：
2. 前置条件

2.1  Kubernetes 版本

2.2 CPU Architecture

支持的 CPU 架构包括： amd64 / x86_64 and arm64。
2.3 Ceph 先决条件

为了配置 Ceph 存储集群，至少需要以下任意一种类型的本地存储:
使用以下命令确认分区或设备是否使用文件系统并举行了格式化：
  1. $ lsblk -f
  2. NAME               FSTYPE      FSVER    LABEL  UUID                                   FSAVAIL FSUSE% MOUNTPOINTS
  3. sda
  4. ├─sda1             ext4        1.0             b5e46d67-426b-476f-bd89-18137af7ff59    682.5M    23% /boot
  5. └─sda2             LVM2_member LVM2 001        NepB96-M3ux-Ei6Q-V7AX-BCy1-e2RN-Lzbecn
  6.   ├─openeuler-root ext4        1.0             0495bb1d-16f7-4156-ab10-5bd837b24de5     29.9G     7% /
  7.   └─openeuler-swap swap        1               837d3a7e-8aac-4048-bb7a-a6fdd8eb5931
  8. sdb                LVM2_member LVM2 001        Dyj93O-8zKr-HMah-hxjd-8IZP-IxVE-riWf3O
  9. └─data-lvdata      xfs                         1e9b612f-dbd9-46d2-996e-db74073d6648       86G    14% /data
  10. sdc                LVM2_member LVM2 001        LkTCe2-0vp7-e3SJ-Xxzb-UzN1-sd2T-74TF3L
  11. └─longhorn-data    xfs                         30a13ac0-6eef-433c-8d7e-d6776ec669ff     99.1G     1% /longhorn
  12. sdd
复制代码
假如需要清算已有磁盘给 Ceph 使用，请使用下面的命令（生产环境请谨慎）：
  1. yum install gdisk
  2. sgdisk --zap-all /dev/sdd
复制代码
2.4 LVM 需求

Ceph OSDs 在以下场景依赖 LVM。
Ceph OSDs 在以下场景不需要 LVM。
openEuler 默认已经安装 lvm2，假如没有装，使用下面的命令安装。
  1. yum install -y lvm2
复制代码
2.5 Kernel 需求

Ceph 需要使用构建了 RBD 模块的 Linux 内核。许多 Linux 发行版都有这个模块，但不是所有发行版都有。比方，GKE Container-Optimised OS (COS) 就没有 RBD。
在 Kubernetes 节点使用 lsmod | grep rbd 命令验证，假如没有任何输出，请执行下面的命令加载 rbd 模块。
  1. # 在当前环境加载 rbd 和 nbd 模块
  2. modprobe rbd
  3. modprobe nbd
  5. # 开机自动加载 rbd 和 nbd 模式（适用于 openEuler）
  6. echo "rbd" >> /etc/modules-load.d/rook-ceph.conf
  7. echo "nbd" >> /etc/modules-load.d/rook-ceph.conf
  9. # 再次执行命令验证
  10. lsmod | grep rbd
  12. # 正确的输出结果如下
  13. $ lsmod | grep rbd
  14. rbd                   135168  0
  15. libceph               413696  1 rbd
复制代码
假如您将从 Ceph shared file system (CephFS) 创建卷，保举的最低内核版本是 4.17。假如内核版本小于 4.17，则不会强制执行请求的 PVC sizes。存储配额只会在更新的内核上执行。
注意： openEuler 22.03 SP3 目前最新的内核为 5.10.0-218.0.0.121，虽然大于 4.17 但是有些过于高了，在安装 Ceph CSI Plugin 的时候可能会遇到 CSI 驱动无法注册的题目。
3. 扩容集群节点

3.1 扩容存储专用 Worker 节点

将新增的三台存储专用节点加入已有的 Kubernetes 集群，详细的扩容操作请参考 KubeKey 扩容 Kubernetes Worker 节点实战指南。
3.2 设置节点标签

按规划给三个存储节点和其它 Worker 节点打上专属标签。
  1. # 设置 rook-ceph 部署和存储Osd 节点标签
  2. kubectl label nodes ksp-storage-1 node.kubernetes.io/storage=rook
  3. kubectl label nodes ksp-storage-2 node.kubernetes.io/storage=rook
  4. kubectl label nodes ksp-storage-3 node.kubernetes.io/storage=rook
复制代码
  1. # 安装 ceph csi plugin 节点
  2. # kubectl label nodes ksp-control-1 node.rook.io/rook-csi=true
  3. # kubectl label nodes ksp-control-2 node.rook.io/rook-csi=true
  4. # kubectl label nodes ksp-control-3 node.rook.io/rook-csi=true
  5. kubectl label nodes ksp-worker-1 node.rook.io/rook-csi=true
  6. kubectl label nodes ksp-worker-2 node.rook.io/rook-csi=true
  7. kubectl label nodes ksp-worker-3 node.rook.io/rook-csi=true
复制代码
不做任何设置，Ceph 的服务组件和 CSI 插件都不会安装在控制节点。网上也有人发起把 Ceph 的管理组件部署在 K8s 的控制节点，我是不赞同的。个人发起把 Ceph 的所有组件独立部署。
4. 安装配置 Rook Ceph Operator

4.1 下载部署代码
  1. # git clone --single-branch --branch v1.14.9 https://github.com/rook/rook.git
  2. cd /srv
  3. wget https://github.com/rook/rook/archive/refs/tags/v1.14.9.tar.gz
  4. tar xvf v1.14.9.tar.gz
  5. cd rook-1.14.9/deploy/examples/
复制代码
4.2 修改镜像地址

可选配置，当 DockerHub 访问受限时，可以将 Rook-Ceph 需要的镜像离线下载到本地堆栈，部署时修改镜像地址。
  1. # 取消镜像注释
  2. sed -i '125,130s/^.*#/ /g' operator.yaml
  3. sed -i '506,506s/^.*#/ /g' operator.yaml
  5. # 替换镜像地址前缀
  6. sed -i 's#registry.k8s.io#registry.opsxlab.cn:8443/k8sio#g' operator.yaml
  7. sed -i 's#quay.io#registry.opsxlab.cn:8443/quayio#g' operator.yaml
  8. sed -i 's#rook/ceph:v1.14.9#registry.opsxlab.cn:8443/rook/ceph:v1.14.9#g' operator.yaml
  9. sed -i '24,24s#quay.io#registry.opsxlab.cn:8443/quayio#g' cluster.yaml
复制代码
注意：上面的镜像堆栈是我内部离线堆栈，参考我文档的读者不要直接照抄，一定要换成本身的镜像堆栈。
4.3 修改自界说配置

修改配置文件 operator.yaml 实现以下需求：
  1. CSI_PROVISIONER_NODE_AFFINITY: "node.kubernetes.io/storage=rook"
  2. CSI_PLUGIN_NODE_AFFINITY: "node.rook.io/rook-csi=true,node.kubernetes.io/storage=rook"
复制代码
4.4 部署 Rook Operator

  1. kubectl create -f crds.yaml -f common.yaml -f operator.yaml
复制代码
  1. kubectl -n rook-ceph get pod -o wide
复制代码
执行成功后，输出效果如下：
  1. $ kubectl -n rook-ceph get pod -o wide
  2. NAME                                 READY   STATUS    RESTARTS   AGE   IP              NODE            NOMINATED NODE   READINESS GATES
  3. rook-ceph-operator-9bd897ff8-426mq   1/1     Running   0          40s   10.233.77.255   ksp-storage-3   <none>           <none>
复制代码
4.5 KubeSphere 控制台查看 Operator 资源

登录 KubeSphere 控制台查看创建的 Rook Ceph Operator Deployment 资源。

5. 创建 Ceph 集群

5.1  修改集群配置文件

  1. placement:
  2.   all:
  3.     nodeAffinity:
  4.       requiredDuringSchedulingIgnoredDuringExecution:
  5.         nodeSelectorTerms:
  6.         - matchExpressions:
  7.           - key: node.kubernetes.io/storage
  8.             operator: In
  9.             values:
  10.             - rook
复制代码
  1. storage: # cluster level storage configuration and selection
  2.   useAllNodes: false  # 生产环境，一定要修改，默认会使用所有节点
  3.   useAllDevices: false # 生产环境，一定要修改，默认会使用所有磁盘
  4.   #deviceFilter:
  5.   config:
  6.     storeType: bluestore
  7.   nodes:
  8.     - name: "ksp-storage-1"
  9.       devices:
  10.         - name: "sdd"
  11.     - name: "ksp-storage-2"
  12.       devices:
  13.         - name: "sdd"
  14.     - name: "ksp-storage-3"
  15.       devices:
  16.         - name: "sdd"
复制代码
5.2 创建 Ceph 集群

  1. kubectl create -f cluster.yaml
复制代码
  1. $ kubectl -n rook-ceph get pod -o wide
  2. NAME                                                      READY   STATUS      RESTARTS   AGE     IP             NODE            NOMINATED NODE   READINESS GATES
  3. csi-cephfsplugin-5mrxf                                    2/2     Running     0          2m25s   192.168.9.96   ksp-worker-3    <none>           <none>
  4. csi-cephfsplugin-5s4kz                                    2/2     Running     0          2m25s   192.168.9.95   ksp-worker-2    <none>           <none>
  5. csi-cephfsplugin-kgd48                                    2/2     Running     0          2m25s   192.168.9.94   ksp-worker-1    <none>           <none>
  6. csi-cephfsplugin-provisioner-7f595d6cc4-5xpm8             5/5     Running     0          2m25s   10.233.64.1    ksp-storage-1   <none>           <none>
  7. csi-cephfsplugin-provisioner-7f595d6cc4-q7q4v             5/5     Running     0          2m25s   10.233.77.26   ksp-storage-3   <none>           <none>
  8. csi-cephfsplugin-q7rqj                                    2/2     Running     0          2m25s   192.168.9.97   ksp-storage-1   <none>           <none>
  9. csi-cephfsplugin-x6tfj                                    2/2     Running     0          2m25s   192.168.9.99   ksp-storage-3   <none>           <none>
  10. csi-cephfsplugin-z72tl                                    2/2     Running     0          2m25s   192.168.9.98   ksp-storage-2   <none>           <none>
  11. csi-rbdplugin-2f8db                                       2/2     Running     0          2m25s   192.168.9.97   ksp-storage-1   <none>           <none>
  12. csi-rbdplugin-6dtwt                                       2/2     Running     0          2m25s   192.168.9.94   ksp-worker-1    <none>           <none>
  13. csi-rbdplugin-82jrf                                       2/2     Running     0          2m25s   192.168.9.95   ksp-worker-2    <none>           <none>
  14. csi-rbdplugin-dslkj                                       2/2     Running     0          2m25s   192.168.9.96   ksp-worker-3    <none>           <none>
  15. csi-rbdplugin-gjmmw                                       2/2     Running     0          2m25s   192.168.9.98   ksp-storage-2   <none>           <none>
  16. csi-rbdplugin-hfv4k                                       2/2     Running     0          2m25s   192.168.9.99   ksp-storage-3   <none>           <none>
  17. csi-rbdplugin-provisioner-c845669bc-dp6q4                 5/5     Running     0          2m25s   10.233.64.4    ksp-storage-1   <none>           <none>
  18. csi-rbdplugin-provisioner-c845669bc-f2s6n                 5/5     Running     0          2m25s   10.233.77.24   ksp-storage-3   <none>           <none>
  19. rook-ceph-crashcollector-ksp-storage-1-7b4cf6c8fb-7s85r   1/1     Running     0          68s     10.233.64.7    ksp-storage-1   <none>           <none>
  20. rook-ceph-crashcollector-ksp-storage-2-cc76b86dc-vb4gl    1/1     Running     0          53s     10.233.73.85   ksp-storage-2   <none>           <none>
  21. rook-ceph-crashcollector-ksp-storage-3-67bf8cf566-6rcjg   1/1     Running     0          52s     10.233.77.39   ksp-storage-3   <none>           <none>
  22. rook-ceph-exporter-ksp-storage-1-646fb48465-5mfcx         1/1     Running     0          68s     10.233.64.14   ksp-storage-1   <none>           <none>
  23. rook-ceph-exporter-ksp-storage-2-79fd64549d-rbcnt         1/1     Running     0          50s     10.233.73.86   ksp-storage-2   <none>           <none>
  24. rook-ceph-exporter-ksp-storage-3-7877646d8c-7h2wc         1/1     Running     0          48s     10.233.77.32   ksp-storage-3   <none>           <none>
  25. rook-ceph-mgr-a-c89b4f8bd-psdwl                           3/3     Running     0          86s     10.233.73.80   ksp-storage-2   <none>           <none>
  26. rook-ceph-mgr-b-7ffd8dcb85-jpj5x                          3/3     Running     0          86s     10.233.77.29   ksp-storage-3   <none>           <none>
  27. rook-ceph-mon-a-654b4f677-fmqhx                           2/2     Running     0          2m15s   10.233.73.79   ksp-storage-2   <none>           <none>
  28. rook-ceph-mon-b-74887d5b9c-4mb62                          2/2     Running     0          109s    10.233.77.28   ksp-storage-3   <none>           <none>
  29. rook-ceph-mon-c-5fb5489c58-7hj6n                          2/2     Running     0          99s     10.233.64.16   ksp-storage-1   <none>           <none>
  30. rook-ceph-operator-9bd897ff8-6z45z                        1/1     Running     0          29m     10.233.77.18   ksp-storage-3   <none>           <none>
  31. rook-ceph-osd-0-65ccb887ff-bjtbs                          2/2     Running     0          54s     10.233.64.19   ksp-storage-1   <none>           <none>
  32. rook-ceph-osd-1-c689d9f57-x6prx                           2/2     Running     0          53s     10.233.73.84   ksp-storage-2   <none>           <none>
  33. rook-ceph-osd-2-776bb9cbd6-vmxxp                          2/2     Running     0          52s     10.233.77.37   ksp-storage-3   <none>           <none>
  34. rook-ceph-osd-prepare-ksp-storage-1-tj6rk                 0/1     Completed   0          64s     10.233.64.18   ksp-storage-1   <none>           <none>
  35. rook-ceph-osd-prepare-ksp-storage-2-rds4q                 0/1     Completed   0          63s     10.233.73.83   ksp-storage-2   <none>           <none>
  36. rook-ceph-osd-prepare-ksp-storage-3-hpzgs                 0/1     Completed   0          63s     10.233.77.41   ksp-storage-3   <none>           <none>
复制代码
5.3 KubeSphere 控制台查看 Ceph 集群资源



6. 创建 Rook toolbox

通过 Rook 提供的 toolbox，我们可以实现对 Ceph 集群的管理。
6.1 创建 toolbox

  1. kubectl apply -f toolbox.yaml
复制代码
  1. kubectl -n rook-ceph rollout status deploy/rook-ceph-tools
复制代码
6.2 常用命令

  1. kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
复制代码
  1. $ kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
  2. bash-5.1$ ceph -s
  3.   cluster:
  4.     id:     e7913148-d29f-46fa-87a6-1c38ddb1530a
  5.     health: HEALTH_OK
  7.   services:
  8.     mon: 3 daemons, quorum a,b,c (age 6m)
  9.     mgr: a(active, since 5m), standbys: b
  10.     osd: 3 osds: 3 up (since 5m), 3 in (since 5m)
  12.   data:
  13.     pools:   1 pools, 1 pgs
  14.     objects: 2 objects, 577 KiB
  15.     usage:   81 MiB used, 300 GiB / 300 GiB avail
  16.     pgs:     1 active+clean
复制代码
观察 Ceph 集群状态，需要满足下面的条件才会认为集群状态是康健的。

  1. # 查看 OSD 状态
  2. ceph osd status
  3. ceph osd df
  4. ceph osd utilization
  5. ceph osd pool stats
  6. ceph osd tree
  8. # 查看 Ceph 容量
  9. ceph df
  11. # 查看 Rados 状态
  12. rados df
  14. # 查看 PG 状态
  15. ceph pg stat
复制代码
  1. kubectl -n rook-ceph delete deploy/rook-ceph-tools
复制代码
7. Block Storage

7.1 Storage 介绍

Rock Ceph 提供了三种存储类型，请参考官方指南相识详情：
本文使用比较稳定、可靠的 Block Storage（RBD）的方式作为 Kubernetes 的持久化存储。
7.2 创建存储池

Rook 答应通过自界说资源界说 (crd) 创建和自界说 Block 存储池。支持 Replicated 和 Erasure Coded 类型。本文演示 Replicated 的创建过程。
  1. apiVersion: ceph.rook.io/v1
  2. kind: CephBlockPool
  3. metadata:
  4.   name: replicapool
  5.   namespace: rook-ceph
  6. spec:
  7.   failureDomain: host
  8.   replicated:
  9.     size: 3
复制代码
  1. kubectl create -f ceph-replicapool.yaml
复制代码
  1. $ kubectl get cephBlockPool -n rook-ceph -o wide
  2. NAME          PHASE   TYPE         FAILUREDOMAIN   REPLICATION   EC-CODINGCHUNKS   EC-DATACHUNKS   AGE
  3. replicapool   Ready   Replicated   host            3             0                 0               16s
复制代码
  1. # 登录
  2. kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
  4. # 查看集群
  5. bash-5.1$ ceph -s
  6.   cluster:
  7.     id:     e7913148-d29f-46fa-87a6-1c38ddb1530a
  8.     health: HEALTH_OK
  10.   services:
  11.     mon: 3 daemons, quorum a,b,c (age 10m)
  12.     mgr: a(active, since 8m), standbys: b
  13.     osd: 3 osds: 3 up (since 9m), 3 in (since 9m)
  15.   data:
  16.     pools:   2 pools, 2 pgs
  17.     objects: 3 objects, 577 KiB
  18.     usage:   81 MiB used, 300 GiB / 300 GiB avail
  19.     pgs:     2 active+clean
  21. # 查看集群存储池
  22. bash-5.1$ ceph osd pool ls
  23. .mgr
  24. replicapool
  26. bash-5.1$ rados df
  27. POOL_NAME       USED  OBJECTS  CLONES  COPIES  MISSING_ON_PRIMARY  UNFOUND  DEGRADED  RD_OPS      RD  WR_OPS       WR  USED COMPR  UNDER COMPR
  28. .mgr         1.7 MiB        2       0       6                   0        0         0     106  91 KiB     137  1.8 MiB         0 B          0 B
  29. replicapool   12 KiB        1       0       3                   0        0         0       0     0 B       2    2 KiB         0 B          0 B
  31. total_objects    3
  32. total_used       81 MiB
  33. total_avail      300 GiB
  34. total_space      300 GiB
  36. # 查看存储池的 pg number
  37. bash-5.1$ ceph osd pool get replicapool pg_num
  38. pg_num: 32
复制代码
7.3 创建 StorageClass

  1. apiVersion: storage.k8s.io/v1
  2. kind: StorageClass
  3. metadata:
  4.    name: rook-ceph-block
  5. # Change "rook-ceph" provisioner prefix to match the operator namespace if needed
  6. provisioner: rook-ceph.rbd.csi.ceph.com
  7. parameters:
  8.     # clusterID is the namespace where the rook cluster is running
  9.     clusterID: rook-ceph
  10.     # Ceph pool into which the RBD image shall be created
  11.     pool: replicapool
  13.     # RBD image format. Defaults to "2".
  14.     imageFormat: "2"
  16.     # RBD image features. Available for imageFormat: "2". CSI RBD currently supports only `layering` feature.
  17.     imageFeatures: layering
  19.     # The secrets contain Ceph admin credentials.
  20.     csi.storage.k8s.io/provisioner-secret-name: rook-csi-rbd-provisioner
  21.     csi.storage.k8s.io/provisioner-secret-namespace: rook-ceph
  22.     csi.storage.k8s.io/controller-expand-secret-name: rook-csi-rbd-provisioner
  23.     csi.storage.k8s.io/controller-expand-secret-namespace: rook-ceph
  24.     csi.storage.k8s.io/node-stage-secret-name: rook-csi-rbd-node
  25.     csi.storage.k8s.io/node-stage-secret-namespace: rook-ceph
  27.     # Specify the filesystem type of the volume. If not specified, csi-provisioner
  28.     # will set default as `ext4`. Note that `xfs` is not recommended due to potential deadlock
  29.     # in hyperconverged settings where the volume is mounted on the same node as the osds.
  30.     csi.storage.k8s.io/fstype: ext4
  32. # Delete the rbd volume when a PVC is deleted
  33. reclaimPolicy: Delete
  35. # Optional, if you want to add dynamic resize for PVC.
  36. # For now only ext3, ext4, xfs resize support provided, like in Kubernetes itself.
  37. allowVolumeExpansion: true
复制代码
  1. kubectl create -f storageclass-rook-ceph-block.yaml
复制代码
注意： examples/csi/rbd 目录中有更多的参考用例。

  1. $ kubectl get sc
  2. NAME               PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
  3. local              openebs.io/local                              Delete          WaitForFirstConsumer   false                  76d
  4. nfs-sc (default)   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate              false                  22d
  5. rook-ceph-block    rook-ceph.rbd.csi.ceph.com                    Delete          Immediate              true                   11s
复制代码
8. 创建测试应用

8.1 使用 Rook 提供的测试案例

我们使用 Rook 官方提供的经典的 Wordpress 和 MySQL 应用程序创建一个使用 Rook 提供块存储的示例应用程序，这两个应用程序都使用由 Rook 提供的块存储卷。
  1. kubectl create -f mysql.yaml
  2. kubectl create -f wordpress.yaml
复制代码
  1. $ kubectl get pvc
  2. NAME             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS      AGE
  3. mysql-pv-claim   Bound    pvc-938fc531-cff8-452b-b89a-0040ac0aaa02   20Gi       RWO            rook-ceph-block   31s
  4. wp-pv-claim      Bound    pvc-d94118de-7105-4a05-a4e7-ebc5807cc5c1   20Gi       RWO            rook-ceph-block   13s
复制代码
  1. $ kubectl get svc
  2. NAME              TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)           AGE
  3. kubernetes        ClusterIP      10.233.0.1      <none>        443/TCP           76d
  4. wordpress         LoadBalancer   10.233.25.187   <pending>     80:31280/TCP      33s
  5. wordpress-mysql   ClusterIP      None            <none>        3306/TCP          50s
复制代码
  1. $ kubectl get pod -o wide
  2. NAME                               READY   STATUS    RESTARTS   AGE    IP              NODE            NOMINATED NODE   READINESS GATES
  3. wordpress-6678b8879f-ql6sm         1/1     Running   0          49s    10.233.73.89    ksp-storage-2   <none>           <none>
  4. wordpress-mysql-5d69d6696b-fwttl   1/1     Running   0          67s    10.233.64.15    ksp-storage-1   <none>           <none>
复制代码
8.2 指定节点创建测试应用

Wordpress 和 MySQL 测试用例中，pod 创建在了存储专用节点。为了测试集群中其它 Worker 节点是否可以使用 Ceph 存储，我们再做一个测试，在创建 Pod 时指定 nodeSelector 标签，将 Pod 创建在非 rook-ceph 专用节点的 ksp-worker-1 上。
  1. apiVersion: v1
  2. kind: PersistentVolumeClaim
  3. metadata:
  4.   name: test-pvc-rbd
  5. spec:
  6.   storageClassName: rook-ceph-block
  7.   accessModes:
  8.     - ReadWriteOnce
  9.   resources:
  10.     requests:
  11.       storage: 2Gi
复制代码
  1. kubectl apply -f test-pvc-rbd.yaml
复制代码
  1. $ kubectl get pvc -o wide
  2. NAME             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS      AGE   VOLUMEMODE
  3. mysql-pv-claim   Bound    pvc-00c09bac-cee2-4a0e-9549-56f05b9c6965   20Gi       RWO            rook-ceph-block   77s   Filesystem
  4. test-pvc-rbd     Bound    pvc-ad475b29-6730-4c9a-8f8d-a0cd99b12781   2Gi        RWO            rook-ceph-block   5s    Filesystem
  5. wp-pv-claim      Bound    pvc-b3b2d6bc-6d62-4ac3-a50c-5dcf076d501c   20Gi       RWO            rook-ceph-block   76s   Filesystem
复制代码
  1. kind: Pod
  2. apiVersion: v1
  3. metadata:
  4.   name: test-pod-rbd
  5. spec:
  6.   containers:
  7.   - name: test-pod-rbd
  8.     image: busybox:stable
  9.     command:
  10.       - "/bin/sh"
  11.     args:
  12.       - "-c"
  13.       - "touch /mnt/SUCCESS && sleep 3600"
  14.     volumeMounts:
  15.       - name: rbd-pvc
  16.         mountPath: "/mnt"
  17.   restartPolicy: "Never"
  18.   nodeSelector:
  19.     kubernetes.io/hostname: ksp-worker-1
  20.   volumes:
  21.     - name: rbd-pvc
  22.       persistentVolumeClaim:
  23.         claimName: test-pvc-rbd
复制代码
  1. kubectl apply -f test-pod-rbd.yaml
复制代码
  1. $ kubectl get pods -o wide
  2. NAME                               READY   STATUS    RESTARTS   AGE   IP              NODE            NOMINATED NODE   READINESS GATES
  3. test-pod-rbd                       1/1     Running   0          5s    10.233.94.210   ksp-worker-1    <none>           <none>
  4. wordpress-6678b8879f-ql6sm         1/1     Running   0          10m   10.233.73.89    ksp-storage-2   <none>           <none>
  5. wordpress-mysql-5d69d6696b-fwttl   1/1     Running   0          10m   10.233.64.15    ksp-storage-1   <none>           <none>
复制代码
  1. $ kubectl exec test-pod-rbd -- df -h
  2. Filesystem                Size      Used Available Use% Mounted on
  3. overlay                  99.9G     14.0G     85.9G  14% /
  4. tmpfs                    64.0M         0     64.0M   0% /dev
  5. tmpfs                     7.6G         0      7.6G   0% /sys/fs/cgroup
  6. /dev/rbd0                 1.9G     24.0K      1.9G   0% /mnt
  7. /dev/mapper/openeuler-root
  8.                          34.2G      2.3G     30.1G   7% /etc/hosts
  9. /dev/mapper/openeuler-root
  10.                          34.2G      2.3G     30.1G   7% /dev/termination-log
  11. /dev/mapper/data-lvdata
  12.                          99.9G     14.0G     85.9G  14% /etc/hostname
  13. /dev/mapper/data-lvdata
  14.                          99.9G     14.0G     85.9G  14% /etc/resolv.conf
  15. shm                      64.0M         0     64.0M   0% /dev/shm
  16. tmpfs                    13.9G     12.0K     13.9G   0% /var/run/secrets/kubernetes.io/serviceaccount
  17. tmpfs                     7.6G         0      7.6G   0% /proc/acpi
  18. tmpfs                    64.0M         0     64.0M   0% /proc/kcore
  19. tmpfs                    64.0M         0     64.0M   0% /proc/keys
  20. tmpfs                    64.0M         0     64.0M   0% /proc/timer_list
  21. tmpfs                    64.0M         0     64.0M   0% /proc/sched_debug
  22. tmpfs                     7.6G         0      7.6G   0% /proc/scsi
  23. tmpfs                     7.6G         0      7.6G   0% /sys/firmware
复制代码
  1. # 写入 1GB 的数据
  2. $ kubectl exec test-pod-rbd -- dd if=/dev/zero of=/mnt/test-disk.img bs=1M count=1000
  3. 1000+0 records in
  4. 1000+0 records out
  5. 1048576000 bytes (1000.0MB) copied, 4.710019 seconds, 212.3MB/s
  7. # 查看结果
  8. $ kubectl exec test-pod-rbd -- ls -lh /mnt/
  9. total 1000M
  10. -rw-r--r--    1 root     root           0 Aug  5 20:11 SUCCESS
  11. drwx------    2 root     root       16.0K Aug  5 20:11 lost+found
  12. -rw-r--r--    1 root     root     1000.0M Aug  5 20:14 test-disk.img
  14. # 测试超限（再写入 1GB 数据，只能写入 929.8MB）
  15. $ kubectl exec test-pod-rbd -- dd if=/dev/zero of=/mnt/test-disk2.img bs=1M count=1000
  16. dd: error writing '/mnt/test-disk2.img': No space left on device
  17. 930+0 records in
  18. 929+0 records out
  19. 974987264 bytes (929.8MB) copied, 3.265758 seconds, 284.7MB/s
  20. command terminated with exit code 1
  22. # 再次查看结果
  23. $ kubectl exec test-pod-rbd -- ls -lh /mnt/
  24. total 2G
  25. -rw-r--r--    1 root     root           0 Aug  5 20:11 SUCCESS
  26. drwx------    2 root     root       16.0K Aug  5 20:11 lost+found
  27. -rw-r--r--    1 root     root     1000.0M Aug  5 20:14 test-disk.img
  28. -rw-r--r--    1 root     root      929.8M Aug  5 20:18 test-disk2.img
复制代码
注意： 测试时，我们写入了 2G 的数据量，当达过我们创建的 PVC 2G 容量上限时会报错（实际使用写不满 2G）。说明，Ceph 存储可以做到容量配额限制。
9. Ceph Dashboard

Ceph 提供了一个 Dashboard 工具，我们可以在上面查看集群的状态，包括集群整体运行状态、Mgr、Mon、OSD 和其他 Ceph 进程的状态，查看存储池和 PG 状态，以及显示保卫进程的日记等。
部署集群的配置文件 cluster.yaml ，默认已经开启了 Dashboard 功能，Rook Ceph operator 部署集群时将启用 ceph-mgr 的 Dashboard 模块。
9.1 获取 Dashboard 的 service 地址
  1. $ kubectl -n rook-ceph get service
  2. NAME                      TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
  3. rook-ceph-exporter        ClusterIP   10.233.4.126    <none>        9926/TCP            46m
  4. rook-ceph-mgr             ClusterIP   10.233.49.41    <none>        9283/TCP            46m
  5. rook-ceph-mgr-dashboard   ClusterIP   10.233.7.182    <none>        8443/TCP            46m
  6. rook-ceph-mon-a           ClusterIP   10.233.45.222   <none>        6789/TCP,3300/TCP   47m
  7. rook-ceph-mon-b           ClusterIP   10.233.52.144   <none>        6789/TCP,3300/TCP   47m
  8. rook-ceph-mon-c           ClusterIP   10.233.57.144   <none>        6789/TCP,3300/TCP   47m
复制代码
9.2 配置在集群外部访问 Dashboard

通常我们需要在 K8s 集群外部访问 Ceph Dashboard，可以通过 NodePort 或是 Ingress 的方式。
本文演示 NodePort 方式。
  1. apiVersion: v1
  2. kind: Service
  3. metadata:
  4.   name: rook-ceph-mgr-dashboard-external-https
  5.   namespace: rook-ceph
  6.   labels:
  7.     app: rook-ceph-mgr
  8.     rook_cluster: rook-ceph
  9. spec:
  10.   ports:
  11.   - name: dashboard
  12.     port: 8443
  13.     protocol: TCP
  14.     targetPort: 8443
  15.     nodePort: 31443
  16.   selector:
  17.     app: rook-ceph-mgr
  18.     mgr_role: active
  19.     rook_cluster: rook-ceph
  20.   type: NodePort
复制代码
  1. kubectl create -f ceph-dashboard-external-https.yaml
复制代码
  1. $ kubectl -n rook-ceph get service rook-ceph-mgr-dashboard-external-https
  2. NAME                                     TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
  3. rook-ceph-mgr-dashboard-external-https   NodePort   10.233.5.136   <none>        8443:31443/TCP   5s
复制代码
9.3 获取 Login Credentials

登陆 Dashboard 时需要身份验证，Rook 创建了一个默认用户，用户名 admin。创建了一个名为 rook-ceph-dashboard-password 的 secret 存储密码，使用下面的命令获取随机生成的密码。
  1. $ kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo
  2. 6W6#Y3PvI~=CVq0f'@Yo
复制代码
9.4 通过欣赏器打开 Dashboard

访问 K8s 集群中任意节点的 IP，https://192.168.9.91:31443，默认用户名 admin，密码通过上面的命令获取。

9.5 Ceph Dashboard 概览

Ceph Dashboard 虽然界面简朴，但是常用的管理功能都具备，能实现图形化管理存储资源。下面展示几张截图，作为本文的结尾。




免责声明：
本文由博客一文多发平台 OpenWrite 发布！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4