ToB企服应用市场:ToB评测及商务社交产业平台

标题: cephFS的使用以及K8S对接cephFS [打印本页]
作者: 羊蹓狼    时间: 2024-12-19 23:29
标题: cephFS的使用以及K8S对接cephFS
1 cephFS快速搭建

1.创建两个存储池分别用于存储mds的元数据和数据
  1. [root@ceph141ceph]# ceph osd pool create cephfs_data
  2. pool 'cephfs_data' created
  3. [root@ceph141ceph]# ceph osd pool create cephfs_metadata
  4. pool 'cephfs_metadata' created
复制代码
2.创建一个文件系统，名称为"zhiyong18-cephfs"
  1. [root@ceph141ceph]# ceph fs new zhiyong18-cephfs cephfs_metadata cephfs_data
  2.   Pool 'cephfs_data' (id '10') has pg autoscale mode 'on' but is not marked as bulk.
  3.   Consider setting the flag by running
  4.     # ceph osd pool set cephfs_data bulk true
  5. new fs with metadata pool 11 and data pool 10
复制代码
3.查看创建的存储池
  1. [root@ceph141ceph]# ceph fs ls
  2. name: zhiyong18-cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
  3. [root@ceph141ceph]# ceph mds stat
  4. zhiyong18-cephfs:0
  5. [root@ceph141ceph]# ceph -s
  6.   cluster:
  7.     id:     12fad866-9aa0-11ef-8656-6516a17ad6dd
  8.     health: HEALTH_ERR
  9.             1 filesystem is offline
  10.             1 filesystem is online with fewer MDS than max_mds
  11.             1 pool(s) do not have an application enabled
  13.   services:
  14.     mon: 3 daemons, quorum ceph141,ceph142,ceph143 (age 73m)
  15.     mgr: ceph141.yvswvf(active, since 73m), standbys: ceph142.gtcikx
  16.     mds: 0/0 daemons up
  17.     osd: 7 osds: 7 up (since 73m), 7 in (since 38h)
  19.   data:
  20.     volumes: 1/1 healthy
  21.     pools:   6 pools, 129 pgs
  22.     objects: 50 objects, 18 MiB
  23.     usage:   335 MiB used, 3.3 TiB / 3.3 TiB avail
  24.     pgs:     129 active+clean
复制代码
  发现：存储池的状态无法正常使用，而且集群是有错误的（HEALTH_ERR），因此我们须要先办理这个题目
  在web页面中也有提示：All MDS ranks are unavailable. The MDS daemons managing metadata are down, rendering the filesystem offline.
  

    以是先开启mds服务，元数据服务
  4.应用mds的文件系统
  1. [root@ceph141ceph]# ceph orch apply mds zhiyong18-cephfs
  2. Scheduled mds.zhiyong18-cephfs update...
复制代码
5.添加第1个mds服务器，ceph143节点
  1. [root@ceph141ceph]# ceph orch daemon add mds zhiyong18-cephfs ceph143
  2. Deployed mds.zhiyong18-cephfs.ceph143.eltfff on host 'ceph143'
  3. [root@ceph141ceph]# ceph mds stat
  4. zhiyong18-cephfs:1 {0=zhiyong18-cephfs.ceph143.eltfff=up:active} 1 up:standby
复制代码
添加第2个mds，ceph141节点
  1. [root@ceph141ceph]# ceph orch daemon add mds zhiyong18-cephfs ceph141
  2. Deployed mds.zhiyong18-cephfs.ceph141.geohlx on host 'ceph141'
复制代码
6.目前活跃提供服务是ceph143，备用的是ceph141
  1. [root@ceph141ceph]# ceph fs status zhiyong18-cephfs
  2. zhiyong18-cephfs - 0 clients
  3. ================
  4. RANK  STATE                 MDS                   ACTIVITY     DNS    INOS   DIRS   CAPS  
  5. 0    active  zhiyong18-cephfs.ceph143.eltfff  Reqs:    0 /s    10     13     12      0   
  6.       POOL         TYPE     USED  AVAIL  
  7. cephfs_metadata  metadata  96.0k  1083G  
  8.   cephfs_data      data       0   1083G  
  9.           STANDBY MDS            
  10. zhiyong18-cephfs.ceph141.geohlx  
  11. MDS version: ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)
复制代码
7.再次查看集群状态ERR状态消散。此处ERR状态是因为，之前的rbd题目（可以忽略）
  1. [root@ceph141ceph]# ceph -s
  2.   cluster:
  3.     id:     12fad866-9aa0-11ef-8656-6516a17ad6dd
  4.     health: HEALTH_WARN
  5.             1 pool(s) do not have an application enabled
  7.   services:
  8.     mon: 3 daemons, quorum ceph141,ceph142,ceph143 (age 84m)
  9.     mgr: ceph141.yvswvf(active, since 84m), standbys: ceph142.gtcikx
  10.     mds: 1/1 daemons up, 1 standby
  11.     osd: 7 osds: 7 up (since 84m), 7 in (since 39h)
  13.   data:
  14.     volumes: 1/1 healthy
  15.     pools:   6 pools, 129 pgs
  16.     objects: 72 objects, 18 MiB
  17.     usage:   335 MiB used, 3.3 TiB / 3.3 TiB avail
  18.     pgs:     129 active+clean
复制代码
8.验证mds的高可用性
直接给ceph143节点关机：init 0，然后查看cephfs的状态照旧正常的
  1. [root@ceph141ceph]# ceph fs status zhiyong18-cephfs
  2. zhiyong18-cephfs - 0 clients
  3. ================
  4. RANK  STATE                 MDS                   ACTIVITY     DNS    INOS   DIRS   CAPS  
  5. 0    active  zhiyong18-cephfs.ceph141.geohlx  Reqs:    0 /s    10     13     12      0   
  6.       POOL         TYPE     USED  AVAIL  
  7. cephfs_metadata  metadata  96.0k  1625G  
  8.   cephfs_data      data       0   1083G  
  9. MDS version: ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)
复制代码
2 cephFS配置多活

1.查看之前的状态
  1. [root@ceph141~]# ceph fs status zhiyong18-cephfs
  2. zhiyong18-cephfs - 0 clients
  3. ================
  4. RANK  STATE                 MDS                   ACTIVITY     DNS    INOS   DIRS   CAPS  
  5. 0    active  zhiyong18-cephfs.ceph141.geohlx  Reqs:    0 /s    10     13     12      0   
  6.       POOL         TYPE     USED  AVAIL  
  7. cephfs_metadata  metadata   104k  1083G  
  8.   cephfs_data      data       0   1083G  
  9.           STANDBY MDS            
  10. zhiyong18-cephfs.ceph143.eltfff  
  11. MDS version: ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)
复制代码
2.查看默认的mds数量为1，同时仅有一个对外提供服务。修改为2，以让2个mds同时对外提供服务
  1. [root@ceph141~]# ceph fs get zhiyong18-cephfs | grep  max_mds
  2. max_mds        1
  3. [root@ceph141~]# ceph fs set zhiyong18-cephfs  max_mds 2
  4. [root@ceph141~]# ceph fs get zhiyong18-cephfs | grep  max_mds
  5. max_mds        2
复制代码
3.再次查看cephFS 。此时ceph141和ceph143同时对外提供服务，任何一个mds挂掉，都导致集群不可用！
  1. [root@ceph141~]# ceph orch daemon add mds zhiyong18-cephfs ceph142
  2. [root@ceph141~]# ceph fs status zhiyong18-cephfs
  3. zhiyong18-cephfs - 0 clients
  4. ================
  5. RANK  STATE                 MDS                   ACTIVITY     DNS    INOS   DIRS   CAPS  
  6. 0    active  zhiyong18-cephfs.ceph141.geohlx  Reqs:    0 /s    10     13     12      0   
  7. 1    active  zhiyong18-cephfs.ceph143.eltfff  Reqs:    0 /s    10     13     11      0   
  8.       POOL         TYPE     USED  AVAIL  
  9. cephfs_metadata  metadata   176k  1083G  
  10.   cephfs_data      data       0   1083G  
  11. MDS version: ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)
复制代码
4.添加一个备用的mds，ceph142充当。添加后再次查看cephFS状态
  1. [root@ceph141~]# ceph fs status zhiyong18-cephfs
  2. zhiyong18-cephfs - 0 clients
  3. ================
  4. RANK  STATE                 MDS                   ACTIVITY     DNS    INOS   DIRS   CAPS  
  5. 0    active  zhiyong18-cephfs.ceph141.geohlx  Reqs:    0 /s    10     13     12      0   
  6. 1    active  zhiyong18-cephfs.ceph143.eltfff  Reqs:    0 /s    10     13     11      0   
  7.       POOL         TYPE     USED  AVAIL  
  8. cephfs_metadata  metadata   176k  1083G  
  9.   cephfs_data      data       0   1083G  
  10.           STANDBY MDS            
  11. zhiyong18-cephfs.ceph142.igigvp  
  12. MDS version: ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)
复制代码
5.验证是否生效。关闭ceph143节点：init 0。然后发现ceph142节点切换过去。
  1. [root@ceph141~]# ceph fs status zhiyong18-cephfs
  2. zhiyong18-cephfs - 0 clients
  3. ================
  4. RANK  STATE                 MDS                   ACTIVITY     DNS    INOS   DIRS   CAPS  
  5. 0    active  zhiyong18-cephfs.ceph141.geohlx  Reqs:    0 /s    10     13     12      0   
  6. 1    active  zhiyong18-cephfs.ceph142.igigvp  Reqs:    0 /s    10     13     11      0   
  7.       POOL         TYPE     USED  AVAIL  
  8. cephfs_metadata  metadata   183k  1625G  
  9.   cephfs_data      data       0   1083G  
  10. MDS version: ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)
  11. [root@ceph141~]# ceph -s
  12.   cluster:
  13.     id:     12fad866-9aa0-11ef-8656-6516a17ad6dd
  14.     health: HEALTH_WARN
  15.             failed to probe daemons or devices
  16.             insufficient standby MDS daemons available
  17.             1/3 mons down, quorum ceph141,ceph142
  18.             2 osds down
  19.             1 host (2 osds) down
  20.             Degraded data redundancy: 91/273 objects degraded (33.333%), 50 pgs degraded
  21.             1 pool(s) do not have an application enabled
  23.   services:
  24.     mon: 3 daemons, quorum ceph141,ceph142 (age 36s), out of quorum: ceph143
  25.     mgr: ceph141.yvswvf(active, since 7h), standbys: ceph142.gtcikx
  26.     mds: 2/2 daemons up
  27.     osd: 7 osds: 5 up (since 35s), 7 in (since 80m)
  29.   data:
  30.     volumes: 1/1 healthy
  31.     pools:   6 pools, 129 pgs
  32.     objects: 91 objects, 18 MiB
  33.     usage:   367 MiB used, 3.3 TiB / 3.3 TiB avail
  34.     pgs:     91/273 objects degraded (33.333%)
  35.              79 active+undersized
  36.              50 active+undersized+degraded
复制代码
6.再把ceph143添加到集群
  1. [root@ceph141~]# ceph orch daemon add mds zhiyong18-cephfs ceph143
复制代码
最后发现添加不成功，大概是mds不支持3个，最后把max_mds改为了1
3 客户端使用cephFS

01 服务端准备工作

1.确认cephFS的可用
  1. [root@ceph141~]# ceph fs ls
  2. name: zhiyong18-cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
  3. [root@ceph141~]# ceph fs status zhiyong18-cephfs
  4. zhiyong18-cephfs - 0 clients
  5. ================
  6. RANK  STATE                 MDS                   ACTIVITY     DNS    INOS   DIRS   CAPS  
  7. 0    active  zhiyong18-cephfs.ceph141.geohlx  Reqs:    0 /s    10     13     12      0   
  8.       POOL         TYPE     USED  AVAIL  
  9. cephfs_metadata  metadata   249k  1083G  
  10.   cephfs_data      data       0   1083G  
  11.           STANDBY MDS            
  12. zhiyong18-cephfs.ceph142.oszjfe  
  13. MDS version: ceph version 18.2.4 (e7ad5345525c7aa95470c26863873b581076945d) reef (stable)
  14. [root@ceph141~]# ceph fs get zhiyong18-cephfs | grep max_mds
  15. max_mds        1
复制代码
2.管理节点创建用户并导出钥匙环和key文件，发到其他节点
  1. [root@ceph141~]# ceph auth add client.wenzhiyongfs mon 'allow r' mds 'allow rw' osd 'allow rwx'
  2. added key for client.wenzhiyongfs
  3. [root@ceph141~]# ceph auth get client.wenzhiyongfs
  4. [client.wenzhiyongfs]
  5.         key = AQCOfitnDobhOBAAdJT9D0JVIjRch+kOQl8q3g==
  6.         caps mds = "allow rw"
  7.         caps mon = "allow r"
  8.         caps osd = "allow rwx"
  9. [root@ceph141~]# ceph auth get client.wenzhiyongfs > ceph.client.wenzhiyongfs.keyring
  10. [root@ceph141~]# ceph auth  print-key client.wenzhiyongfs > wenzhiyongfs.key
  11. [root@ceph141~]# more wenzhiyongfs.key
  12. AQCOfitnDobhOBAAdJT9D0JVIjRch+kOQl8q3g==
  15. [root@ceph141~]# scp ceph.client.wenzhiyongfs.keyring wenzhiyongfs.key ceph143:/etc/ceph/
  16. [root@ceph141~]# scp ceph.client.wenzhiyongfs.keyring  ceph142:/etc/ceph/
复制代码
3.客户端确认本地的认证文件
  1. [root@ceph143ceph]# ll | grep wen
  2. -rw-r--r-- 1 root root 139 Nov  6 22:53 ceph.client.wenzhiyongfs.keyring
  3. -rw-r--r-- 1 root root  40 Nov  6 22:53 wenzhiyongfs.key
复制代码
02 客户端使用cephFS

1.客户端ceph141基于key文件举行挂载并尝试写入数据
  1. [root@ceph143ceph]# df -h | grep mnt
  2. [root@ceph143ceph]# mount -t ceph ceph141:6789,ceph142:6789,ceph143:6789:/ /mnt \
  3. -o name=wenzhiyongfs,secretfile=/etc/ceph/wenzhiyongfs.key
  5. [root@ceph143ceph]# df -h | grep mnt
  6. 10.0.0.141:6789,10.0.0.142:6789,127.0.1.1:6789,10.0.0.143:6789:/  1.1T     0  1.1T   0% /mnt
  8. [root@ceph143ceph]# cp /etc/os-release /etc/fstab /etc/hosts /mnt/
  9. [root@ceph143ceph]# ls /mnt/
  10. fstab  hosts  os-release
复制代码
2.启动另一个客户端ceph142测试，测试时发现数据和ceph143同步了：都能看到全部节点上传的4个文件
  1. [root@ceph142~]# mount -t ceph ceph141:6789,ceph142:6789,ceph143:6789:/ /mnt \
  2. -o name=wenzhiyongfs,secret=AQCOfitnDobhOBAAdJT9D0JVIjRch+kOQl8q3g==
  3. [root@ceph142~]# df -h | grep mnt
  4. 10.0.0.141:6789,127.0.1.1:6789,10.0.0.142:6789,10.0.0.143:6789:/  1.1T     0  1.1T   0% /mnt
  5. [root@ceph142~]# cp /etc/hostname /mnt/
  6. [root@ceph142~]# ls /mnt/
  7. fstab  hostname  hosts  os-release
复制代码
ceph143节点查看：
  1. [root@ceph143~]# ls /mnt/
  2. fstab  hostname  hosts  os-release
复制代码
3.把认证文件删除后ceph.client.wenzhiyongfs.keyring，固然不影响挂载，但是会有提示。
  1. [root@ceph142ceph]# ls
  2. ceph.client.admin.keyring  ceph.client.wenzhiyongfs.keyring  ceph.conf  rbdmap
  3. [root@ceph142ceph]# rm -rf ceph.client.wenzhiyongfs.keyring
  4. [root@ceph142ceph]# umount /mnt
  5. [root@ceph142ceph]# mount -t ceph ceph141:6789,ceph142:6789,ceph143:6789:/ /mnt -o name=wenzhiyongfs,secret=AQCOfitnDobhOBAAdJT9D0JVIjRch+kOQl8q3g==
  6. 2024-11-06T23:35:58.145+0800 7f21d1629100 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.wenzhiyongfs.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory
  7. [root@ceph142ceph]# df -h | grep mnt
  8. 10.0.0.141:6789,127.0.1.1:6789,10.0.0.142:6789,10.0.0.143:6789:/  1.1T     0  1.1T   0% /mnt
复制代码
4.ceph142节点仍旧可以正常写入。用起来就和NFS差不多
  1. [root@ceph142ceph]# cp /etc/netplan/00-installer-config.yaml /mnt/
复制代码
4 K8S对接cephFS

4.1 cephFS作为volumes

1.Ubuntu默认安装的最新版本是17.2.7，也可以使用拷贝ceph的APT源，实现安装最新版。
全部K8S节点安装ceph-common：
  1. apt -y install ceph-common
复制代码
ceph节点把认证文件传输到全部K8S节点：
  1. scp admin.secret 10.0.0.231:/etc/ceph/
  2. scp admin.secret 10.0.0.232:/etc/ceph/
  3. scp admin.secret 10.0.0.233:/etc/ceph/
复制代码
1.编写资源清单
  1. [root@master23104-cephfs]# cat 01-k8s-use-cephfs.yaml
  2. apiVersion: apps/v1
  3. kind: Deployment
  4. metadata:
  5.   name: deploy-volume-cephfs-admin-secretfile
  6. spec:
  7.   replicas: 3
  8.   selector:
  9.     matchLabels:
  10.       apps: ceph-fs
  11.   template:
  12.     metadata:
  13.       labels:
  14.         apps: ceph-fs
  15.     spec:
  16.       volumes:
  17.       - name: data
  18.         # 指定存储卷的类型是cephFS
  19.         cephfs:
  20.           monitors:
  21.           - 10.0.0.141:6789
  22.           - 10.0.0.142:6789
  23.           - 10.0.0.143:6789
  24.           # 指定引用的cephFS的路径，若不指定默认为"/"
  25.           path: /
  26.           # 对于Pod而言，无需修改文件，因此设置为true
  27.           readOnly: true
  28.           # 指定连接ceph集群的用户，若不指定，默认为admin
  29.           user: admin
  30.           # 指定admin用户对应的认证文件所在路径
  31.           secretFile: "/etc/ceph/admin.secret"
  32.       containers:
  33.       - name: c1
  34.         image: registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/apps:v1
  35.         volumeMounts:
  36.         - name: data
  37.           mountPath: /wenzhiyong-data
  38.         ports:
  39.         - containerPort: 80
  40. ---
  42. apiVersion: v1
  43. kind: Service
  44. metadata:
  45.   name: svc-cephfs-secretfile
  46. spec:
  47.   type: NodePort
  48.   selector:
  49.     apps: ceph-fs
  50.   ports:
  51.   - protocol: TCP
  52.     port: 80
  53.     targetPort: 80
  54.     nodePort: 30011
复制代码
2.进入容器测试，可以看到之前ceph节点写入的数据；因为设置了只读，以是不能写入数据。pod如果要有写入权限，就把volumes中改为：readOnly: false
  1. kubectl exec deploy-volume-cephfs-admin-secretfile-57f6cf7df5-wmfg5 -- sh -c 'ls /wenzhiyong-data'
  3. 00-installer-config.yaml
  4. fstab
  5. hostname
  6. hosts
  7. os-release
  9. # 进入pod测试
  10. / # cd /wenzhiyong-data/
  11. /wenzhiyong-data # ls
  12. 00-installer-config.yaml  fstab                     hostname                  hosts                     os-release
  13. /wenzhiyong-data # echo 11 >> pods.txt
  14. sh: can't create pods.txt: Read-only file system
复制代码
4.2 cephFS作为PVC

  1. apiVersion: v1
  2. kind: PersistentVolume
  3. metadata:
  4.   name: zhiyong18-cephfs-pv
  5.   labels:
  6.     school: zhiyong18
  7. spec:
  8.   accessModes:
  9.   - ReadWriteMany
  10.   cephfs:
  11.     monitors:
  12.     - 10.0.0.141:6789
  13.     - 10.0.0.141:6789
  14.     - 10.0.0.141:6789
  15.     path: /
  16.     readOnly: false
  17.     user: admin
  18.     secretFile: "/etc/ceph/admin.secret"
  19.   persistentVolumeReclaimPolicy: Retain
  20.   capacity:
  21.     storage: 2Gi
  22. ---
  24. apiVersion: v1
  25. kind: PersistentVolumeClaim
  26. metadata:
  27.   name: zhiyong18-cephfs-pvc
  28. spec:
  29.   # 选择上一步创建的PV
  30.   volumeName: zhiyong18-cephfs-pv
  31.   accessModes:
  32.   - ReadWriteMany
  33.   resources:
  34.     limits:
  35.        storage: 2Gi
  36.     requests:
  37.        storage: 1Gi
  38. ---
  40. apiVersion: apps/v1
  41. kind: Deployment
  42. metadata:
  43.   name: deploy-pvc-cephfs-secretfile
  44. spec:
  45.   replicas: 3
  46.   selector:
  47.     matchLabels:
  48.       apps: cephfs
  49.   template:
  50.     metadata:
  51.       labels:
  52.         apps: cephfs
  53.     spec:
  54.       volumes:
  55.       - name: data
  56.         persistentVolumeClaim:
  57.           claimName: zhiyong18-cephfs-pvc
  58.       containers:
  59.       - name: c1
  60.         image: registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/apps:v1
  61.         volumeMounts:
  62.         - name: data
  63.           mountPath: /usr/share/nginx/html
  64.         ports:
  65.         - containerPort: 80
  66. ---
  68. apiVersion: v1
  69. kind: Service
  70. metadata:
  71.   name: svc-cephfs-secretfile
  72. spec:
  73.   type: NodePort
  74.   selector:
  75.     apps: cephfs
  76.   ports:
  77.   - protocol: TCP
  78.     port: 80
  79.     targetPort: 80
  80.     nodePort: 30012
复制代码
  
  2.运用后查看pod目次下的文件，另有之前ceph集群测试时留下来的文件。在nginx pod内创建目次和写入文件。
  1. [root@master23104-cephfs]# kubectl exec -it deploy-pvc-cephfs-secretfile-6cfcdbfcf-r6sbt -- sh
  2. / # cd /usr/share/nginx/html/
  3. /usr/share/nginx/html # ls
  4. 00-installer-config.yaml     fstab         hostname        hosts         os-release
  6. /usr/share/nginx/html # mkdir nginx
  7. /usr/share/nginx/html # echo wzywzy.fun > nginx/index.html
复制代码
3.回到宿主机测试，访问任意一个pod都能看到返回准确的内容，说明：3个pod在共享这个cephFS
  1. [root@master23104-cephfs]# kubectl get pods -o wide
  2. NAME                                           READY   STATUS    RESTARTS   AGE     IP            NODE        NOMINATED NODE   READINESS GATES
  3. deploy-pvc-cephfs-secretfile-6cfcdbfcf-r6sbt   1/1     Running   0          7m57s   10.100.2.37   worker232   <none>           <none>
  4. deploy-pvc-cephfs-secretfile-6cfcdbfcf-v55zb   1/1     Running   0          7m57s   10.100.2.38   worker232   <none>           <none>
  5. deploy-pvc-cephfs-secretfile-6cfcdbfcf-vzzbf   1/1     Running   0          7m57s   10.100.1.19   worker233   <none>           <none>
  6. [root@master23104-cephfs]# curl 10.100.2.37/nginx/index.html
  7. wzywzy.fun
  8. [root@master23104-cephfs]# curl 10.100.2.38/nginx/index.html
  9. wzywzy.fun
  10. [root@master23104-cephfs]# curl 10.100.1.19/nginx/index.html
  11. wzywzy.fun
  12. ning   0          7m57s   10.100.2.37   worker232   <none>           <none>
  13. deploy-pvc-cephfs-secretfile-6cfcdbfcf-v55zb   1/1     Running   0          7m57s   10.100.2.38   worker232   <none>           <none>
  14. deploy-pvc-cephfs-secretfile-6cfcdbfcf-vzzbf   1/1     Running   0          7m57s   10.100.1.19   worker233   <none>           <none>
  15. [root@master23104-cephfs]# curl 10.100.2.37/nginx/index.html
  16. wzywzy.fun
  17. [root@master23104-cephfs]# curl 10.100.2.38/nginx/index.html
  18. wzywzy.fun
  19. [root@master23104-cephfs]# curl 10.100.1.19/nginx/index.html
  20. wzywzy.fun
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4