【云原生 | 从零开始学Kubernetes】二十三、Kubernetes控制器Statefulset ...

李优秀  金牌会员 | 2024-9-19 01:32:45 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 335|帖子 335|积分 1005

该篇文章已经被专栏《从零开始学k8s》收录
上一篇文章：kubernetes持久化存储下 点击跳转
  


  
Statefulset 控制器：概念、原明确读

StatefulSet 是为了管理有状态服务的问题而设计的
对于StatefulSet中的Pod，每个Pod挂载本身独立的存储，假如一个Pod出现故障，从其他节点启动一个同样名字的Pod，要挂载上原来Pod的存储继续以它的状态提供服务。
有状态服务？

StatefulSet 是有状态的聚集，管理有状态的服务，它所管理的 Pod 的名称不能随意变革。数据持久化的目录也是不一样，每一个 Pod 都有本身独有的数据持久化存储目录。比如 MySQL 主从、redis 集群等。


  • 让每个Pod独立的
  • 让每个Pod独立的，保持Pod启动次序和唯一性
  • 唯一的网络标识符，持久存储
  • 有序，比如mysql中的主从
适合StatefulSet的业务包括数据库服务 MySQL 和 PostgreSQL，集群化管理服务Zookeeper、etcd等有状态服务
StatefulSet的另一种典范应用场景是作为一种比普通容器更稳定可靠的模拟虚拟机的机制。传统的虚拟机正是一种有状态的宠物，运维人员需要不断地维护它，容器刚开始流行时，我们用容器来模拟虚拟机使用，所有状态都保存在容器里，而这已被证明是非常不安全、不可靠的。
使用StatefulSet，Pod仍然可以通过漂移到差别节点提供高可用，而存储也可以通过外挂的存储来提供高可靠性，StatefulSet做的只是将确定的Pod与确定的存储关联起来保证状态的连续性。
无状态服务？

RC、Deployment、DaemonSet 都是管理无状态的服务，它们所管理的 Pod 的 IP、名字，启停次序等都是随机的。个体对团体无影响，所有 pod 都是共用一个数据卷的，摆设的 tomcat 就是无状态的服务，tomcat 被删除，在启动一个新的 tomcat，到场到集群即可，跟 tomcat 的名字无关。


  • 以为Pod都是一样的
  • 没有次序要求
  • 不考虑应用在哪个node上运行
  • 可以大概举行随意伸缩和扩展
StatefulSet 由以下几个部门组成：
1.Headless Service：用来定义 pod 网路标识，生成可剖析的 DNS 记录
2.volumeClaimTemplates：存储卷申请模板，创建 pvc，指定 pvc 名称巨细，主动创建 pvc，且 pvc 由存储类供应。
3.StatefulSet：管理 pod 的
什么是 Headless service

Headless service 不分配 clusterIP，headless service 可以通过剖析 service 的 DNS,返回所有 Pod 的 dns 和 ip 地点 (statefulSet 摆设的 Pod 才有 DNS)，普通的 service,只能通过剖析 service 的 DNS 返回 service 的 ClusterIP。
为什么要用 headless service（没有 service ip 的 service）？

在使用 Deployment 时，创建的 Pod 名称是没有次序的，是随机字符串，在用 statefulset 管理 pod 时要求 pod 名称必须是有序的 ，每一个 pod 不能被随意代替，pod 重建后 pod 名称还是一样的。因为 pod IP 是变革的，以是要用 Pod 名称来辨认。pod 名称是 pod 唯一性的标识符， 必须持久稳定有用。这时间要用到无头服务，它可以给每个 Pod 一个唯一的名称。
  1. 1.headless service 会为 service 分配一个域名
  2. <service name>.$<namespace name>.svc.cluster.local
  3. K8s 中资源的全局 FQDN 格式:
  4. Service_NAME.NameSpace_NAME.Domain.LTD.
  5. Domain.LTD.=svc.cluster.local. #这是默认 k8s 集群的域名。
  6. FQDN 全称 Fully Qualified Domain Name 即全限定域名：同时带有主机名和域名的名称
  7. FQDN = Hostname + DomainName
  8. 如 主机名是 paopao 域名是 csdn.com
  9. FQDN= paopao.csdn.com
  11. 2.StatefulSet 会为关联的 Pod 保持一个不变的 Pod Name
  12. statefulset 中 Pod 的名字格式为$(StatefulSet name)-$(pod 序号)
  14. 3.StatefulSet 会为关联的 Pod 分配一个 dnsName
  15. $<Pod Name>.$<service name>.$<namespace name>.svc.cluster.local
复制代码
为什么要用 volumeClaimTemplate？

对于有状态应用都会用到持久化存储，比如 mysql 主从，由于主从数据库的数据是不能存放在一个目录下的，每个 mysql 节点都需要有本身独立的存储空间。而在 deployment 中创建的存储卷是一个共享的存储卷，多个 pod 使用同一个存储卷，它们数据是同步的，而 statefulset 定义中的每一个 pod 都不能使用同一个存储卷，这就需要使用 volumeClainTemplate，当在使用statefulset 创建 pod 时，volumeClainTemplate 会主动生成一个 PVC，从而请求绑定一个PV，每一个 pod 都有本身专用的存储卷。Pod、PVC 和 PV 对应的关系图如下：

Statefulset 资源清单文件编写本领

  1. #查看定义 Statefulset 资源需要的字段
  2. [root@k8smaster ~]# kubectl explain statefulset
  3. KIND:     StatefulSet
  4. VERSION:  apps/v1
  6. DESCRIPTION:
  7.      StatefulSet represents a set of pods with consistent identities. Identities
  8.      are defined as: - Network: A single stable DNS and hostname. - Storage: As
  9.      many VolumeClaims as requested. The StatefulSet guarantees that a given
  10.      network identity will always map to the same storage identity.
  11. FIELDS:
  12.    apiVersion <string> #定义 statefulset 资源需要使用的 api 版本
  13.    kind <string> #定义的资源类型
  14.    metadata<Object> #元数据
  15.    spec <Object> #定义容器相关的信息
  16. #查看 statefulset.spec 字段如何定义？
  17. [root@k8smaster ~]#  kubectl explain statefulset.spec
  18. KIND:     StatefulSet
  19. VERSION:  apps/v1
  21. RESOURCE: spec <Object>
  23. DESCRIPTION:
  24.      Spec defines the desired identities of pods in this set.
  26.      A StatefulSetSpec is the specification of a StatefulSet.
  27. FIELDS:
  28.    podManagementPolicy <string> #pod 管理策略
  29.    replicas <integer> #副本数
  30.    revisionHistoryLimit <integer> #保留的历史版本
  31.    selector <Object> -required- #标签选择器，选择它所关联的 pod
  32.    serviceName <string> -required- #headless service 的名字
  33.    template <Object> -required- #生成 pod 的模板
  34.    updateStrategy <Object> #更新策略
  35.    volumeClaimTemplates<[]Object> #存储卷申请模板
  36. #查看 statefulset 的 spec.template 字段如何定义？
  37. #对于 template 而言，其内部定义的就是 pod，pod 模板是一个独立的对象
  38. [root@k8smaster ~]# kubectl explain statefulset.spec.template
  39. KIND:     StatefulSet
  40. VERSION:  apps/v1
  42. RESOURCE: template <Object>
  44. DESCRIPTION:
  45.      template is the object that describes the pod that will be created if
  46.      insufficient replicas are detected. Each pod stamped out by the StatefulSet
  47.      will fulfill this Template, but have a unique identity from the rest of the
  48.      StatefulSet.
  50.      PodTemplateSpec describes the data a pod should have when created from a
  51.      template
  53. FIELDS:
  54.    metadata        <Object>
  55.    spec <Object> #定义容器属性的
复制代码
通过上面可以看到，statefulset 资源中有两个 spec 字段。
第一个 spec 声明的是 statefulset 定义多少个 Pod 副本（默认将仅摆设 1 个 Pod）、匹配 Pod 标签的选择器、创建 pod 的模板、存储卷申请模板。
第二个 spec 是 spec.template.spec：主要用于 Pod 里的容器属性等配置。.spec.template 里的内容是声明 Pod 对象时要定义的各种属性，以是这部门也叫做 PodTemplate（Pod 模板）。
另有一个值得留意的地方是：在.spec.selector 中定义的标签选择器必须可以大概匹配到 spec.template.metadata.labels 里定义的 Pod 标签，否则 Kubernetes 将 不答应创建 statefulset。
Statefulset 使用案例：摆设 web 站点

  1. #创建存储类
  2. [root@k8smaster ~]# mkdir state
  3. [root@k8smaster ~]# cd state/
  4. [root@k8smaster state]# vim class-web.yaml
  5. apiVersion: storage.k8s.io/v1
  6. kind: StorageClass
  7. metadata:
  8.   name: nfs-web
  9. provisioner: example.com/nfs
  11. #更新资源清单文件
  12. [root@xianchaomaster1 ~]# kubectl apply -f class-web.yaml
  13. [root@k8smaster state]# kubectl get storageclass
  14. NAME      PROVISIONER       RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
  15. nfs-web   example.com/nfs   Delete          Immediate           false                  6m16s
  17. #编写一个 Statefulset 资源清单文件
  18. [root@k8smaster state]# vim statefulset.yaml
  19. apiVersion: v1
  20. kind: Service
  21. metadata:
  22.   name: nginx
  23.   labels:
  24.      app: nginx
  25. spec:
  26.   ports:
  27.   - port: 80
  28.     name: web
  29.   clusterIP: None
  30.   selector:
  31.     app: nginx
  32. ---
  33. apiVersion: apps/v1
  34. kind: StatefulSet
  35. metadata:
  36.   name: web
  37. spec:
  38.   selector:
  39.     matchLabels:
  40.       app: nginx
  41.   serviceName: "nginx"
  42.   replicas: 2
  43.   template:
  44.     metadata:
  45.      labels:
  46.        app: nginx
  47.     spec:
  48.       containers:
  49.       - name: nginx
  50.         image: nginx
  51.         ports:
  52.         - containerPort: 80
  53.           name: web
  54.         volumeMounts:
  55.         - name: www
  56.           mountPath: /usr/share/nginx/html
  57.   volumeClaimTemplates:
  58.   - metadata:
  59.       name: www
  60.     spec:
  61.       accessModes: ["ReadWriteOnce"]
  62.       storageClassName: "nfs-web"
  63.       resources:
  64.         requests:
  65.           storage: 1Gi
  67. #更新资源清单文件
  68. [root@k8smaster state]# kubectl apply -f statefulset.yaml
  69. service/nginx created
  70. statefulset.apps/web created
  71. #查看 statefulset 是否创建成功
  72. [root@k8smaster state]# kubectl get sts -o wide
  73. NAME   READY   AGE   CONTAINERS   IMAGES
  74. web    2/2     59s   nginx        nginx
  76. #查看 pod
  77. [root@k8smaster state]# kubectl get pods -l app=nginx
  78. NAME                    READY   STATUS    RESTARTS   AGE
  79. web-0                   0/1     Pending   0          76s
  80. web-1                   1/1     Pending   0          76s
  82. #通过上面可以看到创建的 pod 是有序的
  83. #查看 headless service
  84. [root@k8smaster state]# kubectl get svc -l app=nginx
  85. NAME    TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
  86. nginx   ClusterIP  None           <none>        80/TCP              3m
  87. #查看 pvc
  88. [root@k8smaster state]# kubectl get pvc
  89. www-web-0 Bound pvc-13a0482f-4927-63ff-9f2e-1b926b299c6f 1Gi RWO,RWX nfs-web 4m45s
  90. www-web-1 Bound pvc-bc23p2a9-5bjd-00df-829f-ccb4d24g01h1 1Gi RWO,RWX nfs-web 4m41s
  91. #查看 pv
  92. [root@k8smaster state]# kubectl get pv
  93. pvc-13a0482f-4927-63ff-9f2e-1b926b299c6f 1Gi RWO,RWX Delete Bound default/www-web-0 nfs-web 5m3s
  94. pvc-bc23p2a9-5bjd-00df-829f-ccb4d24g01h1 1Gi RWO,RWX Delete Bound default/www-web-1 nfs-web 5m59s
  96. #在data nfs_pro目录下划分的pv
  98. #查看 pod 主机名
  99. [root@k8smaster ~]# for i in 0 1; do kubectl exec web-$i -- sh -c 'hostname';done
  100. web-0
  101. web-1
  102. #使用 kubectl run 运行一个提供 nslookup 命令的容器的，这个命令来自于 dnsutils 包，通过对 pod 主机名执行 nslookup，可以检查它们在集群内部的 DNS 地址：
  103. [root@k8smaster ~]# kubectl exec -it web-1 -- /bin/bash
  104. root@web-1:/# apt-get update
  105. root@web-1:/# apt-get install dnsutils -y
  106. root@web-1:/# nslookup web-0.nginx.default.svc.cluster.local
  107. Server: 10.96.0.10
  108. Address: 10.96.0.10#53
  109. Name: web-0.nginx.default.svc.cluster.local
  110. #statefulset 创建的 pod 也是有 dns 记录的
  111. Address: 10.244.103.139    #解析到的是 pod 的 ip 地址
  113. root@web-1:/# nslookup nginx.default.svc.cluster.local
  114. Server: 10.96.0.10
  115. Address: 10.96.0.10#53
  116. Name: nginx.default.svc.cluster.local #查询 service dns，会把对应的 pod ip 解析出来
  117. Address: 10.244.103.139
  118. Name: nginx.default.svc.cluster.local
  119. Address: 10.244.121.93
  121. [root@k8smaster state]# kubectl describe svc nginx
  122. Name:                     nginx
  123. Namespace:                default
  124. Labels:                   app=nginx
  125. Annotations:              <none>
  126. Type:                     ClusterIP
  127. IP:                       none
  128. Port:                     web  80/TCP
  129. TargetPort:               80/TCP
  130. Endpoints:                10.244.103.139:80,10.244.121.93:80                #这两个pod都有app=ngin的标签，service把这两个都写入endpoints列表了
  131. Session Affinity:         None
  132. Events:                   <none>
  134. root@web-1:/# dig -t A nginx.default.svc.cluster.local @10.96.0.10       
  135. ; <<>> DiG 9.11.5-P4-5.1+deb10u3-Debian <<>> -t A nginx.default.svc.cluster.local @10.96.0.10
  137. ;; global options: +cmd
  138. ;; Got answer:
  139. ;; WARNING: .local is reserved for Multicast DNS
  140. ;; You are currently testing what happens when an mDNS query is leaked to DNS
  141. ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 16869
  142. ;; flags: qr aa rd; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 1
  143. ;; WARNING: recursion requested but not available
  145. ;; OPT PSEUDOSECTION:
  146. ; EDNS: version: 0, flags:; udp: 4096
  147. ; COOKIE: 1cf973a5daa99ac7 (echoed)
  148. ;; QUESTION SECTION:
  149. ;nginx.default.svc.cluster.local. IN A
  151. ;; ANSWER SECTION:
  152. nginx.default.svc.cluster.local. 30 IN A 10.244.103.139
  153. nginx.default.svc.cluster.local. 30 IN A 10.244.121.93
  155. ;; Query time: 0 msec
  156. ;; SERVER: 10.96.0.10#53(10.96.0.10)
  157. ;; WHEN: Thu Jul 14 06:49:51 UTC 2022
  158. ;; MSG SIZE rcvd: 166
  160. root@web-1:/# nslookup kubernetes.default.svc.cluster.local
  161. Server:                10.96.0.10
  162. Address:        10.96.0.10#53
  164. Name:        kubernetes.default.svc.cluster.local
  165. Address: 10.96.0.1
  167. #解析kubernertes，有ip会把ip解析出来，没有会解析后端pod
  169. dig 的使用
  170. dig -t A nginx.default.svc.cluster.local @10.96.0.10
  172. 格式如下：
  173. @来指定域名服务器
  174. A 为解析类型 ，A 记录
  175. -t 指定要解析的类型
  176. A 记录：
  177. A 记录是解析域名到 IP
  179. 资源清单详细解读：
  180. apiVersion: v1 #定义 api 版本
  181. kind: Service #定义要创建的资源：service
  182. metadata:
  183. name: nginx #定义 service 的名字
  184. labels:
  185. app: nginx #service 的标签
  186. spec:
  187. ports:
  188. - port: 80
  189. name: web
  190. clusterIP: None #创建一个没有 ip 的 service
  191. selector:
  192. app: nginx #选择拥有 app=nginx 标签的 pod
  193. ---
  194. apiVersion: apps/v1
  195. kind: StatefulSet
  196. metadata:
  197. name: web
  198. spec:
  199. selector:
  200. matchLabels:
  201. app: nginx
  202. serviceName: "nginx" #headless service 的名字
  203. replicas: 2 #副本数
  204. template: #定义 pod 的模板
  205. metadata:
  206. labels:
  207. app: nginx
  208. spec:
  209. containers:
  210. - name: nginx
  211. image: nginx
  212. imagePullPolicy: IfNotPresent
  213. ports:
  214. - containerPort: 80
  215. name: web
  216. volumeMounts:
  217. - name: www
  218. mountPath: /usr/share/nginx/html
  219. volumeClaimTemplates: #存储卷申请模板
  220. - metadata:
  221. name: www
  222. spec:
  223. accessModes: ["ReadWriteOnce"]
  224. storageClassName: "nfs-web" #指定从哪个存储类申请 pv
  225. resources:
  226. requests:
  227. storage: 1Gi #需要 1G 的 pvc，会自动跟符合条件的 pv 绑定
  229. 扩展：
  230. service 和 headless service 区别：
  231. #deployment 创建的 pod 是随机生成的 解析的是 service 的 ip 地址
复制代码
Statefulset 管理 pod：扩容、缩容、更新

  1. #Statefulset 实现 pod 的动态扩容
  2. 如果我们觉得两个副本太少了，想要增加，只需要修改配置文件 statefulset.yaml 里的 replicas的值即可，原来 replicas: 2，现在变成 replicaset: 3，修改之后，执行如下命令更新：
  3. [root@k8smaster state]# kubectl apply -f statefulset.yaml
  4. service/nginx unchanged
  5. statefulset.apps/web configured
  6. [root@k8smaster state]# kubectl get sts
  7. web         3/3         30m
  8. [root@k8smaster state]# kubectl get pods -l app=nginx
  9. NAME         READY                 STATUS                 RESTARTS                 AGE
  10. web-0          1/1                 Running          0                                61m
  11. web-1          1/1                 Running          0                                 60m
  12. web-2          1/1                 Running          0                                 79s
  13. #也可以直接编辑控制器实现扩容
  14. [root@xianchaomaster1 ~]# kubectl edit sts web
  15. #这个是我们把请求提交给了 apiserver，实时修改,把 spec 下的 replicas 后面的值改成 4，保存退出
  16. [root@xianchaomaster1 ~]# kubectl get pods -l app=nginx
  17. NAME READY STATUS RESTARTS AGE
  18. web-0 1/1 Running 0 62m
  19. web-1 1/1 Running 0 62m
  20. web-2 1/1 Running 0 3m13s
  21. web-3 1/1 Running 0 26s
  22. #Statefulset 实现 pod 的动态缩容
  23. 如果我们觉得 4 个 Pod 副本太多了，想要减少，只需要修改配置文件 statefulset.yaml 里的
  24. replicas 的值即可，把 replicaset：4 变成 replicas: 2，修改之后，执行如下命令更新：
  25. [root@k8smaster state]# kubectl apply -f statefulset.yaml
  26. service/nginx unchanged
  27. statefulset.apps/web configured
  28. [root@k8smaster state]# kubectl get pods -l app=nginx
  29. NAME         READY                 STATUS                 RESTARTS                 AGE
  30. web-0          1/1                 Running          0                                64m
  31. web-1          1/1                 Running          0                                 63m
  33. #Statefulset 实现 pod 的更新
  34. [root@k8smaster state]# kubectl edit sts web
  35. #修改镜像 nginx 变成 image: tomcat，修改之后保存退出
  36. [root@k8smaster state]# kubectl get pods -o wide -l app=nginx
  37. NAME            READY   STATUS    RESTARTS   AGE   IP                             NODE      
  38. web-0                         1/1         Running   0                   18s   10.244.201.106                 k8snode
  39. web-1                         1/1         Running   0                   36s   10.244.133.176                 k8snode2
  40. #查看 pod 详细信息
  41. [root@k8smaster state]# kubectl describe pods web-0
  42. 通过上面可以看到 pod 已经使用刚才更新的镜像 tomcat 了
复制代码
写在最后

创作不易，假如觉得内容对你有帮助，麻烦给个三连关注支持一下我！假如有错误，请在评论区指出，我会实时更改！
目前正在更新的系列：从零开始学k8s
感谢各位的观看，文章掺杂个人明确，如有错误请联系我指出~

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

李优秀

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表