基于 Sealos 的镜像构建能力，快速部署自定义 k8s 集群

大号在练葵花宝典  金牌会员 | 2022-11-17 23:28:06 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 556|帖子 556|积分 1668

Sealos 是一个快速构建高可用 k8s 集群的命令行工具，该工具部署时会在第一个 k8s master 节点部署 registry 服务(sealos.hub)，该域名通过 hosts 解析到第一个 k8s master 节点 ip；基于内核 ipvs 对 apiserver 进行负载均衡，其默认虚拟 ip 地址为 10.103.97.2(apiserver.cluster.local)，所有 k8s Worker 节点通过该虚拟 ip 访问 kube-apiserver
建议通过 PC 端访问本文章，以获取更好阅读体验，由于精力有限，该文章的后续更新、完善仅限于站点 运维技术帮 (https://ywjsbang.com) 望理解 !!
环境配置
  1. # 各组件版本
  2. CenOS7.9 Min(Kernel 5.4.220)
  3. Sealos:v4.1.3
  4. flannel:v0.20.0
  5. kubernetes:v1.25.3
  6. kubernetes-dashboard:v2.7.0
  8. # 设置各节点主机名与 IP 地址映射关系
  9. cat >> /etc/hosts << EOF
  10. 192.168.31.51 t1
  11. 192.168.31.52 t2
  12. 192.168.31.53 t3
  13. 192.168.31.54 t4
  14. 192.168.31.55 t5
  15. EOF
  17. # 安装依赖
  18. yum install socat conntrack-tools -y
复制代码
生成 Clusterfile

1、生成集群配置文件
  1. initContainers:
  2.   docker.io/rancher/mirrored-flannelcni-flannel-cni-plugin:v1.1.0   # 通过卷挂载方式，将 CNI 插件 /opt/cni/bin/flannel 挂载到宿主机对应位置
  3.   docker.io/rancher/mirrored-flannelcni-flannel:v0.20.0             # 通过卷挂载方式，将配置目录 /etc/cni/net.d 和 /etc/kube-flannel/ 挂载到宿主机对应位置
  4. containers
  5.   docker.io/rancher/mirrored-flannelcni-flannel:v0.20.0             # flanneld 守护进程
复制代码
2、配置文件 Clusterfile 内容如下
  1. kind: ConfigMap
  2. apiVersion: v1
  3. metadata:
  4.   name: kube-flannel-cfg
  5.   namespace: kube-flannel
  6.   labels:
  7.     tier: node
  8.     app: flannel
  9. data:
  10.   ...
  11.   ...
  12.   net-conf.json: |
  13.     {
  14.       "Network": "10.15.0.0/16",     # pod 网段, 该网段必须与 kube-controller-manager 配置参数 --cluster-cidr 值匹配
  15.       "Backend": {
  16.         "Type": "vxlan"
  17.       }
  18.     }
复制代码
3、向 Clusterfile 文件尾行添加如下内容，以自定义集群的 pod 和 service 网段，将会分别用于设置组件 kube-controller-manager 启动参数 --cluster-cidr 和 --service-cluster-ip-range 的值
  1. initContainers:
  2. - name: install-cni-plugin-sealos
  3.   image: docker.io/labring/docker-cni-plugins:v1.1.0
  4.   command: ["/bin/sh"]
  5.   args: ["-c", "cp -f /cni-plugins/* /opt/cni/bin/"]
  6.   volumeMounts:
  7.   - name: cni-plugin-sealos
  8.     mountPath: /opt/cni/bin
  9. # 定义卷 cni-plugin-sealos
  10. volumes:
  11. - name: cni-plugin-sealos
  12.   hostPath:
  13.     path: /opt/cni/bin
复制代码
创建集群

1、基于如上配置创建集群
  1. wget  https://github.com/labring/sealos/releases/download/v4.1.3/sealos_4.1.3_linux_amd64.tar.gz  && \
  2. tar -zxvf sealos_4.1.3_linux_amd64.tar.gz sealos &&  \
  3. chmod +x sealos && mv sealos /usr/bin
复制代码
2、在需要执行集群管理的节点添加 kubeconfig 配置
  1. cat > Dockerfile << EOF
  2. FROM scratch
  3. COPY manifests ./manifests
  4. COPY registry ./registry
  5. CMD ["kubectl apply -f manifests/kube-flannel.yml"]
  6. EOF
复制代码
集群维护

添加 Work 节点

1、添加工作节点 192.168.31.55
  1. # 执行自定义镜像构建
  2. sealos build -f Dockerfile -t it123.me/flannel:v0.20.0 .
  3. # 查看本地镜像
  4. sealos images
  5. # > REPOSITORY                     TAG       IMAGE ID       CREATED          SIZE
  6. # > it123.me/flannel               v0.20.0   6f0563e3df50   19 minutes ago   72.9 MB
  7. # > docker.io/labring/kubernetes   v1.25.3   6f1de58f84c4   8 days ago       589 MB
  8. # > docker.io/labring/calico       v3.24.1   e2122fc58fd3   8 weeks ago      354 MB
  9. # > docker.io/labring/helm         v3.8.2    1123e8b4b455   3 months ago     45.1 MB
  10. # > docker.io/labring/calico       v3.22.1   29516dc98b4b   4 months ago     546 MB
复制代码
2、验证 pod 、service 网段
  1. sealos gen labring/kubernetes:v1.25.3 it123.me/flannel:v0.20.0 --masters 192.168.31.51 --nodes 192.168.31.54 -p rootroot > Clusterfile
  2. # 参数解析
  3. --masters    # 集群 master 节点，可逗号分隔指定多个
  4. --nodes      # 集群 worker 节点，可逗号分隔指定多个
  5. -p rootroot  # 部署时的 ssh 密码，默认 ssh 用户 root，可通过 -u 参数修改
  6. # 创建集群时需要的镜像
  7. it123.me/flannel:v0.20.0
  8. labring/kubernetes:v1.25.3
复制代码
添加 Master 节点

1、添加控制器节点 192.168.31.52 和 192.168.31.53
  1. apiVersion: apps.sealos.io/v1beta1
  2. kind: Cluster
  3. metadata:
  4.   creationTimestamp: null
  5.   name: default
  6. spec:
  7.   hosts:
  8.   - ips:
  9.     - 192.168.31.51:22
  10.     roles:
  11.     - master
  12.     - amd64
  13.   - ips:
  14.     - 192.168.31.54:22
  15.     roles:
  16.     - node
  17.     - amd64
  18.   image:
  19.   - labring/kubernetes:v1.25.3
  20.   - it123.me/flannel:v0.20.0
  21.   ssh:
  22.     passwd: rootroot
  23.     pk: /root/.ssh/id_rsa
  24.     port: 22
  25. status: {}
复制代码
执行该操作时，sealos 会自动在对应 master 节点添加 etcd 服务，但是集群 kube-apiserver 配置项 --etcd-servers 并未更新，因此、还需到各 master 节点更新配置文件 /etc/kubernetes/manifests/kube-apiserver.yaml，设置配置项--etcd-servers=https://192.168.31.51:2379,https://192.168.31.52:2379,https://192.168.31.53:2379 实现 etcd 服务的高可用
备注: 该配置项修改后会自动生效，因为 k8s 会自动监视这些配置文件，当被修改时，k8s 会自动重建对应节点 kube-apiserver 的 pod 实例
2、验证节点
  1. ---
  2. apiVersion: kubeadm.k8s.io/v1beta2
  3. kind: ClusterConfiguration
  4. networking:
  5.   podSubnet: 10.15.0.0/16               # 该值必须与 flanneld 配置清单 kube-flannel.yaml 中的配置一致，
  6.   serviceSubnet: 10.16.0.0/16
复制代码
部署 dashboard
  1. # 创建集群, 并验证节点状态
  2. sealos apply -f Clusterfile
  3. kubectl get node -o wide
  4. # > NAME   STATUS   ROLES           AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION                CONTAINER-RUNTIME
  5. # > t1     Ready    control-plane   41m   v1.25.3   192.168.31.51   <none>        CentOS Linux 7 (Core)   5.4.220-1.el7.elrepo.x86_64   containerd://1.6.2
  6. # > t4     Ready    <none>          41m   v1.25.3   192.168.31.54   <none>        CentOS Linux 7 (Core)   5.4.220-1.el7.elrepo.x86_64   containerd://1.6.2
复制代码
清理集群
  1. mkdir -p $HOME/.kube
  2. cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  3. chown $(id -u):$(id -g) $HOME/.kube/config
复制代码
Q&A

1、error execution phase control-plane-prepare/certs: error creating PKI assets: failed to write or validate certificate "apiserver": certificate apiserver is invalid: x509: certificate is valid for 192.168.31.53, 10.96.0.1, 10.103.97.2, 127.0.0.1, 192.168.31.51, 192.168.31.52, not 10.16.0.1 (生成的 apiserver.cert 证书不包含 10.16.0.1)
使用 sealos apply -f Clusterfile 创建集群时，并未将 Clusterfile 中 kubeadm 的自定义集群配置 ClusterConfiguration 添加至 .sealos/demo01/Clusterfile 文件，因此当使用如下命令添加 master 节点时报错提示，生成的 apiserver.cert 证书中不包含自定义的 service 网段 ip
  1. sealos add --nodes 192.168.31.55        # 执行 sealos delete --nodes 192.168.31.50 删除节点
  2. kubectl get node -o wide
  3. # > NAME   STATUS   ROLES           AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION                CONTAINER-RUNTIME
  4. # > t1     Ready    control-plane   41m   v1.25.3   192.168.31.51   <none>        CentOS Linux 7 (Core)   5.4.220-1.el7.elrepo.x86_64   containerd://1.6.2
  5. # > t4     Ready    <none>          41m   v1.25.3   192.168.31.54   <none>        CentOS Linux 7 (Core)   5.4.220-1.el7.elrepo.x86_64   containerd://1.6.2
  6. # > t5     Ready    <none>          38s   v1.25.3   192.168.31.55   <none>        CentOS Linux 7 (Core)   5.4.221-1.el7.elrepo.x86_64   containerd://1.6.2
复制代码
解决方案：在文件 .sealos/demo01/Clusterfile 尾行添加如下配置, 再执行 master 节点添加命令:
  1. kubectl get pod,svc -o wide -A
  2. # > NAMESPACE      NAME                             READY   STATUS    RESTARTS   AGE     IP              NODE   NOMINATED NODE   READINESS GATES
  3. # > kube-system    pod/coredns-565d847f94-4lr8z     1/1     Running   0          44m     10.15.0.5       t8     <none>           <none>
  4. # > kube-system    pod/coredns-565d847f94-65v47     1/1     Running   0          44m     10.15.0.4       t8     <none>           <none>
  6. # > NAMESPACE     NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE   SELECTOR
  7. # > default       service/kubernetes   ClusterIP   10.16.0.1    <none>        443/TCP                  44m   <none>
  8. # > kube-system   service/kube-dns     ClusterIP   10.16.0.10   <none>        53/UDP,53/TCP,9153/TCP   44m   k8s-app=kube-dns
复制代码
2、若执行 sealos apply -f Clusterfile 操作时，提示 no change apps | nodes, 则需要用 Clusterfile 覆盖 /root/.sealos/default/Clusterfile 文件
cp Clusterfile /root/.sealos/default/Clusterfile 或删除 /root/.sealos/default/Clusterfile 状态部分 status:{} 或 mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
3、socat not found in system path !!
集群所有节点安装 yum install socat -y
4、ERROR [2022-11-02 20:11:43] >> Port: 10249 occupied. Please turn off port service.
本次安装受到环境残留干扰，需清理节点环境
5、error execution phase preflight: couldn't validate the identity of the API Server: could not find a JWS signature in the cluster-info ConfigMap for token ID "fk63j7"
新建 default 集群时，执行 mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config --cluster default 清除之前创建的集群证书及其它信息
重 要 提 醒: 由于笔者时间、视野、认知有限，本文难免出现错误、疏漏等问题，期待各位读者朋友、业界大佬指正交流, 共同进步 !!

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
回复

使用道具 举报

0 个回复

正序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

大号在练葵花宝典

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表