搭建k8s高可用集群（Keepalived 和 HAproxy）

宝塔山  金牌会员 | 2024-9-12 18:53:29 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 644|帖子 644|积分 1932

搭建k8s高可用集群
1、准备工作

记载一次搭建k8s高可用集群的过程，使用KubeSphere可视化界面引导安装集群。本次实验一共是10台机器，内网IP地址和配置如下图：
IP 地址主机名角色配置10.10.10.101keepalived1Keepalived & HAproxy2核2G，50GB10.10.10.102keepalived2Keepalived & HAproxy2核2G，50GB10.10.10.201k8s-master1master主节点, etcd4核8G，100GB10.10.10.202k8s-master2master主节点, etcd4核8G，100GB10.10.10.203k8s-master3master主节点, etcd4核8G，100GB10.10.10.211k8s-node1worker node工作节点6核8G,60GB10.10.10.212k8s-node2worker node工作节点4核8G，50GB10.10.10.213k8s-node3worker node工作节点8核16G，100GB10.10.10.214k8s-node4worker node工作节点6核8G，60GB10.10.10.215k8s-node5worker node工作节点6核8G，70GB 有2个keepalived节点，三个主节点和5个工作节点，另外准备用一个没被使用的IP10.10.10.200当虚拟ip地址。（10台安装了centos7的机器另加一个没被使用过的IP地址）
意在开始搭建集群前请停止全部机器的防火墙，而且确保机器之间能互相ssh连接访问：
  1. systemctl disable firewalld
  2. systemctl stop firewalld
复制代码
全部机器都运行如下下令同步时间：
  1. yum install -y ntpdate
  2. ntpdate ntp.aliyun.com
  3. cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
复制代码
使用如下下令把主机名字设置好，每台机器设一个便于记忆的名字。我这里按表格中的设置了：
  1. #各个机器设置自己的域名
  2. hostnamectl set-hostname k8s-master1
复制代码
使用如下下令把全部的master节点和worker工作节点设置禁用swap,关闭selinux
  1. sudo setenforce 0
  2. sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
  3. #关闭swap
  4. swapoff -a  
  5. sed -ri 's/.*swap.*/#&/' /etc/fstab
  6. #允许 iptables 检查桥接流量
  7. cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
  8. br_netfilter
  9. EOF
  10. cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
  11. net.bridge.bridge-nf-call-ip6tables = 1
  12. net.bridge.bridge-nf-call-iptables = 1
  13. EOF
  14. sudo sysctl --system
复制代码
使用如下下令在全部的master节点和worker工作节点安装docker并配置docker镜像加快器。
  1. yum install -y yum-utils device-mapper-persistent-data lvm2 wget vim --skip-broken
  2. yum install -y conntrack socat
  3. # 设置docker镜像源
  4. yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo  
  5. sed -i 's/download.docker.com/mirrors.aliyun.com\/docker-ce/g' /etc/yum.repos.d/docker-ce.repo
  6. yum makecache fast
  8. yum install -y docker-ce-20.10.10 docker-ce-cli-20.10.10  containerd.io-1.4.9
复制代码
全部的master节点和worker工作节点启动docker
  1. systemctl enable docker --now
复制代码
全部的master节点和worker工作节点配置docker镜像加快器（这里额外添加了docker的生产环境焦点配置cgroup）
  1. sudo mkdir -p /etc/docker
  2. sudo tee /etc/docker/daemon.json <<-'EOF'
  3. {
  4.   "registry-mirrors": ["https://82m9ar63.mirror.aliyuncs.com"],
  5.   "exec-opts": ["native.cgroupdriver=systemd"],
  6.   "log-driver": "json-file",
  7.   "log-opts": {
  8.     "max-size": "100m"
  9.   },
  10.   "storage-driver": "overlay2"
  11. }
  12. EOF
  13. sudo systemctl daemon-reload
  14. sudo systemctl restart docker
复制代码

全部的master节点和worker工作节点配置k8s源地址
  1. cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
  2. [kubernetes]
  3. name=Kubernetes
  4. baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
  5. enabled=1
  6. gpgcheck=0
  7. repo_gpgcheck=0
  8. gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
  9.    http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  10. EOF
  11. yum makecache fast
复制代码
2.在keepalived1和keepalived2上运行如下下令安装keepalived和haproxy：

  1. yum install keepalived haproxy psmisc -y
复制代码
安装完成keepalived和haproxy后编辑haproxy配置，

进入/etc/haproxy找到如上图文件编辑内容如下：
  1. global
  2.     log /dev/log  local0 warning
  3.     chroot      /var/lib/haproxy
  4.     pidfile     /var/run/haproxy.pid
  5.     maxconn     4000
  6.     user        haproxy
  7.     group       haproxy
  8.     daemon
  9.    stats socket /var/lib/haproxy/stats
  10. defaults
  11.   log global
  12.   option  httplog
  13.   option  dontlognull
  14.         timeout connect 5000
  15.         timeout client 50000
  16.         timeout server 50000
  17. frontend kube-apiserver
  18.   bind *:6443 #注意这里的6443是kube-apiserver的默认端口，一般不需要修改
  19.   mode tcp
  20.   option tcplog
  21.   default_backend kube-apiserver
  22. backend kube-apiserver
  23.     mode tcp
  24.     option tcplog
  25.     option tcp-check
  26.     balance roundrobin
  27.     default-server inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100
  28.     server kube-apiserver-1 10.10.10.201:6443 check # 改成你自己的主节点IP，我是3个主节点，你有几个主节点就写几个
  29.     server kube-apiserver-2 10.10.10.202:6443 check # 改成你自己的主节点IP
  30.     server kube-apiserver-3 10.10.10.203:6443 check # 改成你自己的主节点IP
复制代码
注意这个修改haproxy配置文件是两个keepalived节点都要做的事变,配置过程完全一样。
两台keepalived都配置完成后运行如下下令重启kaproxy
  1. systemctl enable haproxy
  2. systemctl restart haproxy
复制代码
3、Keepalived配置

两台keepalived机器分别进入/etc/keepalived/文件夹下，编辑keepalived.conf文件，但是两台机器的配置文件内容略有不一样的地方，如下：
  1. global_defs {
  2.   notification_email {
  3.   }
  4.   router_id LVS_DEVEL
  5.   vrrp_skip_check_adv_addr
  6.   vrrp_garp_interval 0
  7.   vrrp_gna_interval 0
  8. }
  9. vrrp_script chk_haproxy {
  10.   script "killall -0 haproxy"
  11.   interval 2
  12.   weight 2
  13. }
  14. vrrp_instance haproxy-vip {
  15.   state BACKUP
  16.   priority 100
  17.   interface eth0 #这个是机器的网卡名字，就是你运行ip a命令看到的IP地址对应的网卡名
  18.   virtual_router_id 60
  19.   advert_int 1
  20.   authentication {
  21.     auth_type PASS
  22.     auth_pass 1111
  23.   }
  24.   unicast_src_ip 10.10.10.101 #这里填你现在编辑文件的这台keepalived机器的IP地址
  25.   unicast_peer {
  26.     10.10.10.102  #这是剩下那台keepalived机器的IP地址，
  27.   }                #因此2台keepalived机器的unicast_src_ip和unicast_peer正好相反
  28.   virtual_ipaddress {
  29.     10.10.10.200/24   #这是VirtulIp虚拟IP地址
  30.   }
  31.   track_script {
  32.     chk_haproxy
  33.   }
  34. }
复制代码


  • 为 unicast_src_ip 提供的 IP 地址是您当前机器的 IP 地址。
  • 对于也安装了 HAproxy 和 Keepalived 进行负载均衡的其他机器，必须在字段 unicast_peer 中输入其 IP 地址。
保存配置文件，重启2台keepalived机器：
  1. systemctl restart keepalived
  2. systemctl enable keepalived
复制代码
4、验证高可用性

在keepalived1 10.10.10.101机器上运行ip a s下令，输出如下：

如今把keepalived1 10.10.10.101机器关机，模仿机器故障。
然后在keepalived2 10.10.10.102机器上应该能看到如下：

如上图结果所示，高可用已经配置成功。
5、使用KubeKey引导创建k8s集群

在k8s-master1主节点上运行如下下令：
  1. export KKZONE=cn
  2. curl -sfL https://get-kk.kubesphere.io | VERSION=v3.0.13 sh -
  3. chmod +x kk
复制代码
下载kubeKey后使用如下下令安装kubernetes1.23.10版本，您也可以更换其他版本：
  1. ./kk create config --with-kubesphere v3.4.1 --with-kubernetes v1.23.10
复制代码
运行上述下令后将会在当前路径创建配置文件config-sample.yaml，接下来编辑这个文件：

重点关注以下几个地方，如下图红色方框中的内容：

spec:hosts:中每一行代表一个机器，要把全部机器列出来，name：实例的主机名（就是第一步准备工作时设置的hostname）,address和internalAddress是每个机器的IP地址，后面的user和password是能远程登录机器的用户名和暗码。
controlPlaneEndpoint 部门为高可用集群提供外部负载均衡器信息，上图中下方的红色方框中填那个虚拟IP的地址。
  1. apiVersion: kubekey.kubesphere.io/v1alpha2
  2. kind: Cluster
  3. metadata:
  4.   name: sample
  5. spec:
  6.   hosts:
  7.   - {name: k8s-master1, address: 10.10.10.201, internalAddress: 10.10.10.201, user: root, password: "123456789"}
  8.   - {name: k8s-master2, address: 10.10.10.202, internalAddress: 10.10.10.202, user: root, password: "123456789"}
  9.   - {name: k8s-master3, address: 10.10.10.203, internalAddress: 10.10.10.203, user: root, password: "123456789"}
  10.   - {name: k8s-node1, address: 10.10.10.211, internalAddress: 10.10.10.211, user: root, password: "123456789"}
  11.   - {name: k8s-node2, address: 10.10.10.212, internalAddress: 10.10.10.212, user: root, password: "123456789"}
  12.   - {name: k8s-node3, address: 10.10.10.213, internalAddress: 10.10.10.213, user: root, password: "123456789"}
  13.   - {name: k8s-node4, address: 10.10.10.214, internalAddress: 10.10.10.214, user: root, password: "123456789"}
  14.   - {name: k8s-node5, address: 10.10.10.215, internalAddress: 10.10.10.215, user: root, password: "123456789"}
  15.   roleGroups:
  16.     etcd:
  17.     - k8s-master1
  18.     - k8s-master2
  19.     - k8s-master3
  20.     control-plane:
  21.     - k8s-master1
  22.     - k8s-master2
  23.     - k8s-master3
  24.     worker:
  25.     - k8s-node1
  26.     - k8s-node2
  27.     - k8s-node3
  28.     - k8s-node4
  29.     - k8s-node5
  30.   controlPlaneEndpoint:
  31.     ## Internal loadbalancer for apiservers
  32.     # internalLoadbalancer: haproxy
  33.     domain: lb.kubesphere.local
  34.     address: 10.10.10.200 # The VIP address
  35.     port: 6443
  36.   kubernetes:
  37.     version: v1.23.10
  38.     clusterName: cluster.local
  39.     autoRenewCerts: true
  40.     containerManager: docker
  41.   etcd:
  42.     type: kubekey
  43.   network:
  44.     plugin: calico
  45.     kubePodsCIDR: 172.30.0.0/16
  46.     kubeServiceCIDR: 192.168.0.0/16
  47.     ## multus support. https://github.com/k8snetworkplumbingwg/multus-cni
  48.     multusCNI:
  49.       enabled: false
  50.   registry:
  51.     privateRegistry: ""
  52.     namespaceOverride: ""
  53.     registryMirrors: []
  54.     insecureRegistries: []
  55.   addons: []
  57. ---
  58. apiVersion: installer.kubesphere.io/v1alpha1
  59. kind: ClusterConfiguration
  60. metadata:
  61.   name: ks-installer
  62.   namespace: kubesphere-system
  63.   labels:
  64.     version: v3.4.1
  65. spec:
  66.   persistence:
  67.     storageClass: ""
  68.   authentication:
  69.     jwtSecret: ""
  70.   local_registry: ""
  71.   # dev_tag: ""
  72.   etcd:
  73.     monitoring: false
  74.     endpointIps: localhost
  75.     port: 2379
  76.     tlsEnable: true
  77.   common:
  78.     core:
  79.       console:
  80.         enableMultiLogin: true
  81.         port: 30880
  82.         type: NodePort
  83.     # apiserver:
  84.     #  resources: {}
  85.     # controllerManager:
  86.     #  resources: {}
  87.     redis:
  88.       enabled: false
  89.       enableHA: false
  90.       volumeSize: 2Gi
  91.     openldap:
  92.       enabled: false
  93.       volumeSize: 2Gi
  94.     minio:
  95.       volumeSize: 20Gi
  96.     monitoring:
  97.       # type: external
  98.       endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090
  99.       GPUMonitoring:
  100.         enabled: false
  101.     gpu:
  102.       kinds:
  103.       - resourceName: "nvidia.com/gpu"
  104.         resourceType: "GPU"
  105.         default: true
  106.     es:
  107.       # master:
  108.       #   volumeSize: 4Gi
  109.       #   replicas: 1
  110.       #   resources: {}
  111.       # data:
  112.       #   volumeSize: 20Gi
  113.       #   replicas: 1
  114.       #   resources: {}
  115.       enabled: false
  116.       logMaxAge: 7
  117.       elkPrefix: logstash
  118.       basicAuth:
  119.         enabled: false
  120.         username: ""
  121.         password: ""
  122.       externalElasticsearchHost: ""
  123.       externalElasticsearchPort: ""
  124.     opensearch:
  125.       # master:
  126.       #   volumeSize: 4Gi
  127.       #   replicas: 1
  128.       #   resources: {}
  129.       # data:
  130.       #   volumeSize: 20Gi
  131.       #   replicas: 1
  132.       #   resources: {}
  133.       enabled: true
  134.       logMaxAge: 7
  135.       opensearchPrefix: whizard
  136.       basicAuth:
  137.         enabled: true
  138.         username: "admin"
  139.         password: "admin"
  140.       externalOpensearchHost: ""
  141.       externalOpensearchPort: ""
  142.       dashboard:
  143.         enabled: false
  144.   alerting:
  145.     enabled: false
  146.     # thanosruler:
  147.     #   replicas: 1
  148.     #   resources: {}
  149.   auditing:
  150.     enabled: false
  151.     # operator:
  152.     #   resources: {}
  153.     # webhook:
  154.     #   resources: {}
  155.   devops:
  156.     enabled: false
  157.     jenkinsCpuReq: 0.5
  158.     jenkinsCpuLim: 1
  159.     jenkinsMemoryReq: 4Gi
  160.     jenkinsMemoryLim: 4Gi
  161.     jenkinsVolumeSize: 16Gi
  162.   events:
  163.     enabled: false
  164.     # operator:
  165.     #   resources: {}
  166.     # exporter:
  167.     #   resources: {}
  168.     ruler:
  169.       enabled: true
  170.       replicas: 2
  171.     #   resources: {}
  172.   logging:
  173.     enabled: false
  174.     logsidecar:
  175.       enabled: true
  176.       replicas: 2
  177.       # resources: {}
  178.   metrics_server:
  179.     enabled: false
  180.   monitoring:
  181.     storageClass: ""
  182.     node_exporter:
  183.       port: 9100
  184.       # resources: {}
  185.     # kube_rbac_proxy:
  186.     #   resources: {}
  187.     # kube_state_metrics:
  188.     #   resources: {}
  189.     # prometheus:
  190.     #   replicas: 1
  191.     #   volumeSize: 20Gi
  192.     #   resources: {}
  193.     #   operator:
  194.     #     resources: {}
  195.     # alertmanager:
  196.     #   replicas: 1
  197.     #   resources: {}
  198.     # notification_manager:
  199.     #   resources: {}
  200.     #   operator:
  201.     #     resources: {}
  202.     #   proxy:
  203.     #     resources: {}
  204.     gpu:
  205.       nvidia_dcgm_exporter:
  206.         enabled: false
  207.         # resources: {}
  208.   multicluster:
  209.     clusterRole: none
  210.   network:
  211.     networkpolicy:
  212.       enabled: false
  213.     ippool:
  214.       type: none
  215.     topology:
  216.       type: none
  217.   openpitrix:
  218.     store:
  219.       enabled: false
  220.   servicemesh:
  221.     enabled: false
  222.     istio:
  223.       components:
  224.         ingressGateways:
  225.         - name: istio-ingressgateway
  226.           enabled: false
  227.         cni:
  228.           enabled: false
  229.   edgeruntime:
  230.     enabled: false
  231.     kubeedge:
  232.       enabled: false
  233.       cloudCore:
  234.         cloudHub:
  235.           advertiseAddress:
  236.             - ""
  237.         service:
  238.           cloudhubNodePort: "30000"
  239.           cloudhubQuicNodePort: "30001"
  240.           cloudhubHttpsNodePort: "30002"
  241.           cloudstreamNodePort: "30003"
  242.           tunnelNodePort: "30004"
  243.         # resources: {}
  244.         # hostNetWork: false
  245.       iptables-manager:
  246.         enabled: true
  247.         mode: "external"
  248.         # resources: {}
  249.       # edgeService:
  250.       #   resources: {}
  251.   gatekeeper:
  252.     enabled: false
  253.     # controller_manager:
  254.     #   resources: {}
  255.     # audit:
  256.     #   resources: {}
  257.   terminal:
  258.     timeout: 600
复制代码
配置完成后保存。
运行如下下令启动kubekey引导k8s安装：
  1. ./kk create cluster -f config-sample.yaml
复制代码
输入yes确认安装。

整个安装过程大概需要 20 到 40 分钟，具体取决于您的盘算机和网络环境。
安装过程中会拉取很多镜像：

安装完成输出如下：
  1. #####################################################
  2. ###              Welcome to KubeSphere!           ###
  3. #####################################################
  4. Console: http://10.10.10.201:30880
  5. Account: admin
  6. Password: pass@6**
  7. NOTES：
  8.   1. After you log into the console, please check the
  9.      monitoring status of service components in
  10.      "Cluster Management". If any service is not
  11.      ready, please wait patiently until all components
  12.      are up and running.
  13.   2. Please change the default password after login.
  14. #####################################################
  15. https://kubesphere.io             2024-03-11 11:28:33
  16. #####################################################
复制代码
稍等半晌在浏览器中访问：http://10.10.10.201:30880 输入账号暗码

说明K8s安装成功。
参考https://kubesphere.io/zh/docs/v3.4/
参考：尚硅谷教程
如果我的文章对您有资助，还请您多多支持我。付出宝资助扫一下吧


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

宝塔山

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表