云盘算实训43——摆设k8s根本情况、设置内核模块、基本组件安装 ...

玛卡巴卡的卡巴卡玛  金牌会员 | 2024-9-13 06:35:00 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 650|帖子 650|积分 1950

一、前期体系情况准备

1、关闭防火墙与selinux

  1. [root@k8s-master ~]# systemctl stop firewalld
  3. [root@k8s-master ~]# systemctl disable firewalld
  5. Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
  6. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
  8. [root@k8s-master ~]# setenforce 0
  10. [root@k8s-master ~]# sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
  12. [root@k8s-master ~]# sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
复制代码
2、设置主机映射

  1. [root@k8s-master ~]# vim /etc/hosts
  3. 10.0.0.11 k8s-master
  5. 10.0.0.22 k8s-node01
  7. 10.0.0.33 k8s-node02
  8. [root@k8s-master ~]# scp /etc/hosts root@10.0.0.22:/etc/hosts
  10. [root@k8s-master ~]# scp /etc/hosts root@10.0.0.22:/etc/hosts
复制代码
3、测试映射结果

  1. [root@k8s-master ~]# ping k8s-node01
  3. PING k8s-node01 (10.0.0.22) 56(84) bytes of data.
  5. 64 bytes from k8s-node01 (10.0.0.22): icmp_seq=1 ttl=64 time=0.346 ms
  7. 64 bytes from k8s-node01 (10.0.0.22): icmp_seq=2 ttl=64 time=0.265 ms
  8. ^C
  10. --- k8s-node01 ping statistics ---
  12. 2 packets transmitted, 2 received, 0% packet loss, time 1000ms
  13. rtt min/avg/max/mdev = 0.265/0.305/0.346/0.044 ms
  14. [root@k8s-master ~]# ping k8s-node02
  16. PING k8s-node02 (10.0.0.33) 56(84) bytes of data.
  18. 64 bytes from k8s-node02 (10.0.0.33): icmp_seq=1 ttl=64 time=0.306 ms
  20. 64 bytes from k8s-node02 (10.0.0.33): icmp_seq=2 ttl=64 time=0.193 ms
  21. ^C
  23. --- k8s-node02 ping statistics ---
  25. 2 packets transmitted, 2 received, 0% packet loss, time 1000ms
复制代码
4、设置主机间免密登录

  1. [root@k8s-master ~]# ssh-keygen
  3. Generating public/private rsa key pair.
  4. Enter file in which to save the key (/root/.ssh/id_rsa):
  5. Enter passphrase (empty for no passphrase):
  6. Enter same passphrase again:
  7. Your identification has been saved in /root/.ssh/id_rsa.
  8. Your public key has been saved in /root/.ssh/id_rsa.pub.
  9. The key fingerprint is:
  10. SHA256:pJNP7Nx9pi00P7w8nBNECxdAyHyKPnc6UNaLdXYs6b8 root@k8s-master
  11. The key's randomart image is:
  13. +---[RSA 2048]----+
  15. |         o oo... |
  16. |          + o o |
  17. |       .. + + + |
  18. |       =. + o B o|
  19. |      +.So o * o |
  20. |       *+.o.= o |
  21. |        ++.+.=o+ |
  22. |         o .*O .|
  23. |           ...+E.|
  25. +----[SHA256]-----+
  27. [root@k8s-master ~]# ssh-copy-id root@10.0.0.22
  29. /usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed:
  31. "/root/.ssh/id_rsa.pub"
  33. /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to
  34. filter out any that are already installed
  35. /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are
  36. prompted now it is to install the new keys
  37. root@10.0.0.22's password:
  39. Number of key(s) added: 1
  41. Now try logging into the machine, with:   "ssh 'root@10.0.0.22'"
  43. and check to make sure that only the key(s) you wanted were added.
  44. [root@k8s-master ~]# ssh-copy-id root@10.0.0.33
复制代码
5、设置yum源

  1. [root@k8s-master ~]# cd /etc/yum.repos.d/
  2. # docker软件源
  4. [root@k8s-master yum.repos.d]# vim docker-ce.repo
  6. [docker-ce-stable]
  8. name=Docker CE Stable - $basearch
  9. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/$basearch/stable
  11. enabled=1
  13. gpgcheck=1
  15. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  16. [docker-ce-stable-debuginfo]
  18. name=Docker
  19. CE Stable - Debuginfo $basearch
  20. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/debug-$basearch/stable
  22. enabled=0
  24. gpgcheck=1
  26. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  27. [docker-ce-stable-source]
  29. name=Docker
  30. CE Stable - Sources
  32. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/source/stable
  34. enabled=0
  36. gpgcheck=1
  37. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  38. [docker-ce-test]
  40. name=Docker CE Test - $basearch
  41. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/$basearch/test
  43. enabled=0
  45. gpgcheck=1
  47. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  48. [docker-ce-test-debuginfo]
  50. name=Docker
  51. CE Test - Debuginfo $basearch
  52. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/debug-$basearch/test
  54. enabled=0
  56. gpgcheck=1
  58. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  59. [docker-ce-test-source]
  61. name=Docker
  62. CE Test - Sources
  64. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/source/test
  66. enabled=0
  68. gpgcheck=1
  70. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  71. [docker-ce-nightly]
  73. name=Docker
  74. CE Nightly - $basearch
  75. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/$basearch/nightly
  77. enabled=0
  79. gpgcheck=1
  81. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  82. [docker-ce-nightly-debuginfo]
  84. name=Docker
  85. CE Nightly - Debuginfo $basearch
  86. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/debug-$basearch/nightly
  88. enabled=0
  90. gpgcheck=1
  92. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  93. [docker-ce-nightly-source]
  95. name=Docker
  96. CE Nightly - Sources
  98. baseurl=https://mirrors.aliyun.com/dockerce/linux/centos/$releasever/source/nightly
  100. enabled=0
  102. gpgcheck=1
  104. gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
  106. #
  107. K8S软件源
  109. [root@k8s-master yum.repos.d]# vim kubernetes.repo
  111. [kubernetes]
  113. name=Kubernetes
  115. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-
  116. x86_64/
  118. enabled=1
  120. gpgcheck=0
  122. repo_gpgcheck=0
  124. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
  125. [root@k8s-master yum.repos.d]# yum clean all && yum makecache
  127. [root@k8s-master yum.repos.d]# scp docker-ce.repo
  128. root@10.0.0.22:/etc/yum.repos.d/
  129. docker-ce.repo                                                   100% 2073  
  130.   1.9MB/s   00:00    
  131. [root@k8s-master yum.repos.d]# scp kubernetes.repo
  132. root@10.0.0.22:/etc/yum.repos.d/
  134. kubernetes.repo                                                  100%  211  
  136. 281.2KB/s   00:00
  137. [root@k8s-master yum.repos.d]# scp docker-ce.repo
  138. root@10.0.0.33:/etc/yum.repos.d/
  140. docker-ce.repo                                                   100% 2073  
  141.   1.9MB/s   00:00    
  142. [root@k8s-master yum.repos.d]# scp kubernetes.repo
  143. root@10.0.0.33:/etc/yum.repos.d/
  145. kubernetes.repo                                                  100%  211  
  147. 281.2KB/s   00:00
复制代码
6、安装必备工具

  1. [root@k8s-master ~]# yum install wget jq psmisc vim net-tools telnet yum-utils
  2. device-mapper-persistent-data lvm2 git -y
复制代码
7、关闭swap 分区

  1. [root@k8s-master ~]# swapoff -a && sysctl -w vm.swappiness=0
  3. vm.swappiness = 0
  5. [root@k8s-master ~]# sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab
复制代码
8、同步时间

  1. [root@k8s-master ~]# yum -y install ntpdate
  3. [root@k8s-master ~]# ntpdate time2.aliyun.com
  5. 4 Sep 10:08:59 ntpdate[1897]: adjust time server 203.107.6.88 offset 0.007780
  6. sec
  7. [root@k8s-master ~]# which ntpdate
  9. /usr/sbin/ntpdate
  10. [root@k8s-master ~]# crontab -e
  12. * 5 * * * /usr/sbin/ntpdate time2.aliyun.com
复制代码
9、设置 limit

  1. # 单个进程可以打开的⽂件数量将被限制为 65535
  3. [root@k8s-master ~]# ulimit -SHn 65535
  5. [root@k8s-master ~]# vim /etc/security/limits.conf
  6. # 末尾添加如下内容
  8. * soft nofile 65536
  10. * hard nofile 131072
  12. * soft nproc 65535
  14. * hard nproc 655350
  16. * soft memlock unlimited
  17. * hard memlock unlimited
复制代码
10、安装 k8s ⾼可⽤性 Git 仓库并重启

  1. # 在 /root/ ⽬录下克隆⼀个名为 k8s-ha-install.git 的 Git 仓库
  3. [root@k8s-master ~]# git clone https://gitee.com/dukuan/k8s-ha-install.git
  5. 正克隆到 'k8s-ha-install'...
  6. remote: Enumerating objects: 920, done.
  7. remote: Counting objects: 100% (8/8), done.
  8. remote: Compressing objects: 100% (6/6), done.
  9. remote: Total 920 (delta 1), reused 0 (delta 0), pack-reused 912
  11. 接收对象中: 100% (920/920), 19.74 MiB | 1.51 MiB/s, done.
  13. 处理 delta 中: 100% (388/388), done.
  14. [root@k8s-master ~]# cd k8s-ha-install/
  16. [root@k8s-master k8s-ha-install]# ls
  18. calico.yaml krm.yaml LICENSE metrics-server-0.3.7 metrics-server-3.6.1
  19. README.md
  20. [root@k8s-master k8s-ha-install]# reboot
复制代码
二、设置内核模块

1、设置ipvs模块

  1. [root@k8s-master ~]# yum install ipvsadm ipset sysstat conntrack libseccomp -
  2. y
  3. # 使⽤ modprobe 命令加载内核模块，核⼼ IPVS 模块。
  5. [root@k8s-master ~]# modprobe -- ip_vs
  6. # IPVS 负载均衡算法 rr。
  8. [root@k8s-master ~]# modprobe -- ip_vs_rr
  9. # IPVS 负载均衡算法 wrr
  11. [root@k8s-master ~]# modprobe -- ip_vs_wrr
  12. # ⽤于源端负载均衡的模块
  14. [root@k8s-master ~]# modprobe -- ip_vs_sh
  15. # ⽤于⽹络流量过滤和跟踪的模块
  17. [root@k8s-master ~]# modprobe -- nf_conntrack
  18. # 在系统启动时加载下列 IPVS 和相关功能所需的模块
  20. [root@k8s-master ~]# find / -name "ipvs.config"
  22. [root@k8s-master ~]# vim /etc/modules-load.d/ipvs.config
  24. ip_vs
  26. # 负载均衡模块
  28. ip_vs_lc
  30. # ⽤于实现基于连接数量的负载均衡算法
  32. ip_vs_wlc
  34. # ⽤于实现带权重的最少连接算法的模块
  36. ip_vs_rr
  38. # 负载均衡rr算法模块
  40. ip_vs_wrr
  42. # 负载均衡wrr算法模块
  44. ip_vs_lblc
  46. # 负载均衡算法，它结合了最少连接（LC）算法和基于偏置的轮询（Round Robin with Bias）算法
  48. ip_vs_lblcr
  50. # ⽤于实现基于链路层拥塞状况的最少连接负载调度算法的模块
  52. ip_vs_dh
  54. # ⽤于实现基于散列（Hashing）的负载均衡算法的模块
  56. ip_vs_sh
  58. # ⽤于源端负载均衡的模块
  59. ip_vs_fo
  61. # ⽤于实现基于本地服务的负载均衡算法的模块
  63. ip_vs_nq
  65. # ⽤于实现NQ算法的模块
  67. ip_vs_sed
  69. # ⽤于实现随机早期检测（Random Early Detection）算法的模块
  71. ip_vs_ftp
  73. # ⽤于实现FTP服务的负载均衡模块
  75. ip_vs_sh
  76. nf_conntrack
  78. # ⽤于跟踪⽹络连接的状态的模块
  80. ip_tables
  82. # ⽤于管理防护墙的机制
  84. ip_set
  86. # ⽤于创建和管理IP集合的模块
  88. xt_set
  90. # ⽤于处理IP数据包集合的模块，提供了与iptables等⽹络⼯具的接⼝
  92. ipt_set
  94. # ⽤于处理iptables规则集合的模块
  96. ipt_rpfilter
  98. # ⽤于实现路由反向路径过滤的模块
  100. ipt_REJECT
  102. # iptables模块之⼀，⽤于将不符合规则的数据包拒绝，并返回特定的错误码
  104. ipip
  106. # ⽤于实现IP隧道功能的模块，使得数据可以在两个⽹络之间进⾏传输
  108. [root@k8s-master ~]# sysctl --system
  110. * Applying /usr/lib/sysctl.d/00-system.conf ...
  111. * Applying /usr/lib/sysctl.d/10-default-yama-scope.conf ...
  112. kernel.yama.ptrace_scope = 0
  114. * Applying /usr/lib/sysctl.d/50-default.conf ...
  115. kernel.sysrq = 16
  117. kernel.core_uses_pid = 1
  119. net.ipv4.conf.default.rp_filter = 1
  121. net.ipv4.conf.all.rp_filter = 1
  123. net.ipv4.conf.default.accept_source_route = 0
  125. net.ipv4.conf.all.accept_source_route = 0
  127. net.ipv4.conf.default.promote_secondaries = 1
  129. net.ipv4.conf.all.promote_secondaries = 1
  131. fs.protected_hardlinks = 1
  133. fs.protected_symlinks = 1
  135. * Applying /etc/sysctl.d/99-sysctl.conf ...
  136. * Applying /etc/sysctl.conf ...
  138. # 开机⾃启systemd默认提供的⽹络管理服务
  140. [root@k8s-master ~]# systemctl enable systemd-modules-load.service
  142. [root@k8s-master ~]# systemctl start systemd-modules-load.service
  143. # 查看已写⼊加载的模块
  145. [root@k8s-master ~]# lsmod | grep -e ip_vs -e nf_conntrack
  147. ip_vs_sh               12688  0
  148. ip_vs_wrr              12697  0
  149. ip_vs_rr               12600  0
  150. ip_vs                 141432  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
  151. nf_conntrack          133053  1 ip_vs
  152. libcrc32c              12644  3 xfs,ip_vs,nf_conntrack
复制代码
2、设置k8s内核

  1. # 写⼊k8s所需内核模块
  3. [root@k8s-master ~]# vim /etc/sysctl.d/k8s.conf
  5. net.bridge.bridge-nf-call-iptables = 1
  7. # 控制⽹络桥接与iptables之间的⽹络转发⾏为
  9. net.bridge.bridge-nf-call-ip6tables = 1
  11. # ⽤于控制⽹络桥接（bridge）的IP6tables过滤规则。当该参数设置为1时，表示启⽤对⽹络桥接的
  13. IP6tables过滤规则
  15. fs.may_detach_mounts = 1
  17. # ⽤于控制⽂件系统是否允许分离挂载，1表示允许
  19. net.ipv4.conf.all.route_localnet = 1
  21. # 允许本地⽹络上的路由。设置为1表示允许，设置为0表示禁⽌。
  23. vm.overcommit_memory=1
  25. # 控制内存分配策略。设置为1表示允许内存过量分配，设置为0表示不允许。
  27. vm.panic_on_oom=0
  29. # 决定当系统遇到内存不⾜（OOM）时是否产⽣panic。设置为0表示不产⽣panic，设置为1表示产⽣
  31. panic。
  33. fs.inotify.max_user_watches=89100
  35. # inotify可以监视的⽂件和⽬录的最⼤数量。
  37. fs.file-max=52706963
  39. # 系统级别的⽂件描述符的最⼤数量。
  41. fs.nr_open=52706963
  43. # 单个进程可以打开的⽂件描述符的最⼤数量。
  45. net.netfilter.nf_conntrack_max=2310720
  47. # ⽹络连接跟踪表的最⼤⼤⼩。
  49. net.ipv4.tcp_keepalive_time = 600
  51. # TCP保活机制发送探测包的间隔时间（秒）。
  53. net.ipv4.tcp_keepalive_probes = 3
  55. # TCP保活机制发送探测包的最⼤次数。
  57. net.ipv4.tcp_keepalive_intvl =15
  59. # TCP保活机制在发送下⼀个探测包之前等待响应的时间（秒）。
  61. net.ipv4.tcp_max_tw_buckets = 36000
  63. # TCP TIME_WAIT状态的bucket数量。
  65. net.ipv4.tcp_tw_reuse = 1
  67. # 允许重⽤TIME_WAIT套接字。设置为1表示允许，设置为0表示不允许。
  69. net.ipv4.tcp_max_orphans = 327680
  71. # 系统中最⼤的孤套接字数量。
  73. net.ipv4.tcp_orphan_retries = 3
  75. # 系统尝试重新分配孤套接字的次数。
  77. net.ipv4.tcp_syncookies = 1
  79. # ⽤于防⽌SYN洪⽔攻击。设置为1表示启⽤SYN cookies，设置为0表示禁⽤。
  81. net.ipv4.tcp_max_syn_backlog = 16384
  83. # SYN连接请求队列的最⼤⻓度。
  85. net.ipv4.ip_conntrack_max = 65536
  87. # IP连接跟踪表的最⼤⼤⼩。
  89. net.ipv4.tcp_max_syn_backlog = 16384
  91. # 系统中最⼤的监听队列的⻓度。
  93. net.ipv4.tcp_timestamps = 0
  95. # ⽤于关闭TCP时间戳选项。
  97. net.core.somaxconn = 16384
  99. # ⽤于设置系统中最⼤的监听队列的⻓度
  101. # 保存后，所有节点重启，保证重启后内核依然加载
  103. [root@k8s-master ~]# lsmod | grep --color=auto -e ip_vs -e nf_conntrack
  105. ip_vs_sh               12688  0
  106. ip_vs_wrr              12697  0
  107. ip_vs_rr               12600  0
  108. ip_vs                 141432  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
  109. nf_conntrack          133053  1 ip_vs
  110. libcrc32c              12644  3 xfs,ip_vs,nf_conntrack
复制代码
三、基本组件安装

1、安装 Containerd

1）安装 Docker
  1. # 卸载之前的containerd
  3. [root@k8s-master ~]# yum remove -y podman runc containerd
  4. # 安装Docker和containerd
  6. [root@k8s-master ~]# yum install containerd.io docker-ce dockerce-cli -y
复制代码
2）设置 Containerd 所需模块
  1. [root@k8s-master ~]# cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
  3. > overlay
  4. > br_netfilter
  5. > EOF
  6. overlay # ⽤于⽀持Overlay⽹络⽂件系统的模块，它可以在现有的⽂件系统之上创建叠加层，以实现
  7. 虚拟化、隔离和管理等功能。
  9. br_netfilter # ⽤于containerd的⽹络过滤模块，它可以对进出容器的⽹络流量进⾏过滤和管理。
  11. [root@k8s-master ~]# cat /etc/modules-load.d/containerd.conf
  13. overlay
  14. br_netfilter
  15. [root@k8s-master ~]# modprobe -- overlay
  17. [root@k8s-master ~]# modprobe -- br_netfilter
复制代码
3）设置 Containerd 所需内核
  1. [root@k8s-master ~]# vim /etc/sysctl.d/99-kubernetes-cri.conf
  3. net.bridge.bridge-nf-call-iptables  = 1
  5. # ⽤于控制⽹络桥接是否调⽤iptables进⾏包过滤和转发。
  7. net.ipv4.ip_forward                 = 1
  9. # 路由转发，1为开启
  11. net.bridge.bridge-nf-call-ip6tables = 1
  13. # 控制是否在桥接接⼝上调⽤IPv6的iptables进⾏数据包过滤和转发。
  15. [root@k8s-master ~]# sysctl --system
复制代码
4）Containerd 设置⽂件
  1. [root@k8s-master ~]# mkdir -p /etc/containerd
  2. # 读取containerd的配置并保存到/etc/containerd/config.toml
  4. [root@k8s-master ~]# containerd config default | tee
  5. /etc/containerd/config.toml
  7. [root@k8s-master ~]# vim /etc/containerd/config.toml
  8. # 找到第63行修改为sandbox_image = "registry.cnhangzhou.aliyuncs.com/google_containers/pause:3.9"
  9. #
  10. 找到containerd.runtimes.runc.options模块，添加SystemdCgroup = false，如果已经存
  11. 在则直接修改（在第127行）
  13. # 添加sandbox_image = "registry.cnhangzhou.aliyuncs.com/google_containers/pause:3.9"（第128行）
复制代码


  1. # 加载systemctl控制脚本
  3. [root@k8s-master ~]# systemctl daemon-reload
  4. # 启动containerd并设置开机启动
  6. [root@k8s-master ~]# systemctl start containerd.service
  8. [root@k8s-master ~]# systemctl enable containerd.service
  10. Created symlink from /etc/systemd/system/multiuser.target.wants/containerd.service
  11. to
  12. /usr/lib/systemd/system/containerd.service.
复制代码
5）设置 crictl 客户端连接的运⾏位置
  1. # 配置容器运⾏环境的crictl.yml⽂件
  3. [root@k8s-master ~]# vim /etc/crictl.yaml
  5. runtime-endpoint: unix:///run/containerd/containerd.sock
  7. # 指定了容器运⾏时的地址为：unix://...
  9. image-endpoint: unix:///run/containerd/containerd.sock
  11. # 指定了镜像运⾏时的地址为：unix://...
  13. timeout: 10
  15. # 设置了超时时间为10秒
  17. debug: false
  19. # 关闭调试模式
复制代码
2、安装 Kubernetes 组件

  1. # 安装 Kubeadm、Kubelet 和 Kubectl
  2. # 查询最新的Kubernetes版本号
  4. [root@k8s-master ~]# yum list kubeadm.x86_64 --showduplicates | sort -r
  5. # 安装1.28最新版本kubeadm、kubelet和kubectl
  7. [root@k8s-master ~]# yum install kubeadm-1.28* kubelet-1.28* kubectl-1.28* -y
  9. [root@k8s-master ~]# systemctl daemon-reload
  10. # 允许开机⾃启kubelet
  12. [root@k8s-master ~]# systemctl enable --now kubelet
  13. # 查看当前安装的kubeadm版本号
  15. [root@k8s-master ~]# kubeadm version
  17. kubeadm version: &version.Info{Major:"1", Minor:"28", GitVersion:"v1.28.2",
  18. GitCommit:"89a4ea3e1e4ddd7f7572286090359983e0387b2f", GitTreeState:"clean",
  19. BuildDate:"2023-09-13T09:34:32Z", GoVersion:"go1.20.8", Compiler:"gc",
  20. Platform:"linux/amd64"}
复制代码
3、Kubernetes 集群初始化

1）Kubeadm 设置⽂件
  1. # 修改kubeadm配置⽂件
  3. [root@k8s-master ~]# vim kubeadm-config.yaml
  5. apiVersion: kubeadm.k8s.io/v1beta3
  6.     # 指定Kubernetes配置文件的版本，使用的是kubeadm API的v1beta3版本
  8. bootstrapTokens:
  9. # 定义bootstrap tokens的信息。这些tokens用于在Kubernetes集群初始化过程中进行身份验证
  11. - groups:
  12. # 定义了与此token关联的组
  14.  - system:bootstrappers:kubeadm:default-node-token
  15. token: 7t2weq.bjbawausm0jaxury
  16.  # bootstrap token的值
  18. ttl: 24h0m0s
  19. # token的生存时间，这里设置为24小时
  21. usages:
  22. # 定义token的用途
  24.  - signing
  25.  # 数字签名
  27.  - authentication
  28.   # 身份验证
  30. kind: InitConfiguration
  31.  # 指定配置对象的类型，InitConfiguration：表示这是一个初始化配置
  33. localAPIEndpoint:
  34.  # 定义本地API端点的地址和端口
  36. advertiseAddress: 192.168.15.11
  37. bindPort: 6443
  39. nodeRegistration:
  40. # 定义节点注册时的配置
  42. criSocket: unix:///var/run/containerd/containerd.sock
  43.   # 容器运行时(CRI)的套接字路径
  45. name: k8s-master
  46.   # 节点的名称
  48. taints:              
  49. # 标记
  51.  - effect: NoSchedule
  52.  # 免调度节点
  54.   key: node-role.kubernetes.io/control-plane        
  55.  # 该节点为控制节点
  57. ---
  59. apiServer:
  60.  # 定义了API服务器的配置
  62. certSANs:
  63.  # 为API服务器指定了附加的证书主体名称(SAN)，指定IP即可
  65.  - 192.168.15.11
  66. timeoutForControlPlane: 4m0s
  67.  # 控制平面的超时时间，这里设置为4分钟
  69. apiVersion: kubeadm.k8s.io/v1beta3
  70. # 指定API Server版本
  72. certificatesDir: /etc/kubernetes/pki
  73.  # 指定了证书的存储目录
  75. clusterName: kubernetes
  76.  # 定义了集群的名称为"kubernetes"
  78. controlPlaneEndpoint: 192.168.15.11:6443
  79.  # 定义了控制节点的地址和端口
  81. controllerManager: {}
  82.  # 控制器管理器的配置，为空表示使用默认配置
  84. etcd:
  85.  # 定义了etcd的配置
  87. local:
  88.  # 本地etcd实例
  90.   dataDir: /var/lib/etcd
  91.  # 数据目录
  93. imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
  94.   # 指定了Kubernetes使用的镜像仓库的地址，阿里云的镜像仓库。
  96. kind: ClusterConfiguration
  97.   # 指定了配置对象的类型，ClusterConfiguration：表示这是一个集群配置
  99. kubernetesVersion: v1.28.2
  100.   # 指定了kubernetes的版本
  102. networking:
  103. # 定义了kubernetes集群网络设置
  105. dnsDomain: cluster.local
  106.  # 定义了集群的DNS域为：cluster.local
  108. podSubnet: 172.16.0.0/16
  109.  # 定义了Pod的子网
  111. serviceSubnet: 10.96.0.0/16
  112.  # 定义了服务的子网
  114. scheduler: {}
  115.    # 使用默认的调度器行为
  117. # 将旧的kubeadm配置⽂件转换为新的格式
  119. [root@k8s-master ~]# kubeadm config migrate --old-config kubeadm-config.yaml
  120. --new-config new.yaml
  122. [root@k8s-master ~]# vim new.yaml
  123. # 修改第12行、24行、29行的ip地址为自己本机的ip地址
复制代码

2）下载组件镜像
  1. # 通过新的配置⽂件new.yaml从指定的阿⾥云仓库拉取kubernetes组件镜像
  3. [root@k8s-master ~]# kubeadm config images pull --config /root/new.yaml
  5. [config/images] Pulled registry.cnhangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.28.2
  6. [config/images]
  7. Pulled registry.cnhangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.28.2
  8. [config/images]
  9. Pulled registry.cnhangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.28.2
  10. [config/images]
  11. Pulled registry.cnhangzhou.aliyuncs.com/google_containers/kube-proxy:v1.28.2
  12. [config/images]
  13. Pulled registry.cnhangzhou.aliyuncs.com/google_containers/pause:3.9
  14. [config/images]
  15. Pulled registry.cnhangzhou.aliyuncs.com/google_containers/etcd:3.5.9-0
  16. [config/images]
  17. Pulled registry.cnhangzhou.aliyuncs.com/google_containers/coredns:v1.10.1
复制代码
3）集群初始化
  1. [root@k8s-master ~]# kubeadm init --config /root/new.yaml --upload-certs
  3. # 等待初始化后保存这些命令
  5. # 当需要加⼊新node节点时，只复制这执行即可
  7. [root@k8s-master ~]# vim token.txt
  9. kubeadm join 10.0.0.200:6443 --token 7t2weq.bjbawausm0jaxury --discoverytoken-ca-cert-hash
  11. sha256:92191cb8741805ac561c5781d936f60a44a3233740209abf6e64738bfecd4c5e
  13. # 当需要⾼可⽤master集群时，将整个token复制下来
  15. --control-plane --certificate-key
  16. f9984be15f98141b212efa176c7a49fcda982888f8869b7cc668e661982cbcc0
复制代码
4）初始化错误解决

错误信息表现本机内存不够，cpu数量不够，我们现在将本机内存提到4个G，cpu数量提到4个 注意要关闭本主机然后进行修改主机设置的操作

  1. [root@k8s-master ~]# kubeadm init --config /root/new.yaml --upload-certs
复制代码

  1. 错误信息显示需要修改配置文件/proc/sys/net/ipv4/ip_forward
  2. [root@k8s-master ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
  4. [root@k8s-master ~]# kubeadm init --config /root/new.yaml --upload-certs
复制代码

  1. # 检查kubelet为运行状态
  3. [root@master ~]# systemctl status kubelet
  5. Active: active (running) since 五 2024-09-06 17:33:30 CST; 5min ago
  7. # 可能是配置文件的地址没有改，所以找不到主机，所以超时
  9. [root@k8s-master ~]# vim new.yaml
  10. # 修改第12行、24行、29行的ip地址为自己本机的ip地址
  12. # 初始化重置
  14. [root@k8s-master ~]# kubeadm reset -f ; ipvsadm --clear ; rm -rf ~/.kube
  16. [root@k8s-master ~]# kubeadm init --config /root/new.yaml --upload-certs
复制代码
5）加载情况变量
  1. [root@k8s-master ~]# vim /root/.bashrc
  3. export KUBECONFIG=/etc/kubernetes/admin.conf
  4. [root@k8s-master ~]# source /root/.bashrc
复制代码
6）查看组件容器状态
之前采⽤初始化安装⽅式，所有的体系组件均以容器的⽅式运⾏ 并且在 kube-system 定名空间内， 此时可以查看 Pod（容器 组）状态
  1. [root@k8s-master ~]# kubectl get po -n kube-system
  3. NAME                                 READY   STATUS   RESTARTS   AGE
  4. coredns-6554b8b87f-2jslr             0/1     Pending   0         10m
  5. coredns-6554b8b87f-mmgbd             0/1     Pending   0         10m
  6. etcd-k8s-master                      1/1     Running   0         10m
  7. kube-apiserver-k8s-master            1/1     Running   0         10m
  8. kube-controller-manager-k8s-master   1/1     Running   3         10m
  9. kube-proxy-tvk64                     1/1     Running   0         10m
  10. kube-scheduler-k8s-master            1/1     Running   3         10m
  12. # kubectl：k8s控制命令
  14. # get：获取参数
  16. # po：pod缩写
  18. # -n：指定命名空间
  20. # kube-system：命名空间
复制代码
4、Token 过期处理

注意：以下步骤是上述初始化下令产⽣的 Token 过期了才需要执 ⾏以下步骤，如果没有过期不需要 执⾏，直接 join 即可。
Token 过期后⽣成新的 token
  1. kubeadm token create --print-join-command
复制代码
Master 需要⽣成 --certificate-key：
  1. kubeadm init phase upload-certs  --upload-certs
复制代码
5、Node 节点设置

Node 节点上主要摆设公司的⼀些业务应⽤，⽣产情况中不建议 Master 节点摆设体系组件之外的其 他 Pod，测试情况可以答应 Master 节点摆设 Pod 以节流体系资源。
1）查看集群信息
  1. [root@k8s-master ~]# kubectl get node
  3. NAME         STATUS     ROLES           AGE   VERSION
  4. k8s-master   NotReady   control-plane   25s   v1.28.2
复制代码
2）node 结点根本情况设置
  1. [root@node01 ~]# systemctl stop firewalld
  3. [root@node01 ~]# systemctl disable firewalld
  5. Removed symlink /etc/systemd/system/multiuser.target.wants/firewalld.service.
  6. Removed
  7. symlink /etc/systemd/system/dbusorg.fedoraproject.FirewallD1.service.
  8. [root@node01
  9. ~]# setenforce 0
  11. [root@node01 ~]# sed -i 's#SELINUX=enforcing#SELINUX=disabled#g'
  12. /etc/sysconfig/selinux
  14. [root@node01 ~]# sed -i 's#SELINUX=enforcing#SELINUX=disabled#g'
  15. /etc/selinux/config
  17. [root@node01 ~]# vim /etc/hosts
  19. [root@node01 ~]# ls /etc/yum.repos.d/
  21. CentOS-Base.repo epel.repo         hh.repo         repo.tar.gz
  22. docker-ce.repo   epel-testing.repo kubernetes.repo
  23. [root@node01 ~]# yum clean all && yum makecache
  24. [root@node01 ~]# yum install wget jq psmisc vim net-tools telnet yum-utils
  25. device-mapper-persistent-data lvm2 git -y
  27. [root@k8s-master ~]# scp /etc/modules-load.d/containerd.conf
  28. root@10.0.0.250:/etc/modules-load.d/containerd.conf
  30. [root@node01 ~]# vim /etc/modules-load.d/containerd.conf
  32. [root@node01 ~]# modprobe -- br_netfilter
  34. [root@node01 ~]# modprobe -- overlay
  36. [root@k8s-master ~]# scp /etc/sysctl.d/99-kubernetes-cri.conf
  37. root@10.0.0.250:/etc/sysctl.d/99-kubernetes-cri.conf
  39. [root@node01 ~]# vim /etc/sysctl.d/99-kubernetes-cri.conf
  41. [root@node01 ~]# sysctl --system
  43. [root@k8s-master ~]# scp /etc/containerd/config.toml
  44. root@10.0.0.250:/etc/containerd/config.toml
  46. [root@node01 ~]# vim /etc/containerd/config.toml
  48. [root@node01 ~]# systemctl enable --now containerd
  50. [root@node01 ~]# cat > /etc/crictl.yaml <<EOF
  52. > runtime-endpoint: unix:///run/containerd/containerd.sock
  53. > image-endpoint: unix:///run/containerd/containerd.sock
  54. > timeout: 10
  56. > debug: false
  58. > EOF
  59. root@node01 ~]# systemctl status containerd
  61. Active: active (running) since 五 2024-09-06 21:41:46 CST; 2min 13s ago
  62. [root@node01 ~]# yum install kubeadm-1.28* kubelet-1.28* kubectl-1.28* -y
  64. [root@node01 ~]# systemctl daemon-reload
  66. [root@node01 ~]# systemctl enable --now kubelet
  68. [root@node01 ~]# systemctl status kubelet
  71. [root@node01 ~]# yum -y install ntpdate
  73. [root@node01 ~]# ntpdate time2.aliyun.com
  75. [root@node01 ~]# crontab -e
  77. * 5 * * * /usr/sbin/ntpdate time2.aliyun.com
  78. [root@node01 ~]# ulimit -SHn 65535
  80. [root@k8s-master ~]# scp /etc/security/limits.conf
  81. root@10.0.0.250:/etc/security/limits.conf
  83. [root@node01 ~]# vim /etc/security/limits.conf
  85. [root@k8s-master ~]# scp /etc/sysctl.d/k8s.conf
  86. root@10.0.0.250:/etc/sysctl.d/k8s.con
  88. [root@node01 ~]# vim /etc/sysctl.d/k8s.conf
  90. [root@node01 ~]# yum install docker-ce docker-ce-cli containerd.io -y
复制代码

  1. # node01通过复制master初始化⽣成的token来加⼊集群
  3. [root@node01 ~]# kubeadm join 10.0.0.200:6443 --token 7t2weq.bjbawausm0jaxury
  4. --discovery-token-ca-cert-hash
  5. sha256:92191cb8741805ac561c5781d936f60a44a3233740209abf6e64738bfecd4c5e
复制代码

  1. [root@node01 ~]# swapoff -a && sysctl -w vm.swappiness=0
  3. [root@node01 ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
复制代码

  1. [root@k8s-master ~]# kubeadm token create --print-join-command
  2. kubeadm join 10.0.0.200:6443 --token mwq6bb.h4eqdzp5vjyhe4iy --discoverytoken-ca-cert-hashsha256:92191cb8741805ac561c5781d936f60a44a3233740209abf6e64738bfecd4c5e [root@node01 ~]# kubeadm join 10.0.0.200:6443 --token mwq6bb.h4eqdzp5vjyhe4iy --discovery-token-ca-cert-hash sha256:92191cb8741805ac561c5781d936f60a44a3233740209abf6e64738bfecd4c5e
复制代码
   

  1. [root@k8s-master ~]# kubectl get node
  3. NAME         STATUS     ROLES           AGE   VERSION
  4. k8s-master   NotReady   control-plane   24h   v1.28.2
  5. node01       NotReady   <none>         68s   v1.28.2
复制代码
3）查看集群状态
master 上查看集群状态（NotReady 不影响）
  1. # 获取所有节点信息
  3. [root@k8s-master ~]# kubectl get node
  5. NAME         STATUS     ROLES           AGE   VERSION
  6. k8s-master   NotReady   control-plane   24h   v1.28.2
  7. node01       NotReady   <none>         68s   v1.28.2
复制代码
到此建议打快照
6、Calico 组件安装

1）切换 git 分⽀
  1. [root@k8s-master ~]# cd k8s-ha-install/
  3. [root@k8s-master k8s-ha-install]# ls
  5. calico.yaml krm.yaml LICENSE metrics-server-0.3.7 metrics-server-3.6.1
  6. README.md
  7. [root@k8s-master k8s-ha-install]# git checkout manual-installation-v1.28.x
  9. 分支 manual-installation-v1.28.x 设置为跟踪来自 origin 的远程分支 manualinstallation-v1.28.x。
  10. 切换到一个新分支
  11. 'manual-installation-v1.28.x'
复制代码
2）修改 Pod ⽹段
  1. [root@k8s-master k8s-ha-install]# cd calico/
  2. # 获取已定义的Pod⽹段
  4. [root@k8s-master calico]# POD_SUBNET=`cat /etc/kubernetes/manifests/kubecontroller-manager.yaml
  5. | grep cluster-cidr= | awk -F= '{print $NF}'`
  7. [root@k8s-master calico]# echo $POD_SUBNET
  9. 172.16.0.0/16
  11. # 修改calico.yml⽂件中的pod⽹段
  13. [root@k8s-master calico]# sed -i "s#POD_CIDR#${POD_SUBNET}#g" calico.yaml
  14. # 创建calico的pod
  16. [root@k8s-master calico]# kubectl apply -f calico.yaml
复制代码

3）查看容器和节点状态
  1. [root@k8s-master calico]# kubectl get po -n kube-system
复制代码

  1. [root@k8s-master calico]# kubectl get node
  3. NAME         STATUS     ROLES           AGE   VERSION
  4. k8s-master   NotReady   control-plane   24h   v1.28.2
  5. node01       NotReady   <none>         20m   v1.28.2
  6. [root@k8s-master calico]# kubectl describe po -n kube-system calico
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

玛卡巴卡的卡巴卡玛

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表