使用kubeadm部署高可用IPV4/IPV6集群

使用kubeadm部署高可用IPV4/IPV6集群

https://github.com/cby-chen/Kubernetes 开源不易，帮助点个star，谢谢了
介绍

kubernetes（k8s）二进制高可用安装部署，支持IPv4+IPv6双栈。
我使用IPV6的目的是在公网进行访问，所以我设置了IPV6静态地址。
若您没有IPV6环境，或者不想使用IPv6，不对主机进行设置IPv6地址即可。
不设置IPV6，不影响后续，不外集群仍旧是支持IPv6的。为后期留有扩展可能性。
若不要IPv6 ，不给网卡设置IPv6即可，不要对IPv6相关设置删除或操纵，否则会出问题。
猛烈建议在Github上检察文档 ！！！

Github出问题会更新文档，并且后续尽可能第一时间更新新版本文档 ！！！

k8s基础系统环境设置

设置IP

1. # 注意！
2. # 若虚拟机是进行克隆的那么网卡的UUID会重复
3. # 若UUID重复需要重新生成新的UUID
4. # UUID重复无法获取到IPV6地址
5. #
6. # 查看当前的网卡列表和 UUID：
7. # nmcli con show
8. # 删除要更改 UUID 的网络连接：
9. # nmcli con delete uuid <原 UUID>
10. # 重新生成 UUID：
11. # nmcli con add type ethernet ifname <接口名称> con-name <新名称>
12. # 重新启用网络连接：
13. # nmcli con up <新名称>
15. # 更改网卡的UUID
16. ssh root@192.168.1.31 "nmcli con delete uuid 708a1497-2192-43a5-9f03-2ab936fb3c44;nmcli con add type ethernet ifname eth0 con-name eth0;nmcli con up eth0"
17. ssh root@192.168.1.32 "nmcli con delete uuid 708a1497-2192-43a5-9f03-2ab936fb3c44;nmcli con add type ethernet ifname eth0 con-name eth0;nmcli con up eth0"
18. ssh root@192.168.1.33 "nmcli con delete uuid 708a1497-2192-43a5-9f03-2ab936fb3c44;nmcli con add type ethernet ifname eth0 con-name eth0;nmcli con up eth0"
19. ssh root@192.168.1.34 "nmcli con delete uuid 708a1497-2192-43a5-9f03-2ab936fb3c44;nmcli con add type ethernet ifname eth0 con-name eth0;nmcli con up eth0"
20. ssh root@192.168.1.35 "nmcli con delete uuid 708a1497-2192-43a5-9f03-2ab936fb3c44;nmcli con add type ethernet ifname eth0 con-name eth0;nmcli con up eth0"
22. # 参数解释
23. #
24. # ssh ssh root@192.168.1.31
25. # 使用SSH登录到IP为192.168.1.31的主机，使用root用户身份。
26. #
27. # nmcli con delete uuid 708a1497-2192-43a5-9f03-2ab936fb3c44
28. # 删除 UUID 为 708a1497-2192-43a5-9f03-2ab936fb3c44 的网络连接，这是 NetworkManager 中一种特定网络配置的唯一标识符。
29. #
30. # nmcli con add type ethernet ifname eth0 con-name eth0
31. # 添加一种以太网连接类型，并指定接口名为 eth0，连接名称也为 eth0。
32. #
33. # nmcli con up eth0
34. # 开启 eth0 这个网络连接。
35. #
36. # 简单来说，这个命令的作用是删除一个特定的网络连接配置，并添加一个名为 eth0 的以太网连接，然后启用这个新的连接。
38. # 修改静态的IPv4地址
39. ssh root@192.168.1.104 "nmcli con mod eth0 ipv4.addresses 192.168.1.31/24; nmcli con mod eth0 ipv4.gateway  192.168.1.1; nmcli con mod eth0 ipv4.method manual; nmcli con mod eth0 ipv4.dns "8.8.8.8"; nmcli con up eth0"
40. ssh root@192.168.1.106 "nmcli con mod eth0 ipv4.addresses 192.168.1.32/24; nmcli con mod eth0 ipv4.gateway  192.168.1.1; nmcli con mod eth0 ipv4.method manual; nmcli con mod eth0 ipv4.dns "8.8.8.8"; nmcli con up eth0"
41. ssh root@192.168.1.107 "nmcli con mod eth0 ipv4.addresses 192.168.1.33/24; nmcli con mod eth0 ipv4.gateway  192.168.1.1; nmcli con mod eth0 ipv4.method manual; nmcli con mod eth0 ipv4.dns "8.8.8.8"; nmcli con up eth0"
42. ssh root@192.168.1.109 "nmcli con mod eth0 ipv4.addresses 192.168.1.34/24; nmcli con mod eth0 ipv4.gateway  192.168.1.1; nmcli con mod eth0 ipv4.method manual; nmcli con mod eth0 ipv4.dns "8.8.8.8"; nmcli con up eth0"
43. ssh root@192.168.1.110 "nmcli con mod eth0 ipv4.addresses 192.168.1.35/24; nmcli con mod eth0 ipv4.gateway  192.168.1.1; nmcli con mod eth0 ipv4.method manual; nmcli con mod eth0 ipv4.dns "8.8.8.8"; nmcli con up eth0"
45. # 参数解释
46. #
47. # ssh root@192.168.1.154
48. # 使用SSH登录到IP为192.168.1.154的主机，使用root用户身份。
49. #
50. # "nmcli con mod eth0 ipv4.addresses 192.168.1.31/24"
51. # 修改eth0网络连接的IPv4地址为192.168.1.31，子网掩码为 24。
52. #
53. # "nmcli con mod eth0 ipv4.gateway 192.168.1.1"
54. # 修改eth0网络连接的IPv4网关为192.168.1.1。
55. #
56. # "nmcli con mod eth0 ipv4.method manual"
57. # 将eth0网络连接的IPv4配置方法设置为手动。
58. #
59. # "nmcli con mod eth0 ipv4.dns "8.8.8.8"
60. # 将eth0网络连接的IPv4 DNS服务器设置为 8.8.8.8。
61. #
62. # "nmcli con up eth0"
63. # 启动eth0网络连接。
64. #
65. # 总体来说，这条命令是通过SSH远程登录到指定的主机，并使用网络管理命令 (nmcli) 修改eth0网络连接的配置，包括IP地址、网关、配置方法和DNS服务器，并启动该网络连接。
67. # 没有IPv6选择不配置即可
68. ssh root@192.168.1.31 "nmcli con mod eth0 ipv6.addresses fc00:43f4:1eea:1::10; nmcli con mod eth0 ipv6.gateway fc00:43f4:1eea:1::1; nmcli con mod eth0 ipv6.method manual; nmcli con mod eth0 ipv6.dns "2400:3200::1"; nmcli con up eth0"
69. ssh root@192.168.1.32 "nmcli con mod eth0 ipv6.addresses fc00:43f4:1eea:1::20; nmcli con mod eth0 ipv6.gateway fc00:43f4:1eea:1::1; nmcli con mod eth0 ipv6.method manual; nmcli con mod eth0 ipv6.dns "2400:3200::1"; nmcli con up eth0"
70. ssh root@192.168.1.33 "nmcli con mod eth0 ipv6.addresses fc00:43f4:1eea:1::30; nmcli con mod eth0 ipv6.gateway fc00:43f4:1eea:1::1; nmcli con mod eth0 ipv6.method manual; nmcli con mod eth0 ipv6.dns "2400:3200::1"; nmcli con up eth0"
71. ssh root@192.168.1.34 "nmcli con mod eth0 ipv6.addresses fc00:43f4:1eea:1::40; nmcli con mod eth0 ipv6.gateway fc00:43f4:1eea:1::1; nmcli con mod eth0 ipv6.method manual; nmcli con mod eth0 ipv6.dns "2400:3200::1"; nmcli con up eth0"
72. ssh root@192.168.1.35 "nmcli con mod eth0 ipv6.addresses fc00:43f4:1eea:1::50; nmcli con mod eth0 ipv6.gateway fc00:43f4:1eea:1::1; nmcli con mod eth0 ipv6.method manual; nmcli con mod eth0 ipv6.dns "2400:3200::1"; nmcli con up eth0"
74. # 参数解释
75. #
76. # ssh root@192.168.1.31
77. # 通过SSH连接到IP地址为192.168.1.31的远程主机，使用root用户进行登录。
78. #
79. # "nmcli con mod eth0 ipv6.addresses fc00:43f4:1eea:1::10"
80. # 使用nmcli命令修改eth0接口的IPv6地址为fc00:43f4:1eea:1::10。
81. #
82. # "nmcli con mod eth0 ipv6.gateway fc00:43f4:1eea:1::1"
83. # 使用nmcli命令修改eth0接口的IPv6网关为fc00:43f4:1eea:1::1。
84. #
85. # "nmcli con mod eth0 ipv6.method manual"
86. # 使用nmcli命令将eth0接口的IPv6配置方法修改为手动配置。
87. #
88. # "nmcli con mod eth0 ipv6.dns "2400:3200::1"
89. # 使用nmcli命令设置eth0接口的IPv6 DNS服务器为2400:3200::1。
90. #
91. # "nmcli con up eth0"
92. # 使用nmcli命令启动eth0接口。
93. #
94. # 这个命令的目的是在远程主机上配置eth0接口的IPv6地址、网关、配置方法和DNS服务器，并启动eth0接口。
96. # 查看网卡配置
97. # nmcli device show eth0
98. # nmcli con show eth0
99. [root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
100. TYPE=Ethernet
101. PROXY_METHOD=none
102. BROWSER_ONLY=no
103. BOOTPROTO=none
104. DEFROUTE=yes
105. IPV4_FAILURE_FATAL=no
106. IPV6INIT=yes
107. IPV6_AUTOCONF=yes
108. IPV6_DEFROUTE=yes
109. IPV6_FAILURE_FATAL=no
110. IPV6_ADDR_GEN_MODE=stable-privacy
111. NAME=eth0
112. UUID=2aaddf95-3f36-4a48-8626-b55ebf7f53e7
113. DEVICE=eth0
114. ONBOOT=yes
115. IPADDR=192.168.1.31
116. PREFIX=24
117. GATEWAY=192.168.1.1
118. DNS1=8.8.8.8
119. [root@localhost ~]#
121. # 参数解释
122. #
123. # TYPE=Ethernet
124. # 指定连接类型为以太网。
125. #
126. # PROXY_METHOD=none
127. # 指定不使用代理方法。
128. #
129. # BROWSER_ONLY=no
130. # 指定不仅仅在浏览器中使用代理。
131. #
132. # BOOTPROTO=none
133. # 指定自动分配地址的方式为无（即手动配置IP地址）。
134. #
135. # DEFROUTE=yes
136. # 指定默认路由开启。
137. #
138. # IPV4_FAILURE_FATAL=no
139. # 指定IPv4连接失败时不宣告严重错误。
140. #
141. # IPV6INIT=yes
142. # 指定启用IPv6。
143. #
144. # IPV6_AUTOCONF=no
145. # 指定不自动配置IPv6地址。
146. #
147. # IPV6_DEFROUTE=yes
148. # 指定默认IPv6路由开启。
149. #
150. # IPV6_FAILURE_FATAL=no
151. # 指定IPv6连接失败时不宣告严重错误。
152. #
153. # IPV6_ADDR_GEN_MODE=stable-privacy
154. # 指定IPv6地址生成模式为稳定隐私模式。
155. #
156. # NAME=eth0
157. # 指定设备名称为eth0。
158. #
159. # UUID=424fd260-c480-4899-97e6-6fc9722031e8
160. # 指定设备的唯一标识符。
161. #
162. # DEVICE=eth0
163. # 指定设备名称为eth0。
164. #
165. # ONBOOT=yes
166. # 指定开机自动启用这个连接。
167. #
168. # IPADDR=192.168.1.31
169. # 指定IPv4地址为192.168.1.31。
170. #
171. # PREFIX=24
172. # 指定IPv4地址的子网掩码为24。
173. #
174. # GATEWAY=192.168.8.1
175. # 指定IPv4的网关地址为192.168.8.1。
176. #
177. # DNS1=8.8.8.8
178. # 指定首选DNS服务器为8.8.8.8。
179. #
180. # IPV6ADDR=fc00:43f4:1eea:1::10/128
181. # 指定IPv6地址为fc00:43f4:1eea:1::10，子网掩码为128。
182. #
183. # IPV6_DEFAULTGW=fc00:43f4:1eea:1::1
184. # 指定IPv6的默认网关地址为fc00:43f4:1eea:1::1。
185. #
186. # DNS2=2400:3200::1
187. # 指定备用DNS服务器为2400:3200::1。

复制代码

设置主机名

1. hostnamectl set-hostname k8s-master01
2. hostnamectl set-hostname k8s-master02
3. hostnamectl set-hostname k8s-master03
4. hostnamectl set-hostname k8s-node01
5. hostnamectl set-hostname k8s-node02
7. # 参数解释
8. #
9. # 参数: set-hostname
10. # 解释: 这是hostnamectl命令的一个参数，用于设置系统的主机名。
11. #
12. # 参数: k8s-master01
13. # 解释: 这是要设置的主机名，将系统的主机名设置为"k8s-master01"。

复制代码

设置yum源

1. # 其他系统的源地址
2. # https://mirrors.tuna.tsinghua.edu.cn/help/
4. # 对于 Ubuntu
5. sed -i 's/cn.archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list
7. # 对于 CentOS 7
8. sudo sed -e 's|^mirrorlist=|#mirrorlist=|g' \
9.          -e 's|^#baseurl=http://mirror.centos.org/centos|baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos|g' \
10.          -i.bak \
11.          /etc/yum.repos.d/CentOS-*.repo
13. # 对于 CentOS 8
14. sudo sed -e 's|^mirrorlist=|#mirrorlist=|g' \
15.          -e 's|^#baseurl=http://mirror.centos.org/$contentdir|baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos|g' \
16.          -i.bak \
17.          /etc/yum.repos.d/CentOS-*.repo
19. # 对于私有仓库
20. sed -e 's|^mirrorlist=|#mirrorlist=|g' -e 's|^#baseurl=http://mirror.centos.org/\$contentdir|baseurl=http://192.168.1.123/centos|g' -i.bak  /etc/yum.repos.d/CentOS-*.repo
22. # 参数解释
23. #
24. # 以上命令是用于更改系统软件源的配置，以便从国内镜像站点下载软件包和更新。
25. #
26. # 对于 Ubuntu 系统，将 /etc/apt/sources.list 文件中的软件源地址 cn.archive.ubuntu.com 替换为 mirrors.ustc.edu.cn。
27. #
28. # 对于 CentOS 7 系统，将 /etc/yum.repos.d/CentOS-*.repo 文件中的 mirrorlist 注释掉，并将 baseurl 的值替换为 https://mirrors.tuna.tsinghua.edu.cn/centos。
29. #
30. # 对于 CentOS 8 系统，同样将 /etc/yum.repos.d/CentOS-*.repo 文件中的 mirrorlist 注释掉，并将 baseurl 的值替换为 https://mirrors.tuna.tsinghua.edu.cn/centos。
31. #
32. # 对于私有仓库，将 /etc/yum.repos.d/CentOS-*.repo 文件中的 mirrorlist 注释掉，并将 baseurl 的值替换为私有仓库地址 http://192.168.1.123/centos。
33. #
34. # 这些命令通过使用 sed 工具和正则表达式，对相应的配置文件进行批量的替换操作，从而更改系统软件源配置。

复制代码

安装一些必备工具

1. # 对于 Ubuntu
2. apt update && apt upgrade -y && apt install -y wget psmisc vim net-tools nfs-kernel-server telnet lvm2 git tar curl
4. # 对于 CentOS 7
5. yum update -y && yum -y install  wget psmisc vim net-tools nfs-utils telnet yum-utils device-mapper-persistent-data lvm2 git tar curl
7. # 对于 CentOS 8
8. yum update -y && yum -y install wget psmisc vim net-tools nfs-utils telnet yum-utils device-mapper-persistent-data lvm2 git network-scripts tar curl

复制代码

关闭防火墙

1. # Ubuntu忽略，CentOS执行
2. systemctl disable --now firewalld

复制代码

关闭SELinux

1. # Ubuntu忽略，CentOS执行
2. setenforce 0
3. sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
5. # 参数解释
6. #
7. # setenforce 0
8. # 此命令用于设置 SELinux 的执行模式。0 表示关闭 SELinux。
9. #
10. # sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
11. # 该命令使用 sed 工具来编辑 /etc/selinux/config 文件。其中 '-i' 参数表示直接修改原文件，而不是输出到终端或另一个文件。's#SELINUX=enforcing#SELINUX=disabled#g' 是 sed 的替换命令，它将文件中所有的 "SELINUX=enforcing" 替换为 "SELINUX=disabled"。这里的 '#' 是分隔符，用于替代传统的 '/' 分隔符，以避免与路径中的 '/' 冲突。

复制代码

关闭互换分区

1. sed -ri 's/.*swap.*/#&/' /etc/fstab
2. swapoff -a && sysctl -w vm.swappiness=0
4. cat /etc/fstab
5. # /dev/mapper/centos-swap swap                    swap    defaults        0 0
8. # 参数解释：
9. #
10. # -ri: 这个参数用于在原文件中替换匹配的模式。-r表示扩展正则表达式，-i允许直接修改文件。
11. # 's/.*swap.*/#&/': 这是一个sed命令，用于在文件/etc/fstab中找到包含swap的行，并在行首添加#来注释掉该行。
12. # /etc/fstab: 这是一个文件路径，即/etc/fstab文件，用于存储文件系统表。
13. # swapoff -a: 这个命令用于关闭所有启用的交换分区。
14. # sysctl -w vm.swappiness=0: 这个命令用于修改vm.swappiness参数的值为0，表示系统在物理内存充足时更倾向于使用物理内存而非交换分区。

复制代码

网络设置（俩种方式二选一）

[code]# Ubuntu忽略，CentOS执行# 方式一# systemctl disable --now NetworkManager# systemctl start network && systemctl enable network# 方式二cat > /etc/NetworkManager/conf.d/calico.conf  /etc/chrony.conf  /etc/chrony.conf > /etc/security/limits.conf  /etc/modules-load.d/ipvs.conf