ToB企服应用市场:ToB评测及商务社交产业平台

标题: 基于istio实现多集群流量治理 [打印本页]

---

作者: 用户国营    时间: 2024-5-17 02:53
标题: 基于istio实现多集群流量治理
本文分享自华为云社区《基于istio实现多集群流量治理》，作者： 可以交个朋侪。
一 背景

对多云、混合云等异构底子设施的服务治理是Istio重点支持的场景之一。为了进步服务的可用性，避免厂商锁定，企业通常会选择将应用部署在多个地域的多个集群，甚至多云、混合云等多种云环境下，多集群的方案徐徐成为企业应用部署的最佳选择。因此越来越多的用户对跨集群的服务治理有着强烈的需求，在此背景下Istio作为ServiceMesh范畴的事实标准，推出了多种多集群管理方案。
二 简介

目前Istio支持4种多集群模型。

• 扁平网络单控制面模型
  
• 扁平网络多控制面模型
  
• 非扁平网络单控制面模型
  
• 非扁平网络多控制面模型
  

多集群的单控制面模型是指多个集群共用同一套Istio控制面，多集群的多控制面模型指每个集群都要独立利用一套Istio控制面，无论是单控制面还是多控制面模型，每套Istio控制面(istiod)都要连接所有集群的Kube-apiserver，并且List-Watch获取所有集群的Service、Endpoint、Pod 、Node ，并控制面集群内或集群间的服务访问，但是只监听主集群的VirtualService、DestinationRule、Gateway等Istio API对象。
根据集群间网络是否扁平，Istio又对两种控制面模型进行了细分:

• 扁平网络：多集群容器网络通过VPN等技术打通，Pod跨集群访问直通。
  
• 非扁平网络：每个集群的容器网络都相互隔离，跨集群的访问不能直通，必须通过东西向网关
  

生产环境上在选择 Istio 多集群模型时，固然需要联合自己的实际场景来决定。如果集群之间的网络是扁平的，那么可以选择扁平网络模型，如果集群之间的网络是隔离的，那么可以选择非扁平网络模型。如果集群规模较小，那么可以选择单控制面模型，如果集群规模较大，那么可以选择多控制面模型。
本文档选择非扁平网络多控制面模型来进行安装阐明：安装模型如下所示

非扁平网络多控制面模型有如下特点。

• 差别的集群不需要在一张大网下，即容器网络不需要三层打通，跨集群的服务访问通过Istio East-West Gateway转发。
  
• 每个kubernetes集群的Pod地址范围与服务地址范围没有限制，可以与其他集群重叠，差别集群之间互不干扰
  
• 每个Kubernetes集群的Sidecar仅连接到本集群的Istio控制面，通信服从更高。
  
• Istiod只监听主集群的Istio配置，因此 VirtualService、DestinationRule、Gateway 等资源存在冗余复制问题
  
• 同一集群内部服务访问: Pod之间直接连接；跨集群的服务访问:依靠DNS署理剖析其他集群的服务域名，由于集群之间的网络相互隔离，以是依靠Remote集群的 East-west Gateway中转流量。
  

三 ClusterMesh 环境搭建

搭建 cluster1 和 cluster2 两个集群，然后每个集群上安装 Istio 控制平面， 且将两者均设置为主集群（primary cluster）。 集群 cluster1 在 network1 网络上，而集群 cluster2 在 network2 网络上。
3.1 条件条件

本次搭建环境信息如下: 利用Kind搭建Kubernetes集群,Kind版本为v0.19.0。 Kubernetes 版本为1.27.3 ; Istio 版本为 1.20.1。

在搭建k8s 集群之前确保Linux节点已安装docker kubectl 和 kind。
下载istioctl二进制
curl -L https://istio.io/downloadIstio | ISTIO_VERSION=1.20.1 TARGET_ARCH=x86_64 sh -
将 istioctl 客户端添加到路径

3.2 Kubernetes集群安装

cluster1和cluster2集群安装脚本如下

1. # create-cluster.sh
2. # This script handles the creation of multiple clusters using kind and the
3. # ability to create and configure an insecure container registry.
5. set -o xtrace
6. set -o errexit
7. set -o nounset
8. set -o pipefail
10. # shellcheck source=util.sh
11. NUM_CLUSTERS="${NUM_CLUSTERS:-2}"
12. KIND_IMAGE="${KIND_IMAGE:-}"
13. KIND_TAG="${KIND_TAG:-v1.27.3@sha256:3966ac761ae0136263ffdb6cfd4db23ef8a83cba8a463690e98317add2c9ba72}"
14. OS="$(uname)"
15. function create-clusters() {
16.   local num_clusters=${1}
18.   local image_arg=""
19.   if [[ "${KIND_IMAGE}" ]]; then
20.     image_arg="--image=${KIND_IMAGE}"
21.   elif [[ "${KIND_TAG}" ]]; then
22.     image_arg="--image=kindest/node:${KIND_TAG}"
23.   fi
24.   for i in $(seq "${num_clusters}"); do
25.     kind create cluster --name "cluster${i}" "${image_arg}"
26.     fixup-cluster "${i}"
27.     echo
29.   done
30. }
32. function fixup-cluster() {
33.   local i=${1} # cluster num
35.   if [ "$OS" != "Darwin" ];then
36.     # Set container IP address as kube API endpoint in order for clusters to reach kube API servers in other clusters.
37.     local docker_ip
38.     docker_ip=$(docker inspect --format='{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "cluster${i}-control-plane")
39.     kubectl config set-cluster "kind-cluster${i}" --server="https://${docker_ip}:6443"
40.   fi
42.   # Simplify context name
43.   kubectl config rename-context "kind-cluster${i}" "cluster${i}"
44. }
45. echo "Creating ${NUM_CLUSTERS} clusters"
46. create-clusters "${NUM_CLUSTERS}"
47. kubectl config use-context cluster1
49. echo "Kind CIDR is $(docker network inspect -f '{{$map := index .IPAM.Config 0}}{{index $map "Subnet"}}' kind)"
51. echo "Complete"

复制代码

以上集群安装的过程中，为了istiod能够访问对方集群的apiserver地址，集群kube-apiserver的地址设置为master节点的地址。因为是kind部署的集群，两个集群的master节点本质上都是同个宿主机上的docker运行的容器。

确认cluster1和cluster2 是否停当

 3.3 利用MetalLB为网关分配ExternalIP

由于利用的是kind部署多集群，istio南北向网关和东西向网关创建需要创建LoadBalencer service,均需要利用到ExternalIP。这里借助metalLB 实现LB ip地址的分发和宣告。
查看kind搭建集群利用节点子网网段： 172.18.0.0/16
采用metalLB L2模式进行部署。
cluster1中的metalLB配置清单: metallb-config-1.yaml

1. ### for cluster1
2. ##配置IPAddressPool,用于lbip地址的分配。L2模式下，ippool地址和worker节点处于同一子网即可
3. apiVersion: metallb.io/v1beta1
4. kind: IPAddressPool
5. metadata:
6.   name: first-pool
7.   namespace: metallb-system
8. spec:
9.   addresses:
10.     - 172.18.1.230-172.18.1.240
11. ---
12. ##配置L2Advertisement，用于地址宣告
13. apiVersion: metallb.io/v1beta1
14. kind: L2Advertisement
15. metadata:
16.   name: first-adv
17.   namespace: metallb-system
18. spec:
19.   ipAddressPools:
20.     - first-pool

复制代码

cluster2集群中的metalLB配置清单:metallb-config-2.yaml

1. ### for cluster2
2. ##配置IPAddressPool,用于lbip地址的分配。L2模式下，ippool地址和worker节点处于同一子网即可
3. apiVersion: metallb.io/v1beta1
4. kind: IPAddressPool
5. metadata:
6.   name: second-pool
7.   namespace: metallb-system
8. spec:
9.   addresses:
10.     - 172.18.1.241-172.18.1.252
11. ---
12. ##配置L2Advertisement，用于地址宣告
13. apiVersion: metallb.io/v1beta1
14. kind: L2Advertisement
15. metadata:
16.   name: second-adv
17.   namespace: metallb-system
18. spec:
19.   ipAddressPools:
20.     - second-pool

复制代码

利用脚本进行安装

1. #!/usr/bin/env bash
3. set -o xtrace
4. set -o errexit
5. set -o nounset
6. set -o pipefail
8. NUM_CLUSTERS="${NUM_CLUSTERS:-2}"
9. for i in $(seq "${NUM_CLUSTERS}"); do
10.   echo "Starting metallb deployment in cluster${i}"
11.   kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.13.10/config/manifests/metallb-native.yaml --context "cluster${i}"
12.   kubectl create secret generic -n metallb-system memberlist --from-literal=secretkey="$(openssl rand -base64 128)" --context "cluster${i}"
13.   ## 增加等待时间，如果metallb负载没部署起来，创建IPAddressPool L2Advertisement 会报错
14.   sleep 10
15.   kubectl apply -f ./metallb-config-${i}.yaml --context "cluster${i}"
16.   echo "----"
17. done

复制代码

确认metalLB部署情况

确认IPAddressPool信息：

 3.4 集群共享根CA 配置信托关系

为了支持安全的跨集群mTLS通信，多控制面模型要求每个集群的控制面Istiod都利用相同的CA机构颁发的中心CA证书，供Citatel签发证书利用，以支持跨集群的TLS双向认证。

Istio东西向网关(跨集群访问)工作时利用基于SNI的路由，它根据TLS哀求的SNI，主动将其路由到SNI对应的Cluster，因此非扁平网络的跨网络访问要求所有流量都必须颠末TLS加密。
在集群中插入证书和密钥，脚本如下（需要将该脚本移动到istio的安装包目录下）：

1. #!/usr/bin/env bash
3. set -o xtrace
4. #set -o errexit
5. set -o nounset
6. set -o pipefail
7. NUM_CLUSTERS="${NUM_CLUSTERS:-2}"
8. ##在istio安装包的顶层目录下 创建目录 用来存放证书和密钥
9. mkdir -p certs
10. pushd certs
12. ##生成根证书和密钥
13. make -f ../tools/certs/Makefile.selfsigned.mk root-ca
15. for i in $(seq "${NUM_CLUSTERS}"); do
16.   ##对于每个集群，为 Istio CA 生成一个中间证书和密钥
17.   make -f ../tools/certs/Makefile.selfsigned.mk "cluster${i}-cacerts"
18.   ##对于每个集群，创建istio-system 命名空间
19.   kubectl create namespace istio-system --context "cluster${i}"
20.   ## 对于每个集群，通过给istio系统命名空间打上topology.istio.io/network 标签添加网络标识
21.   kubectl --context="cluster${i}" label namespace istio-system topology.istio.io/network="network${i}"
22.   ##对于每个集群，给工作节点node打上地域和可用区标签，便于istio实现地域故障转移、地域负载均衡
23.   kubectl --context="cluster${i}" label node "cluster${i}-control-plane" topology.kubernetes.io/region="region${i}"
24.   kubectl --context="cluster${i}" label node "cluster${i}-control-plane" topology.kubernetes.io/zone="zone${i}"
25.   #在每个集群中，创建一个私密 cacerts，使用所有输入文件 ca-cert.pem， ca-key.pem，root-cert.pem 和 cert-chain.pem。
26.   kubectl delete secret cacerts -n istio-system --context "cluster${i}"
27.   kubectl create secret generic cacerts -n istio-system --context "cluster${i}" \
28.       --from-file="cluster${i}/ca-cert.pem" \
29.       --from-file="cluster${i}/ca-key.pem" \
30.       --from-file="cluster${i}/root-cert.pem" \
31.       --from-file="cluster${i}/cert-chain.pem"
32.   echo "----"
33. done

复制代码

实行脚本，将会生成根证书和中心证书等文件

 

3.5 Istio服务网格安装

为cluster1，和cluster2 集群安装多控制面istio网格。
将cluster1 设置为主集群,在istio的安装目录下实行如下命令

1. cat <<EOF > cluster1.yaml
2. apiVersion: install.istio.io/v1alpha1
3. kind: IstioOperator
4. spec:
5.   values:
6.     global:
7.       meshID: mesh1
8.       multiCluster:  ##开启多集群配置
9.         clusterName: cluster1 #指定k8s集群名称
10.       network: network1 #指定网络标识
11.       logging:
12.         level: debug
13. EOF

复制代码

注意: 两个集群都需要应用该配置
从 cluster1 中通过网关发送哀求给服务 HelloWorld

从 cluster2中通过网关发送哀求给服务 HelloWorld

4.4 验证地域故障转移

当多个地域/区域部署多个服务实例时，如果某个地域/区域的服务实例不可用，可以将流量转移到其他地域/区域的服务实例上，实现地域故障转移，如许就可以包管服务的高可用性。

1. cat <<EOF > cluster2.yaml
2. apiVersion: install.istio.io/v1alpha1
3. kind: IstioOperator
4. spec:
5.   values:
6.     global:
7.       meshID: mesh2
8.       multiCluster:  ##开启多集群配置
9.         clusterName: cluster2 #指定k8s集群名称
10.       network: network2 #指定网络标识
11.       logging:
12.         level: debug
13. EOF

复制代码

注意: 两个集群都需要应用该配置
从 cluster1 中通过网关发送哀求给服务 HelloWorld

模拟故障，手动将cluster1集群中Helloworld V1版本设置故障

再次访问，故障检测生效，触发故障转移，并验证响应中的 version 始终为 v2，也就是说我们访问的是 region2 的 helloworld 服务，如许就实现了地域故障转移。

故障转移的条件是当前region内，所有实例都不可用时，才会转移到到目前region，否则流量还会发往当前region的其他可用实例。
五 备注

参考文献如下：

• istio开源社区（跨网络多主架构的安装阐明）： https://istio.io/latest/zh/docs/setup/install/multicluster/multi-primary_multi-network/
  
• kind安装集群脚本参考： https://github.com/cnych/multi-cluster-istio-kind/tree/main/kind-create
  
• 多集群证书管理参考：https://istio.io/latest/zh/docs/tasks/security/cert-management/plugin-ca-cert/
  

点击关注，第一时间了解华为云奇怪技术~
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4