ToB企服应用市场:ToB评测及商务社交产业平台

标题: 全景分析阿里云容器网络数据链路（五）：Terway ENI-Trunking [打印本页]

作者: 惊雷无声 时间: 2024-6-14 23:19
标题: 全景分析阿里云容器网络数据链路（五）：Terway ENI-Trunking
近几年，企业基础设施云原生化的趋势越来越猛烈，从最开始的IaaS化到如今的微服务化，客户的颗粒度精细化和可观测性的需求更加猛烈。容器网络为了满足客户更高性能和更高的密度，也不绝在高速的发展和演进中，这一定对客户对云原生网络的可观测性带来了极高的门槛和寻衅。为了提高云原生网络的可观测性，同时便于客户和前后线同学增加对业务链路的可读性，ACK产研和AES团结共建，合作开发ack net-exporter和云原生网络数据面可观测性系列，帮助客户和前后线同学了解云原生网络架构体系，简化对云原生网络的可观测性的门槛，优化客户运维和售后同学处理疑难题目标体验，提高云原生网络的链路的稳定性。
鸟瞰容器网络，整个容器网络可以分为三个部分：Pod网段，Service网段和Node网段。这三个网络要实现互联互通和访问控制，那么实现的技能原理是什么？整个链路又是什么，限定又是什么呢？Flannel， Terway有啥区别？差别模式下网络性能怎样？这些，必要客户在下搭建容器之前，就要依据自己的业务场景举行选择，而搭建完毕后，相关的架构又是无法变化，所以客户必要对每种架构特点要有充实了解。比如下图是个简图，Pod网络既要实现同一个ECS的Pod间的网络互通和控制，又要实现差别ECS Pod间的访问， Pod访问SVC 的后端可能在同一个ECS 也可能是其他ECS，这些在差别模式下，数据链转发模式是差别的，从业务侧表现结果也是不一样的。

本文是[全景分析容器网络数据链路]第五部分部分，重要介绍Kubernetes Terway ENI-Trunking模式下，数据面链路的转转发链路，一是通过了解差别场景下的数据面转发链路，从而探知客户在差别的场景下访问结果表现的缘故原由，帮助客户进一步优化业务架构；另一方面，通过深入了解转发链路，从而在遇到容器网络抖动时候，客户运维以及阿里云同学可以知道在哪些链路点举行摆设观测手动，从而进一步定界题目方向和缘故原由。
Terway ENI-Trunking 模式架构设计

弹性网卡中继Trunk ENI是一种可以绑定到专有网络VPC范例ECS实例上的虚拟网卡。相比弹性网卡ENI，Trunk ENI的实例资源密度明显提升。启用Terway Trunk ENI功能后，指定的Pod将使用Trunk ENI资源。为Pod开启自定义配置是可选功能，默认环境下创建的Pod，未开启Terway Trunk ENI功能，使用的是共享ENI上的IP地址。只有当您主动声明为指定Pod开启自定义配置后，相应的Pod才能使用Pod自定义配置能力，Terway才可以同时使用共享ENI以及Trunk ENI为Pod分配IP。两种模式共享节点最大Pod数量配额，总摆设密度和开启前一致。
金融、电信，当局等行业对数据信息安全有着非常严酷的数据安全要求，通常，重要的焦点数据会放在自建的机房内，并且对访问此数据的客户端有严酷的白名单控制，通常会限定具体的IP访问源。业务架构上云时，每每是通过专线，VPN等打通自建机房和云上资源打通，由于传统容器中PodIP 是不固定的，NetworkPolicy 只能在集群内生效，这对客户的白名单设置有了非常大的寻衅。ENI 在 Trunk 模式下，可以配置独立的安全组、vSwitch能力，带来更为细化的网络配置能力，提供极具竞争力的容器网络解决方案。

在trunking的定名空间内可以看到相关的pod信息和节点信息，其中pod应用的IP 的网络我们稍后会具体分析

Pod内有只有指向eth0的默认路由，分析Pod访问任何地址段都是从eth0为统一的出入口

那么Pod是怎样ECS OS举行通信呢？在OS层面，我们一看到calicxxxx的网卡，可以看到是附属于eth1的，对于节点和Pod的通信连接，这个雷同于《全景分析阿里云容器网络数据链路（三）—— Terway ENIIP》，此处不再举行过多分析。通过OS Linux Routing 我们可以看到，全部目标是 Pod IP 的流量都会被转发到Pod对应的calico虚拟往卡上，到这里为止，ECS OS 和Pod的网络定名空间已经建立好完整的出入链路配置了。

让我们把目光聚焦ENI Trunking本身。ENI Truning 是怎样实现Pod的交换机和安全组的配置呢？Terway增加一种名为PodNetworking的自定义资源来描述网络配置。您可以创建多个PodNetworking，来规划差别网络平面。创建PodNetworking资源后，Terway将同步网络配置信息，只有status成为Ready后，该网络资源才能对Pod生效。如下图所示，范例为Elastic，只要namespce的标签的符合tryunking：zoneb，就给pod使用指定的安全组和交换机。

创建Pod时，Pod将通过标签去匹配PodNetworking。假如Pod没有匹配到任何PodNetworking，则Pod将使用默认的共享ENI上的IP。假如Pod有匹配到PodNetworking，则将使用PodNetworking中定义的配置分配ENI。关于Pod标签的相关内容，请参见标签。
Terway会为这类Pod创建相应的名为PodENI的自定义资源，用于跟踪Pod所使用的资源，该资源由Terway管理，您不可修改该资源。如下trunking 定名空间下的centos-59cdc5c9c4-l5vf9 pod匹配了相应的podnetworking设置，被分配了相应的memeber ENI、对应的Trunking ENI，安全组，交换机和被绑定的ECS实例，这样就实现了Pod维度的交换机，安全组的配置和管理。

通过ECS的控制台，我们也可以清晰的看到memenber ENI和Trunking ENI 之间的关系，相应的安全组交换机等等信息。

通过上面的配置，我们了解怎样去给每个Pod单独配置交换机，安全组等信息，让每个pod在通过Trunking ENI出ECS后，可以主动走到对应的配置Member ENI 上，让这些配置生效。那么全部的配置实在落到宿主机上都是通过相关的计谋实现的，Trunking ENi网卡是怎样知道把对应Pod的流量转发到精确的对应的Member ENI上的呢？这实在通过的vlan来实现的。在tc层面可以看到VLAN ID。所以在egress或者ingress的阶段会打上或者去除VLAN ID。

故Terway ENI-Trunking 模式总体可以归纳为：

弹性网卡中继Trunk ENI是一种可以绑定到专有网络VPC范例ECS实例上的虚拟网卡。相比弹性网卡ENI，Trunk ENI的实例资源密度明显提升
Terway Trunk ENI支持为每个Pod配置固定IP、独立的虚拟交换机、安全组，能提供精细化流量管理、流量隔离、网络计谋配置和IP管理能力。
使用Terway插件，您必要选择较高规格和较新范例的ECS神龙机型，即5代或者6代的8核以上机型，且机型要支持Trunk ENI。更多信息，请参见实例规格族。
单节点所支持的最大Pod数取决于该节点的弹性网卡（ENI）数。共享ENI支持的最大Pod数=（ECS支持的ENI数-1）×单个ENI支持的私有IP数。
Pod安全组规则不会应用到同节点Pod间流量及同节点上节点与Pod间流量。假如您必要限定，可以通过NetworkPolicy举行配置。
Pod和对应MemeberENI流量对应是通过VLAN ID 来实现的。

Terway ENI-Trunking 模式容器网络数据链路分析

可以看到由于可以实现Pod维度的安全组，交换机设置，那么宏观上差别链路访问一定更加趋于复杂，我们可以将Terway ENI-TRunking模式下的网络链路大体分为以Pod IP对外提供服务和以SVC对外提供服务两个大的SOP场景，进一步细分，可以归纳为10个差别的小的SOP场景。

对这11个场景的数据链路梳理合并，这些场景可以归纳为下面10类典型的场景：

通节点访问Pod（雷同or差别安全组）
同节点同安全组Trunk Pod互访（含访问SVC IP，源端和svc后端摆设在同一节点）
同节点差别安全组Trunk Pod互访（含访问SVC IP，源端和svc后端摆设在同一节点）
差别节点同安全组Trunk Pod互访
差别节点差别安全组Trunk Pod互访
集群内源端访问SVC IP（源端和SVC后端差别节点，雷同安全组，含Local模式访问external IP）
集群内源端访问SVC IP（源端和SVC后端差别节点，差别安全组，含Local模式访问external IP）
Cluster模式下，集群内源端访问SVC ExternalIP（源端和SVC后端差别节点，差别安全组）
Cluster模式下，集群内源端访问SVC ExternalIP（源端和SVC后端差别节点，雷同安全组）
集群外访问SVC IP

2.1 场景一：通节点访问Pod（雷同or差别安全组）

环境

cn-hongkong.10.0.4.22 节点上存在 nginx-6f545cb57c-kt7r8和 10.0.4.30
内核路由

nginx-6f545cb57c-kt7r8 IP地址 10.0.4.30 ，该容器在宿主机表现的PID是1734171，该容器网络定名空间有指向容器eth0的默认路由

该容器eth0在ECS OS 内是通过ipvlan隧道的方式和ECS的附属ENI eth1建立的隧道，同时附属ENI eth1尚有个虚拟的calxxx 网卡

在ECS OS内，有指向Pod IP，下一跳为为calixxxx的路由，通过前文可以知道calixxx网卡是和每个pod内的veth1构成的pair，所以，pod内访问SVC的CIDR会有指向veth1的路由，不会走默认的eth0路由。故：calixx网卡在这里的重要作用是用于：1. 节点访问Pod 2. 当节点或者Pod访问 SVC的CIDR时，会走ECS OS内核协议栈转换，走到calixxx和veth1访问pod。

trunking 定名空间下的nginx-6f545cb57c-kt7r8 pod匹配了相应的podnetworking设置，被分配了相应的memeber ENI、对应的Trunking ENI，安全组，交换机和被绑定的ECS实例，这样就实现了Pod维度的交换机，安全组的配置和管理。

在tc层面可以看到VLAN ID 1027，所以数据流量在egress或者ingress的阶段会打上或者去除VLAN ID。

ENI的网卡所属的安全组可以看到只允许了指定的IP可以访问nginx pod的80 端口。

置于数据面流量在OS层面的流量转发逻辑，这个雷同于《全景分析阿里云容器网络数据链路（三）—— Terway ENIIP》，不在这里做过多的叙述。
小结

可以访问到目标端

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS的ns中命中Ip rule 被转发1、
整个请求链路是 ECS1 OS -> calixxxx -> ECS1 Pod1
由于是通过 os内核routing转发，不颠末 member eni，所以安全组不生效，此链路与pod所属的member eni的安全组无关

2.2 场景二：同节点同安全组Trunk Pod互访（含访问SVC IP，源端和svc后端摆设在同一节点）

环境

cn-hongkong.10.0.4.22 节点上存在 nginx-6f545cb57c-kt7r8，10.0.4.30和busybox-87ff8bd74-g8zs7，10.0.4.24。
内核路由

nginx-6f545cb57c-kt7r8 IP地址 10.0.4.30 ，该容器在宿主机表现的PID是1734171，该容器网络定名空间有指向容器eth0的默认路由

该容器eth0在ECS OS 内是通过ipvlan隧道的方式和ECS的附属ENI eth1建立的隧道，同时附属ENI eth1尚有个虚拟的calixxxx 网卡

trunking 定名空间下的busybox-87ff8bd74-g8zs7 和 nginx-6f545cb57c-kt7r8 pod匹配了相应的podnetworking设置，被分配了相应的memeber ENI、对应的Trunking ENI，安全组，交换机和被绑定的ECS实例，这样就实现了Pod维度的交换机，安全组的配置和管理。

在tc层面可以看到VLAN ID 1027，所以数据流量在egress或者ingress的阶段会打上或者去除VLAN ID。

ENI的网卡所属的安全组可以看到只允许了指定的IP可以访问nginx pod的80 端口。

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
整个请求链路是ECS1 Pod1 eth0 -> cali1xxxxxx-> cali2xxxxxx -> ECS1 Pod2 eth0
pod属于同or差别 ENI，链路请求是一致的，不颠末ENI
由于是通过 os内核 routing 转发，不颠末 member eni，所以安全组不生效，此链路与pod所属的member eni的安全组无关
访问Pod IP 和访问 SVC IP（external ipor clusterip）的区别是:

访问SVC IP， SVC 会在源端pod eth0和calixxx网卡捕捉到，在目标端pod的eth0和calixxx时捕捉不到
2.3 场景三：同节点差别安全组Trunk Pod互访（含访问SVC IP，源端和svc后端摆设在同一节点）

环境

cn-hongkong.10.0.4.244 节点上存在 nginx-96bb9b7bb-wwrdm，10.0.5.35 和centos-648f9999bc-nxb6l，10.0.5.18。
内核路由

相关的Pod的容器网络定名空间，路由等不在举行过多描述，详情可以见前面两小节。
通过podeni可以看到centos-648f9999bc-nxb6l 所分配的ENI，安全组sg，交换机vsw等.

通过安全组sg-j6ccrxxxx可以看到centos 的pod可以访问外部全部的地址

同理，可以检察出服务端Pod的nginx-96bb9b7bb-wwrdm 的安全组 sg-j6ccrze8utxxxxx 是只允许192.168.0.0/16 可以访问

小结

可以访问到目标端

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
整个请求链路是ECS1 Pod1 eth0 -> cali1xxxxxx-> cali2xxxxxx -> ECS1 Pod2 eth0
pod属于同or差别 ENI，链路请求是一致的，不颠末ENI
由于是通过 os内核 routing 转发，不颠末 member eni，所以安全组不生效，此链路与pod所属的member eni的安全组无关
访问Pod IP 和访问 SVC IP（external ipor clusterip）的区别是:

访问SVC IP， SVC 会在源端pod eth0和calixxx网卡捕捉到，在目标端pod的eth0和calixxx时捕捉不到
2.4 场景四：差别节点同安全组Trunk Pod互访

环境

cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27
cn-hongkong.10.0.4.22 节点上存在服务端 nginx-6f545cb57c-kt7r8 和IP 10.0.4.30
内核路由

相关的Pod的容器网络定名空间，路由等不在举行过多描述，详情可以见前面两小节。通过podeni可以看到centos-59cdc5c9c4-l5vf9 所分配的ENI，安全组sg，交换机vsw等.
通过安全组sg-j6cf3sxrlbuwxxxxx可以看到centos和nginx的的pod属于同一个安全组 sg-j6cf3sxrlbuxxxxx。

小结

是否可以访问取决于安全组配置

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
整个请求链路是 ECS1 Pod1 eth0 -> cali1xxx > Trunk eni ( ECS1) -> Pod1 member eni -> vpc route rule(如有) -> Pod2 member eni -> > Trunk eni ( ECS2) cali2 xxx -> ECS2 Pod1 eth0
由于是通过os内核 routing 转发，颠末 member eni，由于member eni属于同一个安全组，所以安全组内默认是互通的

2.5 场景五：差别节点差别安全组Trunk Pod互访

环境

cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27
cn-hongkong.10.0.4.244 节点上存在服务端 nginx-96bb9b7bb-wwrdm 和IP 10.0.5.35
内核路由

相关的Pod的容器网络定名空间，路由等不在举行过多描述，详情可以见前面两小节。通过podeni可以看到centos-59cdc5c9c4-l5vf9 所分配的ENI，安全组sg，交换机vsw等。
通过安全组sg-j6cf3sxrlbuwxxxxx可以看到centos 的pod可以访问外部全部的地址

同理，可以检察出服务端Pod的nginx-96bb9b7bb-wwrdm 的安全组 sg-j6ccrze8utxxxxx 是只允许192.168.0.0/16 可以访问

小结

是否可以访问取决于安全组配置

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
整个请求链路是ECS1 Pod1 eth0 -> cali1xxx > Trunk eni ( ECS1) -> Pod1 member eni -> vpc route rule(如有) -> Pod2 member eni -> > Trunk eni ( ECS2) cali2 xxx -> ECS2 Pod1 eth0
由于是通过os内核routing转发，流量会颠末member eni，是否可以访问成功，安全组配置对此有着决定性的作用。

2.6 场景六：集群内源端访问SVC IP（源端和SVC后端差别节点，雷同安全组，含Local模式访问external IP）

环境

cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.22 节点上存在服务端 nginx-6f545cb57c-kt7r8 和IP 10.0.4.30
nginx 的svc的ClusterIP是 192.168.81.92 External IP是 8.210.162.178
内核路由

ENI-Trunking相比力ENIIP来说，只是在VPC侧增加了对应的Truning和Member ENI，在OS内并无区别，此处可以参考《全景分析阿里云容器网络数据链路（三）—— Terway ENIIP》 2.4 小节
小结

是否可以访问取决于安全组配置

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
整个请求链路是

去方向：ECS1 Pod1 eth0 -> cali1xxx > ECS eth0 -> Pod1 member eni -> vpc route rule(如有) -> Pod2 member eni -> Trunk eni ( ECS2) cali2 xxx -> ECS2 Pod1 eth0
回方向：ECS2 Pod1 eth0 -> Trunk eni ( ECS2) cali2 xxx -> Pod2 member eni -> vpc route rule(如有) -> Pod1 member eni -> Trunk eni ( ECS1) -> cali1xxx -> ECS1 Pod1 eth0

颠末ipvs规则fnat转化，数据包是以源pod IP 从ECS eth0 出，请求目标pod IP。（访问SVC clusterIP，以及Local模式下访问External IP）
这个颠末的ENI有 ECS1 的eth0， Pod1 member eni，Pod2 member eni。所以这三个网卡的安全组的配置都会影响数据链路的连通性

2.7 场景七：集群内源端访问SVC IP（源端和SVC后端差别节点，差别安全组，含Local模式访问external IP）

环境

cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.244 节点上存在服务端 nginx-96bb9b7bb-wwrdm 和IP 10.0.5.35
nginx 的svc的ClusterIP是 192.168.31.83 External IP是 47.243.87.204
内核路由

ENI-Trunking相比力ENIIP来说，只是在VPC侧增加了对应的Truning和Member ENI，在OS内并无区别，此处可以参考《全景分析阿里云容器网络数据链路（三）—— Terway ENIIP》 2.4 小节
小结

是否可以访问取决于安全组配置

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
整个请求链路是

颠末ipvs规则fnat转化，数据包是以源pod IP 从ECS eth0 出，请求目标pod IP。（访问SVC clusterIP，以及Local模式下访问External IP）
这个颠末的ENI有 ECS1 的eth0， Pod1 member eni，Pod2 member eni。所以这三个网卡的安全组的配置都会影响数据链路的连通性。必要保证安全组相互放通Pod和ECS的响应IP

2.8 场景八：Cluster模式下，集群内源端访问SVC ExternalIP（源端和SVC后端差别节点，差别安全组）

环境

cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.244 节点上存在服务端 nginx-96bb9b7bb-wwrdm 和IP 10.0.5.35
nginx 的svc的ClusterIP是 192.168.31.83 External IP是 47.243.87.204, ExternalTrafficPolicy 是 Cluster模式
内核路由

ENI-Trunking相比力ENIIP来说，只是在VPC侧增加了对应的Truning和Member ENI，在OS内并无区别，此处可以参考《全景分析阿里云容器网络数据链路（三）—— Terway ENIIP》 2.5 小节
小结

是否可以访问取决于安全组配置

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
整个请求链路是ECS1 Pod1 eth0 -> cali1xxx > ECS eth0 -> vpc route rule(如有) -> Pod2 member eni -> Trunk eni ( ECS2) cali2 xxx -> ECS2 Pod1 eth0
颠末ipvs规则fnat转化，数据包是以源pod IP 从ECS eth0 出，请求目标pod IP。（访问SVC clusterIP，以及Local模式下访问External IP）
这个颠末的ENI有 ECS1 的eth0，Pod2 member eni。所以这两个网卡的安全组的配置都会影响数据链路的连通性。必要保证安全组相互放通Pod和ECS的响应IP

2.9 场景九：Cluster模式下，集群内源端访问SVC ExternalIP（源端和SVC后端差别节点，雷同安全组）

环境

cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.22 节点上存在服务端 nginx-6f545cb57c-kt7r8 和IP 10.0.4.30
nginx 的svc的ClusterIP是 192.168.81.92 External IP是 8.210.162.178 ExternalTrafficPolicy为Cluster
内核路由

ENI-Trunking相比力ENIIP来说，只是在VPC侧增加了对应的Truning和Member ENI，在OS内并无区别，此处可以参考《全景分析阿里云容器网络数据链路（三）—— Terway ENIIP》 2.5 小节
小结

是否可以访问取决于安全组配置

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
整个链路不会和请求不会颠末pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
整个请求链路是ECS1 Pod1 eth0 -> cali1xxx > ECS eth0 -> vpc route rule(如有) -> Pod2 member eni -> Trunk eni ( ECS2) cali2 xxx -> ECS2 Pod1 eth0
颠末ipvs规则fnat转化，数据包是以源pod IP 从ECS eth0 出，请求目标pod IP。（访问SVC clusterIP，以及Local模式下访问External IP）
这个颠末的ENI有 ECS1 的eth0，Pod2 member eni。所以这两个网卡的安全组的配置都会影响数据链路的连通性。必要保证安全组相互放通Pod和ECS的响应IP

2.10 场景十：集群外访问SVC IP

环境

cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.22 节点上存在服务端 nginx-6f545cb57c-kt7r8 和IP 10.0.4.30
nginx 的svc的ClusterIP是 192.168.81.92 External IP是 8.210.162.178 ExternalTrafficPolicy为Cluster
SLB相关配置

在SLB控制台，可以看到 lb-j6cmv8aaojf7nqdai2a6a 虚拟服务器组的后端服务器组是两个后端nginx pod 的的ENI eni-j6cgrqqrtvcwhhcyuc28, eni-j6c54tyfku5855euh3db 和 eni-j6cf7e4qnfx22mmvblj0，这几个ENI 都是member ENI

小结

是否可以访问取决于安全组配置

数据链路转发示意图

会颠末calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node举行通信
数据链路：client -> SLB -> Pod Member ENI + Pod Port -> Trunking ENI -> ECS1 Pod1 eth0
ExternalTrafficPolicy 为Local或Cluster模式下， SLB只会将 pod分配的member ENI挂在到SLB的虚拟服务器组
SLB转发请求只会转发到目标member ENI上，然后通过vlan发送到Trunk ENI，再由Trunk ENI 转发到 POD

总结

本篇文章重要聚焦ACK 在Terway ENI-Trunking模式下，差别SOP场景下的数据链路转发路径。伴随着客户对业务网络的更精细化的管理需求，引入了Pod维度交换机和安全组配置设置，在Terway ENI-Trunking模式下，一共可以分为10个SOP场景，并对这些场景技能实现原理，云产物配置等逐一梳理并总结，这对我们遇到Terway ENI-Trunking架构下的链路抖动、最优化配置，链路原理等提供了初步指引方向。在Terway ENI-Trunking模式下，利用veth pair来联通宿主机和pod的网络空间，pod的地址是来源于弹性网卡的辅助IP地址，并且节点上必要配置计谋路由来保证辅助IP的流量颠末它所属的弹性网卡，通过此种方式可以实现ENI多Pod共享，大大提升了Pod的摆设密度，同时利用tc egress/ingress 在数据流输入ECS时候，打上或者去除VLAN tag，以便实现数据流量能真正的走到属于他的Member ENI网卡，从而实现精细化的管理。如今微服务越来越盛行，采用sidecar的方式，让每个pod都可以成为一个网络节点，从而实现pod中差别的流量实现差别的网络行为和可观测性，下一系列我们将进入到Terway ENIIP模式的全景分析最后一章——《全景分析阿里云容器网络数据链路（六）—— ASM Istio》。
本系列文章由余凯执笔创作，团结作者：阿里云容器服务谢石对本文亦有贡献
原文链接
本文为阿里云原创内容，未经允许不得转载。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)