教你几个部署多个nginx-ingress的注意事项

打印 上一主题 下一主题

主题 651|帖子 651|积分 1953

本文分享自华为云社区《nginx-ingress工作原理以及多nginx-ingress部署注意事项》,作者: 可以交个朋友。
一、nginx-ingress工作原理

nginx-ingress对应的容器中有两个核心组件:nginx-ingress-controller和nginx。其中nginx-ingress-controller负责list-watch kube-apiserver监听ingress、service、endpoint、configmap资源的状态变化,转变为nginx配置,刷新给容器中nginx进程,再由nginx对外保留服务提供转发能力,大致工作流程如下:

  • nginx-ingress实例运行,nginx-ingress-controller list-watch kube-apiserver,获取相关资源变化;
  • 当用户创建ingress资源时,当nginx-ingress-controller开启webhook能力时,kube-apiserver根据对应的AdmissionWebhook描述调用nginx-ingress的8443端口,校验ingress资源合法性,通过后写入ETCD;
  • nginx-ingress watch到ingress资源变化(创建新的ingress资源),获取对应的service、endpoint、configmap(如果涉及证书),转为为nginx配置,重写nginx.conf配置;
  • 当请求访问到nginx-ingress 80或者443端口时,nginx开始处理转发请求,如果满足nginx.conf规则,nginx的lua脚本会调用kube-apiserver接口获取转发到真实后端podip;
理解nginx-ingress原理后,那么部署多个nginx-ingress的关键注意事项也就出来了:


  • 创建多个nginx-ingress,多个nginx-ingress如何标识自己?
  • 创建一个ingress资源后,在有多个nginx-ingress都在watch ingress的情况下,希望哪一个或者几个nginx-ingress““捕获”并作用?
  • 当部署了多个nginx-ingress,如果部分开启了webhook能力,当创建ingress资源后,kube-apiserver会调用哪个nginx-ingress的webhook去校验?

二、多nginx-ingress安装注意事项

2.1 多个nginx-ingress启动参数中–controller-class均不相同

nginx-ingress-a实例启动参数

nginx-ingress-b实例启动参数
2.2 通过ingress资源中spec.ingressClassName指定相关联nginx-ingress

kubernetes 1.23.x以下版本对应的apiVersion:networking.k8s.io/v1beta1
  1. apiVersion: networking.k8s.io/v1beta1
  2. kind: Ingress
  3. metadata:
  4.   name: test-a
  5.   namespace: nginx-a
  6.   annotations:
  7.     kubernetes.io/ingress.class: custom-nginx-a
  8. spec:
  9.   rules:
  10.   - http:
  11.       paths:
  12.       - backend:
  13.           service:
  14.             name: nginx
  15.             port:
  16.               number: 80
  17.         path: /
  18.         pathType: ImplementationSpecific
  19.         property:
  20.           ingress.beta.kubernetes.io/url-match-mode: STARTS_WITHSTARTS_WITH
复制代码
kubernetes v1.23版本及以上apiVersion 是networking.k8s.io/v1
  1. apiVersion: networking.k8s.io/v1
  2. kind: Ingress
  3. metadata:
  4.   name: test-a
  5.   namespace: nginx-a
  6. spec:
  7.   ingressClassName: custom-nginx-a
  8.   rules:
  9.   - http:
  10.       paths:
  11.       - backend:
  12.           service:
  13.             name: nginx
  14.             port:
  15.               number: 80
  16.         path: /
  17.         pathType: ImplementationSpecific
  18.         property:
  19.           ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH
复制代码
2.3 多nginx-ingress场景下,通过admissionwebhook作用域限制单个nginx-ingress webhook作用范围

admission webhook作用域默认是全局的,如果一个集群中有多个nginx-ingress组件(通过ingressClass区域),由于有多个ValidatingAdmissionWebhook,当某个ingress资源创建时,kube-apiserver会调用多个nginx-ingress webhok能力进行校验,当某个nginx-ingress出现故障(可能与该ingress资源并不关联),将会阻塞所有的ingress的写入。
多nginx-ingress场景下建议通过admissionwebhook 自带的namespaceSelector控制每个nginx-ingress的作用域,使其作用到指定的命名空间,只教验作用域命名空间下的ingresses资源。
  1. admissionwebhook:
  2.    namespaceSelector:
  3.       matchExpressions:
  4.       - key: kubernetes.io/metadata.name #需要教验的namespace含有的标签key
  5.         operator: In
  6.         values: ["${namespace}"] # namespace含有的标签value(默认命名空间本身)
  7.     rules:
  8.     - operations: ["CREATE","UPDATE"]
  9.       apiGroups: ["*"]
  10.       apiVersions: ["*"]
  11.       resources: ["ingresses"] #限制作用资源
  12.       scope: "*" #由于限制了作用资源ingresses,无需配置
  13.     objectSelector: {}
复制代码
如果集群版本在1.28及以上,可以通过matchConditions匹配请求,直接筛选ingressClassName字段,官网详情
三、安装部署多个nginx-ingress

登录到集群,将ingress-controller helm包下载到集群
  1. wget https://github.com/kubernetes/ingress-nginx/releases/download/helm-chart-4.3.0/ingress-nginx-4.3.0.tgz
复制代码
新建myvalue.yaml文件,内容如下;安装时指定此配置文件,其它未进行指定的参数会使用安装包中value.yaml默认配置值。
  1. imagePullSecrets: {}   #若仓库开启认证需要配置该字段
  2. controller:
  3.   name: controller #自定义controller名称,不可重复
  4.   image:   
  5.     repository: swr.cn-north-4.myhuaweicloud.com/hwofficial/nginx-ingress     # controller镜像地址设定
  6.     tag: "v1.2.1"
  7.   ingressClass: custom-nginx    # 设定ingress-class值,不可重复
  8.   ingressClassResource:
  9.     name: custom-nginx          #设定ingressClass资源名称,不可重复
  10.     controllerValue: k8s.io/custom-nginx   #设定监测ingressClass资源的controller,不可重复
  11.   # 设定controller要使用的loadbalancer service,本例中使用的是独享型ELB
  12.   service:  
  13.     annotations: {
  14.     #  kubernetes.io/elb.class: performance  #开启后turbo集群直通pod(仅限独享型elb)
  15.     kubernetes.io/elb.id: 3660aa3c-xxxx-xxxx-xxxx-xxxxff97xxxx     #ELB ID,不可重复
  16.     }
  17.   # 设定controller的资源限制
  18.   resources:
  19.     requests:
  20.       cpu: 200m
  21.       memory: 200Mi     
  22.   # 挂载节点上的/etc/localtime文件,进行时区同步
  23.   extraVolumeMounts:
  24.     - name: localtime
  25.       mountPath: /etc/localtime
  26.       readOnly: true
  27.   extraVolumes:
  28.     - name: localtime
  29.       hostPath:
  30.         path: /etc/localtime
  31.   admissionWebhooks:
  32.     enabled: true
  33.     failurePolicy: Fail
  34.     port: 8443
  35.     certificate: "/usr/local/certificates/cert"
  36.     key: "/usr/local/certificates/key"
  37.     namespaceSelector:  
  38.       matchExpressions:
  39.       - key: kubernetes.io/metadata.name
  40.         operator: In
  41.         values: ["${namespace}"] # ${namespace}修改为业务负载所在的命名空间,逗号分割
  42.     rules:
  43.     - operations: ["CREATE","UPDATE"]
  44.       apiGroups: ["*"]
  45.       apiVersions: ["*"]
  46.       resources: ["ingresses"]
  47.       scope: "*"
  48.     networkPolicyEnabled: false
  49.     service:
  50.       servicePort: 443
  51.       type: ClusterIP
  52.     createSecretJob:
  53.       resources:
  54.         limits:
  55.           cpu: 20m
  56.           memory: 40Mi
  57.         requests:
  58.           cpu: 10m
  59.           memory: 20Mi
  60.     patch:
  61.       enabled: true
  62.       image:
  63.         registry: registry.k8s.io                   # registry.k8s.io,webhook官网镜像仓库需要替换成自己镜像所在仓库地址
  64.         image: ingress-nginx/kube-webhook-certgen   # ingress-nginx/kube-webhook-certgen
  65.         tag: v1.1.1                                 # v20220916-gd32f8c343
  66.         pullPolicy: IfNotPresent
  67.       nodeSelector:
  68.         kubernetes.io/os: linux
  69.       securityContext:
  70.         runAsNonRoot: true
  71.         runAsUser: 2000
  72.         fsGroup: 2000
  73. defaultBackend:
  74.   enabled: false # 关闭defaultBackend
复制代码
value配置文件注解如下:

  • 部署多个nginx-ingress场景下,不可重复字段的值需配置不同
  • 文件中开启admissionWebhooks功能,通过配置admissionwebhook,避免了因配置错误导致ingress-controller不必要的reload。开启此特性后,如需卸载重装ingress-controller,会有webhook对应的secret残留,如果再部署同名的ingress-controller有可能造成controller不可用,需要注意手动清理。
  • 将ingress-controller部署到指定的命名空间${namespace}
  1. helm install ingress-nginx-controller -f myvalue.yaml ./ingress-nginx-a -n ${namespace}
复制代码

  • 部署多套nginx-ingress重复以上2-3即可
效果展示

查看controller实例是否部署成功

ingressclasses资源

查看访问入口ELB地址

创建测试工作负载、service和ingress资源

访问测试

点击关注,第一时间了解华为云新鲜技术~
 

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

水军大提督

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表