【运维知识大神篇】运维界的超神器Kubernetes教程13（LNMT架构上K8s集群之Z ...

本篇文章继续给各人先容Kubernetes的实战，部署zrlog博客的项目到K8s集群，之前在进阶篇先容过该项目的搭建，详见下面两篇文章，部署项目的时间先规划，有了思路之后，按照思路去部署，这样一个地方出错了，解决一个地方的题目，不至于题目解决解决着不知道要干啥了，并且这么干团体的思路不容易出错。
【运维知识进阶篇】Tomcat快速入门（Java环境先容+Tomcat快速安装+Tomcat配置文件+Tomcat配置虚拟主机+Tomcat管理界面+Tomcat部署zrlog博客项目）_java tomcat-CSDN博客
【运维知识进阶篇】Tomcat集群实战之部署zrlog博客（Tomcat服务安装+静态资源挂载NFS+Nginx负载均衡+HTTPS证书+Redis会话保持）_tomcat集群部署-CSDN博客
一、部署思路

1、先梳理下部署该项目到k8s的思路，再去现实操作。
2、首先我们要了解该项目，通过之前的文章我了解到该项目必要使用tomcat进行启动，必要做nfs挂载，前端还可以加上负载均衡，使用https证书去访问，我们只考虑后端的操作即可，后端把这个项目上到k8s后，提供出一个访问入口，前端的负载均衡与https证书的操作与传统的tomcat部署是一样的；
3、或者根本不必要部署nginx做负载均衡，因为k8s的service资源本身就具备负载均衡的结果。https证书也可以通过secret的情势挂载到ingress实现https证书访问网站。我们采取这个方式比较好。
4、那么首先我们明确必要准备的内容是一个zrlog的程序包，https的证书。然后去一步步去编写yaml文件即可，关于k8s的资源，我准备使用deployment部署这种无状态服务，service提供访问入口，ingress绑定证书。
二、现实操作

1、创建zrlog的文件存储空间
之前已经部署了nfs服务，创建单独目录，把程序包放到我们准备的共享目录，解压

1. [root@Master231 kubernetes]# cat /etc/exports
2. /koten/data/kubernetes *(rw,no_root_squash)
3. /wordpress/data *(rw,no_root_squash)
4. [root@Master231 kubernetes]# pwd
5. /koten/data/kubernetes
6. [root@Master231 kubernetes]# mkdir zrlog
7. [root@Master231 kubernetes]# cp ~/zrlog-2.2.1-efbe9f9-release.war zrlog/
8. [root@Master231 kubernetes]# unzip -q zrlog/zrlog-2.2.1-efbe9f9-release.war -d zrlog/
9. [root@Master231 kubernetes]# rm zrlog/zrlog-2.2.1-efbe9f9-release.war
10. rm: remove regular file ‘zrlog-2.2.1-efbe9f9-release.war’? y

复制代码

2、先通过docker运行，查看结果

1. [root@Master231 ~]# docker run -p 8080:8080 -v /koten/data/kubernetes/zrlog:/usr/local/tomcat/webapps/ROOT --name zrlog -itd zrlog:v1
2. d4a6428fc8d837d4948535fc024bae4739e488940860bde550be56f2295f1455

复制代码

3、编写deployment、service的yaml文件，部署出zrlog服务。

1. [root@Master231 ~]# cat 01-zrlog-deployment-service.yaml
2. apiVersion: apps/v1
3. kind: Deployment
4. metadata:
5.   name: deploy-zrlog
6.   namespace: zrlog
7.   labels:
8.     apps: zrlog
9. spec:
10.   replicas: 3
11.   selector:
12.     matchExpressions:
13.     - key: apps
14.       values:
15.       - "zrlog"
16.       operator: In
17.   template:
18.     metadata:
19.       labels:
20.         apps: zrlog
21.     spec:
22.       volumes:
23.       - name: data-zrlog
24.         nfs:
25.           server: master231
26.           path: /koten/data/kubernetes/zrlog
27.       containers:
28.       - name: zrlog
29.         image: tomcat:8
30.         volumeMounts:
31.         - name: data-zrlog
32.           mountPath: /usr/local/tomcat/webapps/ROOT
33.         ports:  
34.         - containerPort: 8080
36. ---
38. apiVersion: v1
39. kind: Service
40. metadata:
41.   name: service-zrlog
42.   namespace: zrlog
43. spec:
44.   type: NodePort
45.   selector:
46.     apps: zrlog
47.   ports:
48.   - port: 8080
49.     targetPort: 8080
50.     nodePort: 8080
51. [root@Master231 ~]# kubectl create ns zrlog
52. namespace/zrlog created
53. [root@Master231 ~]# kubectl apply -f zrlog-deployment-service.yaml
54. deployment.apps/deploy-zrlog created
55. service/deploy-v1 created
56. [root@Master231 ~]# kubectl get -f zrlog-deployment-service.yaml
57. NAME                           READY   UP-TO-DATE   AVAILABLE   AGE
58. deployment.apps/deploy-zrlog   3/3     3            3           9s
60. NAME                TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)         AGE
61. service/deploy-v1   NodePort   10.200.175.3   <none>        8080:8080/TCP   9s

复制代码

4、通过pod所在节点的ip加8080端口，可以访问到我们的服务（此处应该是任意一个ip都可以，详见未解之谜），由于我们挂载了代码文件到nfs，以是3个副本直接访问nfs实现读取代码文件

5、部署ingress-nginx

1. [root@Master231 ~]# cat 02-ingress-nginx.yaml
2. apiVersion: v1
3. kind: Namespace
4. metadata:
5.   name: ingress-nginx
6.   labels:
7.     app.kubernetes.io/name: ingress-nginx
8.     app.kubernetes.io/instance: ingress-nginx
10. ---
11. # Source: ingress-nginx/templates/controller-serviceaccount.yaml
12. apiVersion: v1
13. kind: ServiceAccount
14. metadata:
15.   labels:
16.     helm.sh/chart: ingress-nginx-4.0.1
17.     app.kubernetes.io/name: ingress-nginx
18.     app.kubernetes.io/instance: ingress-nginx
19.     app.kubernetes.io/version: 1.0.0
20.     app.kubernetes.io/managed-by: Helm
21.     app.kubernetes.io/component: controller
22.   name: ingress-nginx
23.   namespace: ingress-nginx
24. automountServiceAccountToken: true
25. ---
26. # Source: ingress-nginx/templates/controller-configmap.yaml
27. apiVersion: v1
28. kind: ConfigMap
29. metadata:
30.   labels:
31.     helm.sh/chart: ingress-nginx-4.0.1
32.     app.kubernetes.io/name: ingress-nginx
33.     app.kubernetes.io/instance: ingress-nginx
34.     app.kubernetes.io/version: 1.0.0
35.     app.kubernetes.io/managed-by: Helm
36.     app.kubernetes.io/component: controller
37.   name: ingress-nginx-controller
38.   namespace: ingress-nginx
39. data:
40. ---
41. # Source: ingress-nginx/templates/clusterrole.yaml
42. apiVersion: rbac.authorization.k8s.io/v1
43. kind: ClusterRole
44. metadata:
45.   labels:
46.     helm.sh/chart: ingress-nginx-4.0.1
47.     app.kubernetes.io/name: ingress-nginx
48.     app.kubernetes.io/instance: ingress-nginx
49.     app.kubernetes.io/version: 1.0.0
50.     app.kubernetes.io/managed-by: Helm
51.   name: ingress-nginx
52. rules:
53.   - apiGroups:
54.       - ''
55.     resources:
56.       - configmaps
57.       - endpoints
58.       - nodes
59.       - pods
60.       - secrets
61.     verbs:
62.       - list
63.       - watch
64.   - apiGroups:
65.       - ''
66.     resources:
67.       - nodes
68.     verbs:
69.       - get
70.   - apiGroups:
71.       - ''
72.     resources:
73.       - services
74.     verbs:
75.       - get
76.       - list
77.       - watch
78.   - apiGroups:
79.       - networking.k8s.io
80.     resources:
81.       - ingresses
82.     verbs:
83.       - get
84.       - list
85.       - watch
86.   - apiGroups:
87.       - ''
88.     resources:
89.       - events
90.     verbs:
91.       - create
92.       - patch
93.   - apiGroups:
94.       - networking.k8s.io
95.     resources:
96.       - ingresses/status
97.     verbs:
98.       - update
99.   - apiGroups:
100.       - networking.k8s.io
101.     resources:
102.       - ingressclasses
103.     verbs:
104.       - get
105.       - list
106.       - watch
107. ---
108. # Source: ingress-nginx/templates/clusterrolebinding.yaml
109. apiVersion: rbac.authorization.k8s.io/v1
110. kind: ClusterRoleBinding
111. metadata:
112.   labels:
113.     helm.sh/chart: ingress-nginx-4.0.1
114.     app.kubernetes.io/name: ingress-nginx
115.     app.kubernetes.io/instance: ingress-nginx
116.     app.kubernetes.io/version: 1.0.0
117.     app.kubernetes.io/managed-by: Helm
118.   name: ingress-nginx
119. roleRef:
120.   apiGroup: rbac.authorization.k8s.io
121.   kind: ClusterRole
122.   name: ingress-nginx
123. subjects:
124.   - kind: ServiceAccount
125.     name: ingress-nginx
126.     namespace: ingress-nginx
127. ---
128. # Source: ingress-nginx/templates/controller-role.yaml
129. apiVersion: rbac.authorization.k8s.io/v1
130. kind: Role
131. metadata:
132.   labels:
133.     helm.sh/chart: ingress-nginx-4.0.1
134.     app.kubernetes.io/name: ingress-nginx
135.     app.kubernetes.io/instance: ingress-nginx
136.     app.kubernetes.io/version: 1.0.0
137.     app.kubernetes.io/managed-by: Helm
138.     app.kubernetes.io/component: controller
139.   name: ingress-nginx
140.   namespace: ingress-nginx
141. rules:
142.   - apiGroups:
143.       - ''
144.     resources:
145.       - namespaces
146.     verbs:
147.       - get
148.   - apiGroups:
149.       - ''
150.     resources:
151.       - configmaps
152.       - pods
153.       - secrets
154.       - endpoints
155.     verbs:
156.       - get
157.       - list
158.       - watch
159.   - apiGroups:
160.       - ''
161.     resources:
162.       - services
163.     verbs:
164.       - get
165.       - list
166.       - watch
167.   - apiGroups:
168.       - networking.k8s.io
169.     resources:
170.       - ingresses
171.     verbs:
172.       - get
173.       - list
174.       - watch
175.   - apiGroups:
176.       - networking.k8s.io
177.     resources:
178.       - ingresses/status
179.     verbs:
180.       - update
181.   - apiGroups:
182.       - networking.k8s.io
183.     resources:
184.       - ingressclasses
185.     verbs:
186.       - get
187.       - list
188.       - watch
189.   - apiGroups:
190.       - ''
191.     resources:
192.       - configmaps
193.     resourceNames:
194.       - ingress-controller-leader
195.     verbs:
196.       - get
197.       - update
198.   - apiGroups:
199.       - ''
200.     resources:
201.       - configmaps
202.     verbs:
203.       - create
204.   - apiGroups:
205.       - ''
206.     resources:
207.       - events
208.     verbs:
209.       - create
210.       - patch
211. ---
212. # Source: ingress-nginx/templates/controller-rolebinding.yaml
213. apiVersion: rbac.authorization.k8s.io/v1
214. kind: RoleBinding
215. metadata:
216.   labels:
217.     helm.sh/chart: ingress-nginx-4.0.1
218.     app.kubernetes.io/name: ingress-nginx
219.     app.kubernetes.io/instance: ingress-nginx
220.     app.kubernetes.io/version: 1.0.0
221.     app.kubernetes.io/managed-by: Helm
222.     app.kubernetes.io/component: controller
223.   name: ingress-nginx
224.   namespace: ingress-nginx
225. roleRef:
226.   apiGroup: rbac.authorization.k8s.io
227.   kind: Role
228.   name: ingress-nginx
229. subjects:
230.   - kind: ServiceAccount
231.     name: ingress-nginx
232.     namespace: ingress-nginx
233. ---
234. # Source: ingress-nginx/templates/controller-service-webhook.yaml
235. apiVersion: v1
236. kind: Service
237. metadata:
238.   labels:
239.     helm.sh/chart: ingress-nginx-4.0.1
240.     app.kubernetes.io/name: ingress-nginx
241.     app.kubernetes.io/instance: ingress-nginx
242.     app.kubernetes.io/version: 1.0.0
243.     app.kubernetes.io/managed-by: Helm
244.     app.kubernetes.io/component: controller
245.   name: ingress-nginx-controller-admission
246.   namespace: ingress-nginx
247. spec:
248.   type: ClusterIP
249.   ports:
250.     - name: https-webhook
251.       port: 443
252.       targetPort: webhook
253.       appProtocol: https
254.   selector:
255.     app.kubernetes.io/name: ingress-nginx
256.     app.kubernetes.io/instance: ingress-nginx
257.     app.kubernetes.io/component: controller
258. ---
259. # Source: ingress-nginx/templates/controller-service.yaml
260. apiVersion: v1
261. kind: Service
262. metadata:
263.   annotations:
264.   labels:
265.     helm.sh/chart: ingress-nginx-4.0.1
266.     app.kubernetes.io/name: ingress-nginx
267.     app.kubernetes.io/instance: ingress-nginx
268.     app.kubernetes.io/version: 1.0.0
269.     app.kubernetes.io/managed-by: Helm
270.     app.kubernetes.io/component: controller
271.   name: ingress-nginx-controller
272.   namespace: ingress-nginx
273. spec:
274.   type: NodePort
275.   ports:
276.     - name: http
277.       port: 80
278.       protocol: TCP
279.       targetPort: http
280.       appProtocol: http
281.     - name: https
282.       port: 443
283.       protocol: TCP
284.       targetPort: https
285.       appProtocol: https
286.   selector:
287.     app.kubernetes.io/name: ingress-nginx
288.     app.kubernetes.io/instance: ingress-nginx
289.     app.kubernetes.io/component: controller
290. ---
291. # Source: ingress-nginx/templates/controller-deployment.yaml
292. apiVersion: apps/v1
293. kind: Deployment
294. metadata:
295.   labels:
296.     helm.sh/chart: ingress-nginx-4.0.1
297.     app.kubernetes.io/name: ingress-nginx
298.     app.kubernetes.io/instance: ingress-nginx
299.     app.kubernetes.io/version: 1.0.0
300.     app.kubernetes.io/managed-by: Helm
301.     app.kubernetes.io/component: controller
302.   name: ingress-nginx-controller
303.   namespace: ingress-nginx
304. spec:
305.   selector:
306.     matchLabels:
307.       app.kubernetes.io/name: ingress-nginx
308.       app.kubernetes.io/instance: ingress-nginx
309.       app.kubernetes.io/component: controller
310.   revisionHistoryLimit: 10
311.   minReadySeconds: 0
312.   template:
313.     metadata:
314.       labels:
315.         app.kubernetes.io/name: ingress-nginx
316.         app.kubernetes.io/instance: ingress-nginx
317.         app.kubernetes.io/component: controller
318.     spec:
319.       dnsPolicy: ClusterFirst
320.       containers:
321.         - name: controller
322.           #image: k8s.gcr.io/ingress-nginx/controller:v1.0.0@sha256:0851b34f69f69352bf168e6ccf30e1e20714a264ab1ecd1933e4d8c0fc3215c6
323.           image: registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.0.0
324.           imagePullPolicy: IfNotPresent
325.           lifecycle:
326.             preStop:
327.               exec:
328.                 command:
329.                   - /wait-shutdown
330.           args:
331.             - /nginx-ingress-controller
332.             - --election-id=ingress-controller-leader
333.             - --controller-class=k8s.io/ingress-nginx
334.             - --configmap=$(POD_NAMESPACE)/ingress-nginx-controller
335.             - --validating-webhook=:8443
336.             - --validating-webhook-certificate=/usr/local/certificates/cert
337.             - --validating-webhook-key=/usr/local/certificates/key
338.           securityContext:
339.             capabilities:
340.               drop:
341.                 - ALL
342.               add:
343.                 - NET_BIND_SERVICE
344.             runAsUser: 101
345.             allowPrivilegeEscalation: true
346.           env:
347.             - name: POD_NAME
348.               valueFrom:
349.                 fieldRef:
350.                   fieldPath: metadata.name
351.             - name: POD_NAMESPACE
352.               valueFrom:
353.                 fieldRef:
354.                   fieldPath: metadata.namespace
355.             - name: LD_PRELOAD
356.               value: /usr/local/lib/libmimalloc.so
357.           livenessProbe:
358.             failureThreshold: 5
359.             httpGet:
360.               path: /healthz
361.               port: 10254
362.               scheme: HTTP
363.             initialDelaySeconds: 10
364.             periodSeconds: 10
365.             successThreshold: 1
366.             timeoutSeconds: 1
367.           readinessProbe:
368.             failureThreshold: 3
369.             httpGet:
370.               path: /healthz
371.               port: 10254
372.               scheme: HTTP
373.             initialDelaySeconds: 10
374.             periodSeconds: 10
375.             successThreshold: 1
376.             timeoutSeconds: 1
377.           ports:
378.             - name: http
379.               containerPort: 80
380.               protocol: TCP
381.             - name: https
382.               containerPort: 443
383.               protocol: TCP
384.             - name: webhook
385.               containerPort: 8443
386.               protocol: TCP
387.           volumeMounts:
388.             - name: webhook-cert
389.               mountPath: /usr/local/certificates/
390.               readOnly: true
391.           resources:
392.             requests:
393.               cpu: 100m
394.               memory: 90Mi
395.       nodeSelector:
396.         kubernetes.io/os: linux
397.       serviceAccountName: ingress-nginx
398.       terminationGracePeriodSeconds: 300
399.       volumes:
400.         - name: webhook-cert
401.           secret:
402.             secretName: ingress-nginx-admission
403. ---
404. # Source: ingress-nginx/templates/controller-ingressclass.yaml
405. # We don't support namespaced ingressClass yet
406. # So a ClusterRole and a ClusterRoleBinding is required
407. apiVersion: networking.k8s.io/v1
408. kind: IngressClass
409. metadata:
410.   labels:
411.     helm.sh/chart: ingress-nginx-4.0.1
412.     app.kubernetes.io/name: ingress-nginx
413.     app.kubernetes.io/instance: ingress-nginx
414.     app.kubernetes.io/version: 1.0.0
415.     app.kubernetes.io/managed-by: Helm
416.     app.kubernetes.io/component: controller
417.   name: nginx
418.   namespace: ingress-nginx
419. spec:
420.   controller: k8s.io/ingress-nginx
421. ---
422. # Source: ingress-nginx/templates/admission-webhooks/validating-webhook.yaml
423. # before changing this value, check the required kubernetes version
424. # https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites
425. apiVersion: admissionregistration.k8s.io/v1
426. kind: ValidatingWebhookConfiguration
427. metadata:
428.   labels:
429.     helm.sh/chart: ingress-nginx-4.0.1
430.     app.kubernetes.io/name: ingress-nginx
431.     app.kubernetes.io/instance: ingress-nginx
432.     app.kubernetes.io/version: 1.0.0
433.     app.kubernetes.io/managed-by: Helm
434.     app.kubernetes.io/component: admission-webhook
435.   name: ingress-nginx-admission
436. webhooks:
437.   - name: validate.nginx.ingress.kubernetes.io
438.     matchPolicy: Equivalent
439.     rules:
440.       - apiGroups:
441.           - networking.k8s.io
442.         apiVersions:
443.           - v1
444.         operations:
445.           - CREATE
446.           - UPDATE
447.         resources:
448.           - ingresses
449.     failurePolicy: Fail
450.     sideEffects: None
451.     admissionReviewVersions:
452.       - v1
453.     clientConfig:
454.       service:
455.         namespace: ingress-nginx
456.         name: ingress-nginx-controller-admission
457.         path: /networking/v1/ingresses
458. ---
459. # Source: ingress-nginx/templates/admission-webhooks/job-patch/serviceaccount.yaml
460. apiVersion: v1
461. kind: ServiceAccount
462. metadata:
463.   name: ingress-nginx-admission
464.   namespace: ingress-nginx
465.   annotations:
466.     helm.sh/hook: pre-install,pre-upgrade,post-install,post-upgrade
467.     helm.sh/hook-delete-policy: before-hook-creation,hook-succeeded
468.   labels:
469.     helm.sh/chart: ingress-nginx-4.0.1
470.     app.kubernetes.io/name: ingress-nginx
471.     app.kubernetes.io/instance: ingress-nginx
472.     app.kubernetes.io/version: 1.0.0
473.     app.kubernetes.io/managed-by: Helm
474.     app.kubernetes.io/component: admission-webhook
475. ---
476. # Source: ingress-nginx/templates/admission-webhooks/job-patch/clusterrole.yaml
477. apiVersion: rbac.authorization.k8s.io/v1
478. kind: ClusterRole
479. metadata:
480.   name: ingress-nginx-admission
481.   annotations:
482.     helm.sh/hook: pre-install,pre-upgrade,post-install,post-upgrade
483.     helm.sh/hook-delete-policy: before-hook-creation,hook-succeeded
484.   labels:
485.     helm.sh/chart: ingress-nginx-4.0.1
486.     app.kubernetes.io/name: ingress-nginx
487.     app.kubernetes.io/instance: ingress-nginx
488.     app.kubernetes.io/version: 1.0.0
489.     app.kubernetes.io/managed-by: Helm
490.     app.kubernetes.io/component: admission-webhook
491. rules:
492.   - apiGroups:
493.       - admissionregistration.k8s.io
494.     resources:
495.       - validatingwebhookconfigurations
496.     verbs:
497.       - get
498.       - update
499. ---
500. # Source: ingress-nginx/templates/admission-webhooks/job-patch/clusterrolebinding.yaml
501. apiVersion: rbac.authorization.k8s.io/v1
502. kind: ClusterRoleBinding
503. metadata:
504.   name: ingress-nginx-admission
505.   annotations:
506.     helm.sh/hook: pre-install,pre-upgrade,post-install,post-upgrade
507.     helm.sh/hook-delete-policy: before-hook-creation,hook-succeeded
508.   labels:
509.     helm.sh/chart: ingress-nginx-4.0.1
510.     app.kubernetes.io/name: ingress-nginx
511.     app.kubernetes.io/instance: ingress-nginx
512.     app.kubernetes.io/version: 1.0.0
513.     app.kubernetes.io/managed-by: Helm
514.     app.kubernetes.io/component: admission-webhook
515. roleRef:
516.   apiGroup: rbac.authorization.k8s.io
517.   kind: ClusterRole
518.   name: ingress-nginx-admission
519. subjects:
520.   - kind: ServiceAccount
521.     name: ingress-nginx-admission
522.     namespace: ingress-nginx
523. ---
524. # Source: ingress-nginx/templates/admission-webhooks/job-patch/role.yaml
525. apiVersion: rbac.authorization.k8s.io/v1
526. kind: Role
527. metadata:
528.   name: ingress-nginx-admission
529.   namespace: ingress-nginx
530.   annotations:
531.     helm.sh/hook: pre-install,pre-upgrade,post-install,post-upgrade
532.     helm.sh/hook-delete-policy: before-hook-creation,hook-succeeded
533.   labels:
534.     helm.sh/chart: ingress-nginx-4.0.1
535.     app.kubernetes.io/name: ingress-nginx
536.     app.kubernetes.io/instance: ingress-nginx
537.     app.kubernetes.io/version: 1.0.0
538.     app.kubernetes.io/managed-by: Helm
539.     app.kubernetes.io/component: admission-webhook
540. rules:
541.   - apiGroups:
542.       - ''
543.     resources:
544.       - secrets
545.     verbs:
546.       - get
547.       - create
548. ---
549. # Source: ingress-nginx/templates/admission-webhooks/job-patch/rolebinding.yaml
550. apiVersion: rbac.authorization.k8s.io/v1
551. kind: RoleBinding
552. metadata:
553.   name: ingress-nginx-admission
554.   namespace: ingress-nginx
555.   annotations:
556.     helm.sh/hook: pre-install,pre-upgrade,post-install,post-upgrade
557.     helm.sh/hook-delete-policy: before-hook-creation,hook-succeeded
558.   labels:
559.     helm.sh/chart: ingress-nginx-4.0.1
560.     app.kubernetes.io/name: ingress-nginx
561.     app.kubernetes.io/instance: ingress-nginx
562.     app.kubernetes.io/version: 1.0.0
563.     app.kubernetes.io/managed-by: Helm
564.     app.kubernetes.io/component: admission-webhook
565. roleRef:
566.   apiGroup: rbac.authorization.k8s.io
567.   kind: Role
568.   name: ingress-nginx-admission
569. subjects:
570.   - kind: ServiceAccount
571.     name: ingress-nginx-admission
572.     namespace: ingress-nginx
573. ---
574. # Source: ingress-nginx/templates/admission-webhooks/job-patch/job-createSecret.yaml
575. apiVersion: batch/v1
576. kind: Job
577. metadata:
578.   name: ingress-nginx-admission-create
579.   namespace: ingress-nginx
580.   annotations:
581.     helm.sh/hook: pre-install,pre-upgrade
582.     helm.sh/hook-delete-policy: before-hook-creation,hook-succeeded
583.   labels:
584.     helm.sh/chart: ingress-nginx-4.0.1
585.     app.kubernetes.io/name: ingress-nginx
586.     app.kubernetes.io/instance: ingress-nginx
587.     app.kubernetes.io/version: 1.0.0
588.     app.kubernetes.io/managed-by: Helm
589.     app.kubernetes.io/component: admission-webhook
590. spec:
591.   template:
592.     metadata:
593.       name: ingress-nginx-admission-create
594.       labels:
595.         helm.sh/chart: ingress-nginx-4.0.1
596.         app.kubernetes.io/name: ingress-nginx
597.         app.kubernetes.io/instance: ingress-nginx
598.         app.kubernetes.io/version: 1.0.0
599.         app.kubernetes.io/managed-by: Helm
600.         app.kubernetes.io/component: admission-webhook
601.     spec:
602.       containers:
603.         - name: create
604.           #image: k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.0@sha256:f3b6b39a6062328c095337b4cadcefd1612348fdd5190b1dcbcb9b9e90bd8068
605.           image: registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.0
606.           imagePullPolicy: IfNotPresent
607.           args:
608.             - create
609.             - --host=ingress-nginx-controller-admission,ingress-nginx-controller-admission.$(POD_NAMESPACE).svc
610.             - --namespace=$(POD_NAMESPACE)
611.             - --secret-name=ingress-nginx-admission
612.           env:
613.             - name: POD_NAMESPACE
614.               valueFrom:
615.                 fieldRef:
616.                   fieldPath: metadata.namespace
617.       restartPolicy: OnFailure
618.       serviceAccountName: ingress-nginx-admission
619.       nodeSelector:
620.         kubernetes.io/os: linux
621.       securityContext:
622.         runAsNonRoot: true
623.         runAsUser: 2000
624. ---
625. # Source: ingress-nginx/templates/admission-webhooks/job-patch/job-patchWebhook.yaml
626. apiVersion: batch/v1
627. kind: Job
628. metadata:
629.   name: ingress-nginx-admission-patch
630.   namespace: ingress-nginx
631.   annotations:
632.     helm.sh/hook: post-install,post-upgrade
633.     helm.sh/hook-delete-policy: before-hook-creation,hook-succeeded
634.   labels:
635.     helm.sh/chart: ingress-nginx-4.0.1
636.     app.kubernetes.io/name: ingress-nginx
637.     app.kubernetes.io/instance: ingress-nginx
638.     app.kubernetes.io/version: 1.0.0
639.     app.kubernetes.io/managed-by: Helm
640.     app.kubernetes.io/component: admission-webhook
641. spec:
642.   template:
643.     metadata:
644.       name: ingress-nginx-admission-patch
645.       labels:
646.         helm.sh/chart: ingress-nginx-4.0.1
647.         app.kubernetes.io/name: ingress-nginx
648.         app.kubernetes.io/instance: ingress-nginx
649.         app.kubernetes.io/version: 1.0.0
650.         app.kubernetes.io/managed-by: Helm
651.         app.kubernetes.io/component: admission-webhook
652.     spec:
653.       containers:
654.         - name: patch
655.           #image: k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.0@sha256:f3b6b39a6062328c095337b4cadcefd1612348fdd5190b1dcbcb9b9e90bd8068
656.           image: registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.0
657.           imagePullPolicy: IfNotPresent
658.           args:
659.             - patch
660.             - --webhook-name=ingress-nginx-admission
661.             - --namespace=$(POD_NAMESPACE)
662.             - --patch-mutating=false
663.             - --secret-name=ingress-nginx-admission
664.             - --patch-failure-policy=Fail
665.           env:
666.             - name: POD_NAMESPACE
667.               valueFrom:
668.                 fieldRef:
669.                   fieldPath: metadata.namespace
670.       restartPolicy: OnFailure
671.       serviceAccountName: ingress-nginx-admission
672.       nodeSelector:
673.         kubernetes.io/os: linux
674.       securityContext:
675.         runAsNonRoot: true
676.         runAsUser: 2000

复制代码

6、编写ingress的yaml文件，把NodePort调整成ClusterIP

1. [root@Master231 ~]# cat 03-ingress.yaml
2. apiVersion: networking.k8s.io/v1
3. kind: Ingress
4. metadata:
5.   name: ingress-zrlog
6.   namespace: zrlog
7.   annotations:
8.     nginx.ingress.kubernetes.io/rewrite-target: /
9. spec:
10.   ingressClassName: nginx
11.   rules:
12.   - host: zrlog.koten.vip
13.     http:
14.       paths:
15.       - path: /
16.         pathType: Prefix
17.         backend:
18.           service:
19.             name: service-zrlog
20.             port:
21.               number: 8080
23. [root@Master231 ~]# cat 01-zrlog-deployment-service.yaml
24. ...
26. apiVersion: v1
27. kind: Service
28. metadata:
29.   name: service-zrlog
30.   namespace: zrlog
31. spec:
32.   type: ClusterIP
33.   selector:
34.     apps: zrlog
35.   ports:
36.   - port: 8080
37.     targetPort: 8080
39. [root@Master231 ~]# kubectl apply -f 03-ingress.yaml
40. [root@Master231 ~]# kubectl get ingress -A
41. NAMESPACE   NAME            CLASS   HOSTS             ADDRESS      PORTS   AGE
42. zrlog       ingress-zrlog   nginx   zrlog.koten.vip   10.0.0.233   80      38m
44. [root@Master231 ~]# kubectl apply -f 01-zrlog-deployment-service.yaml

复制代码

7、通过域名访问，新增电脑的hosts上剖析（C:\Windows\System32\drivers\etc下的hosts文件）

1. 10.0.0.231 zrlog.koten.vip

复制代码

端口用ingress的nodeport袒暴露来的端口，也可以在部署ingress-nginx的时间去改，改成指定nodePort为80

1. [root@Master231 ~]# kubectl get svc -n ingress-nginx
2. NAME                                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                     AGE
3. ingress-nginx-controller             NodePort    10.200.199.140   <none>        80:9431/TCP,443:12175/TCP   23m
4. ingress-nginx-controller-admission   ClusterIP   10.200.113.50    <none>        443/TCP                     23m

复制代码

此时没有证书我们用https访问是不可行的
8、在ingress上加上证书

1. # 创建证书
2. [root@Master231 ~]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout zrlog_tls.key -out zrlog_tls.crt -subj "/CN=zrlog.koten.vip/O=zrlog.koten.vip"
4. # 将证书写入secret
5. [root@Master231 ~]# kubectl create secret tls zrlog-tls-secret --cert=/root/zrlog_tls.crt --key=/root/zrlog_tls.key -n zrlog
7. # 把刚刚编写http的ingress的yaml改成https的ingress的yaml
8. [root@Master231 ~]# cat 04-ingress-https.yaml
9. apiVersion: networking.k8s.io/v1
10. kind: Ingress
11. metadata:
12.   name: ingress-zrlog-https
13.   namespace: zrlog
14.   annotations:
15.     nginx.ingress.kubernetes.io/rewrite-target: /
16. spec:
17.   ingressClassName: nginx
18.   tls:
19.   - hosts:
20.     - zrlog.koten.vip
21.     secretName: zrlog-tls-secret
22.   rules:
23.   - host: zrlog.koten.vip
24.     http:
25.       paths:
26.       - path: /
27.         pathType: Prefix
28.         backend:
29.           service:
30.             name: service-zrlog
31.             port:
32.               number: 8080
34. [root@Master231 ~]# kubectl apply -f 03-ingress.yaml
35. [root@Master231 ~]# kubectl get ingress -A
36. NAMESPACE   NAME            CLASS   HOSTS             ADDRESS      PORTS     AGE
37. zrlog       ingress-zrlog   nginx   zrlog.koten.vip   10.0.0.233   80, 443   39m

复制代码

按原理我们到这里就可以用域名加ingress-nginx袒暴露来的外网端口可以访问了，但是这个项目比较特别，访问的时间有重定向操作。
访问 https://zrlog.koten.vip:12175 会自动重定向到 https://zrlog.koten.vip/install 但是80端口又无法直接访问，以是我们还是把ingress-nginx的nodeport袒露的端口改成80和443

1. [root@Master231 ~]# cat 02-ingress-nginx.yaml
2. ...
3. 277       nodePort: 80
4. ...
5. 283       nodePort: 443
6. ...
8. # 注意提前更改端口可用范围
9. [root@Master231 ~]# kubectl apply -f 02-ingress-nginx.yaml

复制代码

此时可以乐成访问了，生产环境每每也让ingress-nginx的nodeport袒暴露指定的端口，不愿定是80和443，但是基本上是固定不变的，前面还用云服务负载均衡做轮询，给服务提供一个访问的入口

后续还可以把数据库弄到pod上，一个小项目就这么被拆分成微服务，上k8s了
三、题目菜单

写这篇文章的时间遇到了个题目，svc用了nodeport，按理说我通过我任意一个节点的ip加袒露的端口，都可以访问到服务，我浏览器访问的时间只能用pod所在的节点IP加端口访问到，而不是所有ip，我的kube-proxy是正常的，试了iptables和ipvs都不行，清理了iptables规则，都不行。
我在服务器上curl pod所在的节点加端口，好比我3个pod，2个在2节点，1个在3节点。我curl2节点的时间就是curl3次通2次，curl1节点就是curl3次通1次，不知道为啥这么轮询，在浏览器访问的话2，3节点都是无感知的。1节点因为没有pod调度就是咋都通不了。
末了是重装了flannel解决了该题目。

---

我是koten，10年运维经验，持续分享运维干货，感谢各人的阅读和关注！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。