ToB企服应用市场:ToB评测及商务社交产业平台

标题: Kubernetes 中必备的 10 个告警处置方法 [打印本页]

作者: 怀念夏天    时间: 2024-8-13 14:30
标题: Kubernetes 中必备的 10 个告警处置方法
本文翻译自:https://sematext.com/blog/top-10-must-have-alerts-for-kubernetes/
运行 Kubernetes 集群,显然不止是启动,还必要持续监控,以确保 Kubernetes 中的服务能正常运行。
不外,您不想整天盯着一堆 Kubernetes 仪表板(即便仪表板再多么美观)。您希望使用得当的警报来设置 Kubernetes 警报,对吗?
借助 k8s 警报,您将快速发现 Kubernetes 集群中的问题,并希望也能快速修复它们。那么问题来了,最应该关注的警报有哪些?
1. 过高的 CPU 使用率

为什么这很紧张
当 Kubernetes Pod 超出其 CPU 限定时,将触发此警报,表明大概存在资源争用或资源分配效率低下。假如 CPU 限定不断达到,则大概导致应用程序相应时间变慢和潜在的服务中断。简而言之,你不希望看到这种环境发生。
行动
调查受影响的 Pod,并考虑调解资源限定或优化应用程序。
使用以下命令查抄受影响 Pod 的 CPU 使用率:
  1. kubectl top pod <pod_name> -n <namespace>
复制代码
要调解 pod 的资源限定,请编辑其 YAML 配置文件:
  1. kubectl edit pod <pod_name> -n <namespace>
复制代码
在 YAML 文件中,修改“resources”部分以调解 CPU 限定:
  1. resources:
  2.   limits:
  3.     cpu: <new_cpu_limit>
复制代码
替换为所需的 CPU 限定值。
2. 已达到 CPU 使用限定

为什么这很紧张
与上一个警报类似,当 Pod 达到其 CPU 限定时,此警报会发出关照。
行动
分析工作负载的资源需求和扩展要求,以防止性能降落。
运行以下命令以获取与受影响的 Pod 关联的工作负载的 CPU 使用率指标:
  1. kubectl top pod --selector=<selector> -n <namespace>
复制代码
替换为工作负载的得当标签选择器,例如 app=,以聚合属于工作负载的所有 Pod 的 CPU 使用环境。
3. Kubelet 卷管理器不可用

为什么这很紧张
kubelet 卷管理器故障大概会影响 pod 存储,从而大概导致数据丢失。不可用的卷管理器大概会制止挂载 Pod 卷,从而影响依赖于持久存储的应用程序。
行动
调查 kubelet 服务和底层存储基础设施是否存在问题,并在必要时重新启动受影响的组件。
运行以下命令以查抄 kubelet 服务的状态:
  1. kubectl get pods -n kube-system | grep kubelet
复制代码
查抄 kubelet pod 的日志,以识别与卷管理器相干的任何错误或警告:
  1. kubectl logs <kubelet_pod_name> -n kube-system
复制代码
查抄存储卷和网络连接的状态:
  1. kubectl get pv,pvc -n <namespace>
复制代码
确生存储卷已正确连接并由 kubelet 服务访问。
如有必要,请重新启动 kubelet 服务和任何相干组件。此命令强制 Kubernetes 重新创建 kubelet pod,希望能办理卷管理器的任何问题。
  1. kubectl delete pod <kubelet_pod_name> -n kube-system
复制代码
4. Kubernetes API 服务器错误

为什么这很紧张
监视来自 Kubernetes API 服务器的客户端错误 (4XX) 和服务器错误 (5XX),这大概表示通信问题或内部服务器问题。
行动
查抄网络连接和 API 服务器日志,以识别并办理根本问题。
验证 Kubernetes API 服务器的状态:
  1. kubectl get pods -n kube-system | grep kube-apiserver
复制代码
查抄日志中是否存在与 API 服务器相干的错误或警告:
  1. kubectl logs <kubelet_pod_name> -n kube-system
复制代码
查抄与 API 服务器的网络连接:
  1. kubectl cluster-info
复制代码
5. Node Under Pressure

为什么这很紧张
当 Kubernetes 节点遇到资源压力时发出警报,这大概会影响 Pod 调度和性能。
行动
监视 Kubernetes 节点上的资源,以确定承受压力的部分:
  1. kubectl describe node <node_name>
复制代码
查找大概表明资源压力过高的 CPU、内存或磁盘使用率。
查看节点上运行的工作负载,以识别资源密集的应用程序或容器:
  1. kubectl get pods --all-namespaces -o wide
复制代码
假如资源压力持续存在,请考虑扩展 CPU、内存或存储等资源:
  1. kubectl scale node <node_name> --cpu=<new_cpu_capacity> --memory=<new_memory_capacity>
复制代码
根据工作负载要求和可用节点容量调解资源限定。
将工作负载分布在多个节点上,以缓解资源压力:
  1. kubectl drain <node_name> --ignore-daemonsets
复制代码
6. 非常节点 CPU/内存 容量

为什么这很紧张
检测 Kubernetes 节点何时使用比平常更多的 CPU 或内存,这大概意味着它们耗尽了资源或无法有用工作。
行动
查抄资源的使用方式随时间推移,并在必要时更改节点容量或工作负载的分配方式。
监控 Kubernetes 节点上的 CPU 和内存使用环境:
  1. kubectl top nodes
复制代码
查看一段时间内的资源使用趋势,以识别 CPU 和内存使用率的非常或峰值。
假如节点持续超出 CPU 或内存限定,请考虑纵向扩展节点容量:
  1. kubectl scale node <node_name> --cpu=<new_cpu_capacity> --memory=<new_memory_capacity>
复制代码
替换为受影响节点的名称、 所需的 CPU 容量和所需的内存容量。
7. 缺少 Deployments/StatefulSet 的 Pod 副本

为什么这很紧张
当由 Deployments 或 StatefulSet 控制的 Pod 丢失时发出关照 ,指示部署失败或 Pod 被驱逐。当缺少 Pod 时,这意味着应用程序的基本组件未按预期运行,这大概导致停机、性能不佳和数据丢失。 例如,假如您将集群配置为具有 Pod 的 2 个副本,而且缺少其中一个副本,则您实际上正在运行 Pod 的单个实例,而且具有 SPOF(single point of failure 单点故障)并存在容错问题。
行动
查抄 Deployment/Statefulset 配置和集群变乱,以诊断和办理部署问题。
查抄受影响的 Deployment 或 StatefulSet 的配置:
  1. kubectl describe deployment <deployment_name> -n <namespace>
复制代码
或:
  1. kubectl describe statefulset <statefulset_name> -n <namespace>
复制代码
查看所需的副本计数和当前副本计数,以确定是否存在任何差异。
查看集群变乱,以识别与丢失的 Pod 副本相干的任何变乱:
  1. kubectl get events -n <namespace>
复制代码
查找指示 Pod 逐出或部署失败的变乱。
8. Pod 状态问题

为什么这很紧张
查抄 Pod 状态对于发现应用程序错误、资源不敷或调度问题等问题非常紧张。例如,假如 Pod 停滞在“等待”状态,则大概表明由于缺少资源或配置问题而无法启动。
行动
分析 Pod 日志、变乱和配置,以排查和办理影响 Pod 稳定性和性能的根本问题。
查看 Pod 的日志以识别潜在的错误或问题:
  1. kubectl logs <pod_name> -n <namespace>
复制代码
查抄 Pod 变乱以相识影响 Pod 状态的近来更改或变乱:
  1. kubectl describe pod <pod_name> -n <namespace>
复制代码
查抄容器的配置以验证设置和资源分配:
  1. kubectl describe pod <pod_name> -n <namespace>
复制代码
9. Pod 重启和失败场景

为什么这很紧张
频仍的 Pod 重启、容器崩溃、镜像拉取失败或内存不敷 (OOM) 错误大概会影相应用程序的可靠性和用户体验,因此有用的 Kubernetes Pod 监控至关紧张。想象一下,一个关键的微服务反复遇到内存不敷错误。这大概会导致停机时间延长,从而大概导致收入损失和客户不满。没有人想要那样。
行动
假如 Pod 由于内存不敷而不断重启,请查看其日志以相识原因:
  1. kubectl logs <pod_name> -n <namespace>
复制代码
查找 Pod 重启或失败的模式,例如内存不敷错误、容器崩溃或镜像拉取失败。
假如 Pod 由于资源限定而重新启动,请考虑增加其资源限定:
  1. kubectl edit pod <pod_name> -n <namespace>
复制代码
10. ETCD leader 变革频仍或无 leader

为什么这很紧张

监控 ETCD 集群的运行状况,在频仍更换领导者或缺少领导者时发出警报,这大概会影响集群的同等性和弹性。频仍更换领导者或缺少领导者表明集群通信或稳定性大概存在问题。就像在爱情关系中一样,Kubernetes 集群中的精良沟通是其幸福的关键。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。




欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4