aibangjuxin
commented
3 weeks ago FailedGetResourceMetric 错误通常表示HPA无法获取到所需的资源指标（如CPU或内存使用情况）。这可能由多种原因引起，如Metrics Server问题、API权限问题、网络问题等。下面是排查和修复此问题的一些步骤：
排查步骤
-
检查Metrics Server是否正常运行 Metrics Server用于提供HPA所需的指标数据。首先检查Metrics Server的状态：
kubectl get deployment metrics-server -n kube-system kubectl get pods -n kube-system | grep metrics-server确保Metrics Server的Pod处于Running状态。
-
检查Metrics API是否工作正常 运行以下命令，确保Metrics API可以返回数据：
kubectl top nodes kubectl top pods -n <your-namespace>如果这些命令无法返回数据，说明Metrics Server有问题。
-
检查HPA配置 确保HPA配置正确，尤其是metrics部分。例如：
apiVersion: autoscaling/v2beta2 kind: HorizontalPodAutoscaler metadata: name: my-app namespace: my-namespace spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: my-app minReplicas: 1 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 80 -
检查HPA事件日志 查看HPA的事件日志，找出具体的错误信息：
kubectl describe hpa <hpa-name> -n <namespace>找到
FailedGetResourceMetric错误的具体原因。 -
检查权限问题 确保HPA具有足够的权限访问Metrics Server。检查RBAC配置：
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: system:metrics-server rules: - apiGroups: [""] resources: ["pods", "nodes"] verbs: ["get", "list", "watch"]
修复步骤
-
重新部署Metrics Server 如果Metrics Server有问题，可以尝试重新部署它。删除并重新应用Metrics Server的YAML文件，或者使用以下命令：
kubectl delete -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml -
检查和修复HPA配置 确保HPA的配置正确，并符合你的需求。如果需要修改HPA配置，可以使用以下命令：
kubectl edit hpa <hpa-name> -n <namespace> -
调整RBAC配置 如果权限不足，调整RBAC配置以确保HPA可以访问Metrics Server。可以创建或更新ClusterRole和ClusterRoleBinding：
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: metrics-server:system:auth-delegator roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: system:auth-delegator subjects: - kind: ServiceAccount name: metrics-server namespace: kube-system -
网络和防火墙检查 确保没有网络问题阻止HPA与Metrics Server的通信。检查集群内的网络配置和防火墙规则。
示例排查命令
# 检查Metrics Server状态
kubectl get deployment metrics-server -n kube-system
kubectl get pods -n kube-system | grep metrics-server
# 检查Metrics API是否工作正常
kubectl top nodes
kubectl top pods -n <your-namespace>
# 查看HPA事件日志
kubectl describe hpa <hpa-name> -n <namespace>
# 编辑HPA配置
kubectl edit hpa <hpa-name> -n <namespace>通过上述步骤，可以定位和解决FailedGetResourceMetric问题，确保HPA能够正常获取资源指标并执行相应的扩缩容操作。
学习下面这个文章https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/ 在 Kubernetes 中，Horizontal Pod Autoscaling（HPA）通过自动调整工作负载的 Pod 副本数量来匹配需求。其计算公式为： desiredReplicas = ceil[currentReplicas * ( currentMetricValue / desiredMetricValue )] 其中，ceil表示向上取整。
假设当前情况如下：
• currentReplicas为 2
• currentMetricValue = 90
• desiredMetricValue = 80
代入公式计算： desiredReplicas = ceil[2 (90 / 80)] = ceil[2 1.125] = ceil[2.25] = 3 同时，根据文档中的说明，控制平面在比率足够接近 1.0（在全局可配置的容差范围内，默认容差为 0.1）时会跳过任何缩放操作。在此例中，计算比率： ratio = currentMetricValue / desiredMetricValue = 90 / 80 = 1.125 1.125 与 1.0 的差异是 0.125，超过了默认的 0.1 容差。因此，控制平面很可能会执行缩放操作，将副本数从 2 增加到 3。首先帮我验证这个说法是否正确。 另外帮我输出更多的例子。 也就是我可能需要举更多的例子。
你的说法是正确的。根据你提供的情况和计算，Horizontal Pod Autoscaling (HPA) 控制平面会根据当前指标值（currentMetricValue）和期望指标值（desiredMetricValue）之间的比率来决定是否需要调整副本数。在这个例子中，计算得到的比率是 1.125，这超过了默认的 0.1 容差，因此 HPA 会触发缩放操作，将副本数增加到 3。
下面是一些额外的例子，展示了不同的 currentMetricValue 和 desiredMetricValue 的情况下，desiredReplicas 的计算结果：
示例 1：
示例 2：
示例 3：
示例 4：
示例 5：
在这些示例中，我们可以看到不同的比率如何影响副本数的调整。如果比率接近 1.0，并且差异在容差范围内，HPA 可能不会执行缩放操作。如果比率显著高于或低于 1.0，HPA 将相应地增加或减少副本数。