Kubernetes pod 获得不同的 CPU 限制

Question

我们在 Kubernetes 集群中有多个使用 Apache Ignite 的应用程序。 Ignite 创建了各种大小如下的线程池：

Math.max(8, Runtime.getRuntime().availableProcessors())

所以基本上线程池的大小总是至少为 8，但如果系统认为有更多处理器，则可能更多。

我们遇到的问题是，一些 pod 使用 8 大小的池进行旋转，而其他 pod 使用 36 大小，这是节点上的 CPU 数量。

我们使用 Helm 部署所有应用，但我们不为任何 pod 设置任何 CPU 限制。理论上，它们都应该看到相同数量的可用 CPU。

还有什么可能导致同一节点上的 pod 看到有多少可用处理器的不同视图？

更新

我们在所有应用程序中都有一个运行状况端点，它使用与 Ignite 相同的 Runtime#availableProcessors() 方法显示 JVM 报告的 CPU 数量。

我们所有的应用程序，包括 Ignite 认为有 36 个 CPU 的应用程序，在进程启动后都会报告 2 个处理器。

我在该方法的 Java 文档中发现了以下有趣的一行：

此值可能会在虚拟机的特定调用期间发生变化。因此，对可用处理器数量敏感的应用程序应偶尔轮询此属性并适当调整其资源使用情况。

似乎我们处于竞争状态，在应用程序启动的早期，该值报告为 36，但在某些时候下降到 2。根据 Ignite bean 的触发时间，它们会看到 36 或 2。

Answer 1

tl;dr 根本问题似乎是resources.requests.cpu 被精确设置为1000m。

我编写了一个简单的 Java 应用程序，它转储了可用的处理器数量：

public class CpuTest {
    public static void main(String[] args) {
        System.out.println("Number of CPUs = "
                            + Runtime.getRuntime().availableProcessors());   
    }
}

我打包成一个 Dockerfile 并创建了一个简单的部署：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: cputest
  labels:
    app: cputest
spec:
  replicas: 1
  selector:
    matchLabels:
      app: cputest
  template:
    metadata:
      labels:
        app: cputest
    spec:
      containers:
      - name: cputest
        image: dev/cputest:latest
        imagePullPolicy: Never

我在我的本地 RedHat 7 机器上运行了这个，它有 24 个内核。预期的输出：

Number of CPUs = 24

然后我将各种 CPU 资源请求应用于部署：

        resources:
          requests:
            cpu: 1000m

并重新部署。结果很有趣：

• CPU 请求设置为 500m：应用报告 1 个 CPU
• CPU 请求设置为 1000m：应用报告 24 CPU
• CPU 请求设置为 1001m：应用报告 2 个 CPU
• CPU 请求设置为 2000m：应用报告 2 个 CPU
• CPU 请求设置为 4000m：应用报告 4 个 CPU

因此，仅当 CPU 请求设置为 1000m 时才会出现问题（也尝试了 1 并得到相同的结果，它认为它拥有所有 24 个 CPU）。

我回去查看了我们所有的应用程序。果然，我们将 CPU 请求完全设置为 1000m 的那些是有问题的。任何其他值都按预期工作。

最有趣的是，当我还将 CPU 限制设置为 1000m 时，问题就消失了，JVM 报告了 1 个 CPU。

这很可能是意料之中的，我不完全了解 Kubernetes 是如何使用 CPU 资源和限制的，或者可能是我们使用的版本 (1.12.7) 存在问题。

不管怎样，我至少知道为什么我们的一些 pod 看到不同的 CPU。

Answer 2

确实很奇怪。它们在同一个命名空间中吗？有没有quota或者Limit range的舵图或者你设置的？

另外，你能通过运行kubectl get nodes -o custom-columns='NAME:metadata.name,CPU:status.capacity.cpu' 来验证cpu 的限制吗？