如何更改 Azure Kubernetes 中的 Linux 内核参数？

Question

我有一个带有 4 个节点（Linux 机器）的 Azure Kubernetes 集群。我使用 yaml 清单配置了 AKS 集群。我想更新以下内核参数：net.ipv4.tcp_fin_timeout=30, net.ipv4.ip_local_port_range=1024 65500。yaml 清单如下。如何更新 yaml 以包含我必须更改的内核参数？

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  name: jmeter-slaves
  labels:
    jmeter_mode: slave
spec:
  replicas: 1
  selector:
    matchLabels:
      jmeter_mode: slave
  template:
    metadata:
      labels:
        jmeter_mode: slave
    spec:
      securityContext:
        sysctls:
        - name: net.ipv4.ip_local_port_range
          value: "1024 65500"
      containers:
      - name: jmslave
        image: prabhaharanv/jmeter-slave:latest
        command: ["/jmeter/apache-jmeter-$(JMETERVERSION)/bin/jmeter-server"]
        args: ["-Dserver.rmi.ssl.keystore.file /jmeter/apache-jmeter-$(JMETERVERSION)/bin/rmi_keystore.jks","-Djava.rmi.server.hostname=$(MY_POD_IP)", "-Dserver.rmi.localport=50000", "-Dserver_port=1099"]
        resources:
          limits:
            cpu: "1"
          requests:
            cpu: "0.5"
        imagePullPolicy: Always
        ports:
        - containerPort: 1099
        - containerPort: 50000
        env:
          - name: MY_POD_IP
            valueFrom:
              fieldRef:
                fieldPath: status.podIP
          - name: JMETERVERSION
            value: "5.1.1"

---

apiVersion: v1
kind: Service
metadata:
  name: jmeter-slaves-svc
  labels:
    jmeter_mode: slave
spec:
  clusterIP: None
  ports:
    - port: 1099
      name: first
      targetPort: 1099
    - port: 50000
      name: second
      targetPort: 50000
  selector:
    jmeter_mode: slave

---

Answer 1

查看this 官方 kubernetes 文档部分。在您的Pod 中包含设置上述内核参数 或使用不同术语 - sysctls 所需的所有信息。

请注意，有所谓的 safe 和 unsafe sysctl。

至于设置net.ipv4.ip_local_port_range=1024 65500，它被认为是安全的，您可以使用securityContext 为您的Pod 设置它，如下所示，无需重新配置kubelet 在您的节点上：

apiVersion: v1
kind: Pod
metadata:
  name: sysctl-example
spec:
  securityContext:
    sysctls:
    - name: net.ipv4.ip_local_port_range
      value: "1024 65500"
    - name: net.ipv4.tcp_fin_timeout
      value: "30"
  ...

但是，如果您也尝试以这种方式设置net.ipv4.tcp_fin_timeout，您会看到很多尝试创建Pod 状态为SysctlForbidden 的失败尝试：

kubectl get pods
...
nginx-deployment-668d699fd8-zlvdm   0/1     SysctlForbidden   0          31s
nginx-deployment-668d699fd8-ztzpr   0/1     SysctlForbidden   0          58s
nginx-deployment-668d699fd8-zx4vq   0/1     SysctlForbidden   0          24s
...

这是因为 net.ipv4.tcp_fin_timeout 是一个不安全的 sysctl，需要通过重新配置您的 kubelet 在节点级别明确允许它。

要允许它，您需要编辑您的 kubelet 配置，特别是在已经启动的配置中再添加一个选项。您通常会在文件 /etc/default/kubelet 中找到这些选项。您只需要再添加一个：

--allowed-unsafe-sysctls 'net.ipv4.tcp_fin_timeout'

并重新启动您的 kubelet：

systemctl restart kubelet.service

一旦在节点级别允许net.ipv4.tcp_fin_timeout，您就可以像任何安全的sysctls一样设置它，即通过securityContext 在您的Pod 规范中设置。