kubelet 从错误的配置文件中读取？答案

【问题标题】：kubelet reading from wrong config file?kubelet 从错误的配置文件中读取？
【发布时间】：2023-03-30 02:35:01
【问题描述】：

当我运行kubelet version 时，我收到一条以以下结尾的错误消息：

error: failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"

但是当我检查位于/etc/systemd/system/kubelet.service.d/10-kubeadm.conf 的配置文件时，我看到值是 systemd。我已经更改了值并在每次更改之间进行了systemctl daemon-reload 和systemctl restart kubelet，并且错误消息始终相同。

我猜它一定是从错误的配置文件中读取的，但是我怎样才能找到它从哪里读取！

【问题讨论】：

kubelet 版本是什么？
以及来自systemctl cat kubelet.service 的输出（因为它可能会引入另一个插件）？另外，不要忽视 kubelet --v=100 的价值，以显示准确发生了什么

标签： kubernetes kubeadm kubelet

【解决方案1】：

试试这个：

kubelet  --cgroup-driver=systemd version

“docker”包 (1.13.1) 已经将“systemd”作为默认 cgroup-driver，参见 this。

文件驱动是systemd默认改成cgroupfs，而我们安装的docker文件驱动是systemd不一致导致镜像启动失败。

     docker info 

...
     Cgroup Driver: systemd

现在有两种方式，一种是修改docker，另一种是修改kubelet，

修改泊坞窗：# 修改或创建/etc/docker/daemon.json并添加以下内容：

{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

重启泊坞窗：

systemctl restart docker
systemctl status docker

修改 kubelet：#

vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

# Note: This dropin only works with kubeadm and kubelet v1.11+
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

将以下内容--cgroup-driver=systemd 添加到$KUBELET_EXTRA_ARGS。

或者：

$ DOCKER_CGROUPS=$(docker info | grep 'Cgroup' | cut -d' ' -f3)
$ echo $DOCKER_CGROUPS

$ cat >/etc/sysconfig/kubelet<<EOF
KUBELET_CGROUP_ARGS="--cgroup-driver=$DOCKER_CGROUPS"
EOF

#restart
$ systemctl daemon-reload
$ systemctl enable kubelet && systemctl restart kubelet

或者：

DOCKER_CGROUPS=$(docker info | grep 'Cgroup' | cut -d' ' -f3)
echo $DOCKER_CGROUPS
cat >/etc/sysconfig/kubelet<<EOF
KUBELET_EXTRA_ARGS="--cgroup-driver=$DOCKER_CGROUPS"
EOF

# restart
$ systemctl daemon-reload
$ systemctl enable kubelet && systemctl restart kubelet

【讨论】：