Kubernetes pod 中的磁盘使用情况答案

【问题标题】：Disk Usage in kubernetes podKubernetes pod 中的磁盘使用情况
【发布时间】：2020-01-11 10:46:56
【问题描述】：

我正在尝试调试我的 kubernetes pod 中的存储使用情况。我已经看到 pod 由于磁盘压力而被驱逐。当我登录到正在运行的 pod 时，请参阅以下内容

Filesystem      Size  Used Avail Use% Mounted on
overlay          30G   21G  8.8G  70% /
tmpfs            64M     0   64M   0% /dev
tmpfs            14G     0   14G   0% /sys/fs/cgroup
/dev/sda1        30G   21G  8.8G  70% /etc/hosts
shm              64M     0   64M   0% /dev/shm
tmpfs            14G   12K   14G   1% /run/secrets/kubernetes.io/serviceaccount
tmpfs            14G     0   14G   0% /proc/acpi
tmpfs            14G     0   14G   0% /proc/scsi
tmpfs            14G     0   14G   0% /sys/firmware
root@deploy-9f45856c7-wx9hj:/# du -sh /
du: cannot access '/proc/1142/task/1142/fd/3': No such file or directory
du: cannot access '/proc/1142/task/1142/fdinfo/3': No such file or directory
du: cannot access '/proc/1142/fd/4': No such file or directory
du: cannot access '/proc/1142/fdinfo/4': No such file or directory
227M    /
root@deploy-9f45856c7-wx9hj:/# du -sh /tmp
11M /tmp
root@deploy-9f45856c7-wx9hj:/# du -sh /dev
0   /dev
root@deploy-9f45856c7-wx9hj:/# du -sh /sys
0   /sys
root@deploy-9f45856c7-wx9hj:/# du -sh /etc
1.5M    /etc
root@deploy-9f45856c7-wx9hj:/#

我们可以看到消耗了 21G，但是当我尝试运行 du -sh 时，它只返回 227M。我想知道谁（哪个目录）占用了空间

【问题讨论】：

嗨，你能用du -ash运行命令吗，它会显示隐藏目录。希望 pod 中没有快照发生
请添加有关 df 结果的更多信息，例如执行命令的位置？你的 docker 使用的是哪个挂载工具？
还分享你的 kubelet 数据，用于驱逐硬阈值和软阈值
1.旧 pod 被 DiskPressure 驱逐，可能不是因为旧 pod 的大小，检查节点上的所有 pod。 2.正在运行的pod是新创建的，让它运行，稍后检查大小。

标签： kubernetes disk du linux-disk-free

【解决方案1】：

根据文档Node Conditions，DiskPressure 与节点上导致 kubelet 驱逐 pod 的条件有关。这并不一定意味着它是导致这些条件的吊舱。

磁盘压力

节点的根文件系统上的可用磁盘空间和 inode 或图像文件系统已满足驱逐阈值

您可能希望改为调查节点上发生的情况。

【讨论】：

【解决方案2】：

看起来进程1142 仍在运行并持有文件描述符和/或可能有一些空间（您可能还有其他进程和其他文件描述符也没有被释放）是kubelet 吗？为了缓解这个问题，您可以验证它是否正在运行，然后将其终止：

$ ps -Af | grep 1142
$ kill -9 1142

P.D.您需要提供有关进程以及该节点上正在运行的内容的更多信息。

【讨论】：

它是一个 kubernetes pod