如何在 Container-Optimized OS 上跟踪磁盘使用情况答案

【问题标题】：How to track disk usage on Container-Optimized OS如何在 Container-Optimized OS 上跟踪磁盘使用情况
【发布时间】：2020-02-24 20:31:16
【问题描述】：

我有一个在基于 Container-Optimized OS 的 Compute Engine 上运行的应用程序。我的应用程序每 20 分钟运行一次，获取数据并将其写入本地文件，然后在处理后删除该文件。请注意，每个文件小于 100KB。我的启动盘大小是默认的 10GB。在尝试在本地写入文件时，我每个月左右都会遇到“设备上没有剩余空间”错误。

如何跟踪磁盘使用情况？

我手动检查了文件夹的大小，似乎大部分空间都被/mnt/stateful_partition/var/lib/docker/overlay2 占用了。

my-vm / # sudo du -sh /mnt/stateful_partition/var/lib/docker/*
20K     /mnt/stateful_partition/var/lib/docker/builder
72K     /mnt/stateful_partition/var/lib/docker/buildkit
208K    /mnt/stateful_partition/var/lib/docker/containers
4.4M    /mnt/stateful_partition/var/lib/docker/image
52K     /mnt/stateful_partition/var/lib/docker/network
1.6G    /mnt/stateful_partition/var/lib/docker/overlay2
20K     /mnt/stateful_partition/var/lib/docker/plugins
4.0K    /mnt/stateful_partition/var/lib/docker/runtimes
4.0K    /mnt/stateful_partition/var/lib/docker/swarm
4.0K    /mnt/stateful_partition/var/lib/docker/tmp
4.0K    /mnt/stateful_partition/var/lib/docker/trust
28K     /mnt/stateful_partition/var/lib/docker/volumes

【问题讨论】：

标签： google-compute-engine google-cloud-stackdriver

【解决方案1】：

TL;DR：使用 Stackdriver Monitoring 并为磁盘使用情况创建警报。

由于您使用的是 COS 映像，因此您只需在 GCE 实例元数据上添加设置为“true”的“google-monitoring-enabled”标签即可启用 Stackdriver Monitoring 代理。为此，请运行以下命令：

gcloud compute instances add-metadata instance-name --metadata=google-monitoring-enabled=true

将instance-name 替换为您的实例名称。请记住重新启动您的实例以完成更改。您无需安装 Stackdriver Monitoring 代理，因为已默认安装在 COS 映像中。

然后，您可以使用disk usage metric 获取磁盘的使用情况。

您可以创建alert，以便在每次分区使用量达到一定阈值时收到通知。

由于您在云中，使用云资源解决云问题始终是最好的主意。

【讨论】：

【解决方案2】：

Docker 使用 /var/lib/docker 来存储您的图像、容器和本地命名卷。删除它可能会导致数据丢失，并可能导致引擎停止运行。 overlay2 子目录专门包含用于图像和容器的各种 filesystem 层。

通过命令清理未使用的容器和图像：码头工人系统修剪。

通过命令“watch”监控它 sudo watch "du -sh /mnt/stateful_partition/var/lib/docker/*"

【讨论】：