获取 Google Storage 存储桶大小的最快方法？答案

【问题标题】：Fastest way to get Google Storage bucket size?获取 Google Storage 存储桶大小的最快方法？
【发布时间】：2015-02-07 01:28:32
【问题描述】：

我目前正在这样做，但它非常慢，因为我的存储桶中有几 TB 的数据：

gsutil du -sh gs://my-bucket-1/

子文件夹也是如此：

gsutil du -sh gs://my-bucket-1/folder

是否有可能以某种方式在其他地方或以其他更快的方式获得完整存储桶（或子文件夹）的总大小？

【问题讨论】：

标签： google-cloud-storage gsutil

【解决方案1】：

谷歌存储在这里的可见性非常糟糕

最快的方法实际上是提取堆栈驱动程序指标并查看总大小（以字节为单位）：

不幸的是，您几乎无法在 stackdriver 中进行过滤。您不能通配存储桶名称，并且几乎无用的存储桶资源标签在堆栈驱动程序指标中不可聚合

这也只是存储桶级别 - 不是前缀

SD 指标每天更新，因此除非您可以等待一天，否则您现在无法使用它来获取当前大小

更新：Stack Driver 指标现在支持用户元数据标签，因此您可以标记您的 GCS 存储桶并通过您应用的自定义标签聚合这些指标。

【讨论】：

这行得通！。感谢您的回答，您节省了我的时间！
来源：cloud.google.com/storage/docs/getting-bucket-information
You can't wildcard the bucket name 是的，你可以...带有~的运算符表示他们支持RegEx...所以要找到所有以视频开头的桶-使用bucket_name =~ video.*
请注意，关于存储桶大小和对象计数的 SD 指标每天仅更新一次！ cloud.google.com/monitoring/api/metrics_gcp#storage/storage/…
@RayFoss Google 已经发布了 MQL，这就是正则表达式所指的内容：infoq.com/news/2021/01/google-cloud-monitoring-mql

【解决方案2】：

很遗憾，没有。如果您现在需要知道存储桶的大小，没有比您正在做的更快的方法了。

如果您需要定期检查这一点，您可以启用存储桶日志记录。 Google Cloud Storage 将生成每日存储日志，您可以使用它来检查存储桶的大小。如果这有用，您可以在此处阅读更多信息：https://cloud.google.com/storage/docs/accesslogs#delivery

【讨论】：

du 发出多少请求？每个对象一个，还是以某种方式优化？很高兴从计费的角度了解。
如何查看日志中的bucket大小？我启用了日志，但不知道如何在日志中找到它。我宁愿不下载它们。我猜我可以在“日志”屏幕上输入搜索查询？

【解决方案3】：

如果您通过启用存储桶日志记录获得的每日存储日志（根据 Brandon 的建议）对您不起作用，那么您可以做的一件事来加快速度，即对 du 请求进行分片。例如，您可以执行以下操作：

gsutil du -s gs://my-bucket-1/a* > a.size &
gsutil du -s gs://my-bucket-1/b* > b.size &
...
gsutil du -s gs://my-bucket-1/z* > z.size &
wait
awk '{sum+=$1} END {print sum}' *.size

（假设您的子文件夹以英文字母开头；如果不是；您需要调整运行上述命令的方式）。

【讨论】：

【解决方案4】：

使用内置仪表板操作 -> 监控 -> 仪表板 -> 云存储

底部的图表显示所有存储桶的存储桶大小，或者您可以选择单个存储桶进行深入分析。

【讨论】：

【解决方案5】：

我发现使用 CLI 时经常超时。但是，当我正在审查冷线存储时，我就是这样。

对于 GUI 解决方案。看Cloudberry Explorer

GUI view of storage

【讨论】：

【解决方案6】：

以下命令对我有帮助：

gsutil ls -l gs://{bucket_name}

列出所有文件后，它会给出如下输出：

TOTAL: 6442 objects, 143992287936 bytes (134.1 GiB)

【讨论】：