“gsutil ls”每次显示不同的列表答案

【问题标题】："gsutil ls" shows a different list every time“gsutil ls”每次显示不同的列表
【发布时间】：2016-12-19 16:45:33
【问题描述】：

我们使用 GCS 作为数据流管道的数据接收器，出于某种原因，每次我在目录上尝试“gsutil ls”时，输出目录都会“显示”不同的文件列表。具体来说，文件的数量应该正好是 4,000（因为指定管道将输出分片为 4,000 个文件）。但是，我看到的列表是这 4,000 个文件中的一些 ($prefix-?????-of-04000) 和临时文件中的一些 ($prefix-温度-*）。自数据流作业 (2016-12-18_19_30_32-7274262445792076535) 完成以来已经 10 多个小时，我仍然看到不同的文件列表（它不仅增加，而且有时减少意味着一些文件消失然后再次出现）。这会影响我们运行的从该目录读取的其他数据流管道。

这是数据流问题还是 GCS 问题，我们该如何解决？我以前见过 GCS 的这种行为，但通常是在数据流管道完成后的前几分钟，但这次似乎持续了一段时间。

【问题讨论】：

标签： google-cloud-storage google-cloud-dataflow

【解决方案1】：

GCS 的列表操作是eventually consistent。这可能意味着列出存储桶仅返回一段时间内的部分数据。

如果您查看 4000 中的特定文件，它是否始终存在？

更新：GCS 存在一个临时问题，导致列表存储桶的结果不一致：https://status.cloud.google.com/incident/storage/16036

【讨论】：

它并不一致，这就是我感到困惑的原因。这 4000 个文件中的一些文件消失了，然后它们又出现了，依此类推（这就是我所说的“它不仅增加，有时还减少）。
如果您列出存储桶，这可能是最终的一致性。但是如果你列出一个特定的文件，那么我希望你每次都能找到它。