在将流式数据写入 GCS 时修复 NumShards

Question

实际上，我正在尝试将流数据转储到 BigTable，以防由于解析或任何其他问题而失败，我正在将该记录转储到 GCS。所以我在这里应用固定窗口，但我关心的一件事是 num 碎片。在将数据写入 GCS 时，如何指定 num 分片以及 num 分片的工作原理。

.apply(Window.<String>into(FixedWindows.of(Duration.standardSeconds(30L))))
               .apply(TextIO.write().to("gs:").withWindowedWrites());

如果超过 num shards 限制，是不是 TextIO 会覆盖现有文件。

Answer 1

分片数量设置不能最终覆盖文件。在这种情况下，它是要写入存储的文件数（每个窗口）。通过修改此值，您可以尝试将所有窗口写入单个文件，也可以将每个元素写入单个文件。

分片的数量决定了对存储的并行写入次数。因此，在考虑管道的性能时，此设置非常重要。更多数量的分片，将更容易并行化，但会产生大量文件。分片数量越少，创建的文件就越少，但会限制并行度。

根据梁documentation：

除非您需要特定数量的输出文件，否则不建议设置此值。

如果不设置此值，将由使用的跑步者决定。例如，DataflowRunner 使用管道中设置的最大工作人员数来设置分片数。