Apache Beam Wall Time 不断增加

Question

我有一个 Beam 管道，它从 pubsub 主题读取数据，进行一些小的转换，然后将事件写入一些 BigQuery 表。

变换处理很轻松，可能会删除一个字段或其他东西，但是，如下图所示，对于某些步骤，Wall Time 非常高。究竟是什么原因造成的？

每个元素实际上都是((str, str, str), {**dict with data}) 形式的元组。通过这个键，我们实际上试图通过这个键获取最新事件来进行简单的重复数据删除。 基本上我在Get latest element per key 之后添加的任何内容都很慢，并且标记也​​很慢，即使它只是向元素添加了一个标签。

Answer 1

我认为“慢”是指每秒处理多少个元素？

这里发生了两件事。首先，我假设Get latest element per key 包含一个 GroupByKey 之类的。这涉及全局洗牌，所有元素都通过网络发送到其他元素，以确保具有给定密钥的所有元素都分组到同一个工作人员中。这种 IO 可能很昂贵，至少在挂墙时间方面是这样。

其次，不需要 worker 到 worker 通信的步骤会被“融合”，从而耦合它们的吞吐量。例如。如果一个有DoFnA 后跟DoFnB 后跟DoFnC，则处理通过将第一个元素传递给DoFnA，然后将这些输出传递给DoFnB，随后传递给DoFnC，然后再传递第二个元素到DoFnA。这意味着如果 Fns 之一（或读取或写入）具有有限的吞吐量，那么它们都将。