ParDo 中 DoFn 的状态

Question

我们是否有任何东西可以提供 DoFn 的完成状态，例如函数完成执行的时间？

我们能否生成任何触发器或任何可以给出关于成功完成在 DoFn 函数中编写的所有步骤的公平想法？

任何帮助将不胜感激。

Answer 1

在 ParDo 中，您将始终知道函数何时完成，因此假设您想知道何时处理了整个 PCollection - 您可以在应用 ParDo 后创建一个新的 Pcollection，然后对新的 PCollection 应用后续转换。例如。

PCollection<T> step = ...;
PCollection<T> afterStep = step.apply(ParDo.of( new DoFn<...>(){...}));
afterStep.apply(ParDo.of(new DoFn<...>(){...}));