【问题标题】:Performing processing after PDone在 PDone 之后执行处理
【发布时间】:2019-07-16 17:21:08
【问题描述】:

是否有任何方法可以利用接收器的结果(即PDone)进行进一步处理,例如仅当数据已完全写入 GCS 或所有行已写入 BigQuery 时才向 Pub/Sub 发送消息?

【问题讨论】:

    标签: google-cloud-dataflow apache-beam dataflow apache-beam-io


    【解决方案1】:

    IO 中有一种方法可以在 IO.write() 之后返回 PTransform。例如 TextIO.write().withOutputFilenames()。但它是特定于 IO 的,因此并非每个 IO 都有这样的 API。

    PDone 不能用于进一步处理。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-09-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2010-11-21
      相关资源
      最近更新 更多