【发布时间】:2019-07-16 17:21:08
【问题描述】:
是否有任何方法可以利用接收器的结果(即PDone)进行进一步处理,例如仅当数据已完全写入 GCS 或所有行已写入 BigQuery 时才向 Pub/Sub 发送消息?
【问题讨论】:
标签: google-cloud-dataflow apache-beam dataflow apache-beam-io
是否有任何方法可以利用接收器的结果(即PDone)进行进一步处理,例如仅当数据已完全写入 GCS 或所有行已写入 BigQuery 时才向 Pub/Sub 发送消息?
【问题讨论】:
标签: google-cloud-dataflow apache-beam dataflow apache-beam-io
IO 中有一种方法可以在 IO.write() 之后返回 PTransform。例如 TextIO.write().withOutputFilenames()。但它是特定于 IO 的,因此并非每个 IO 都有这样的 API。
PDone 不能用于进一步处理。
【讨论】: