在 DataFlow 上取消作业而不会丢失数据

Question

我正在尝试找到一种方式优雅地结束我的工作，以免丢失任何数据，从 PubSub 流式传输并写入 BigQuery。

我可以设想的一种可能方法是让作业停止提取新数据，然后运行直到它处理完所有内容，但我不知道这是否/如何实现。

Answer 1

此功能似乎已添加到最新版本中。

您现在只需在取消作业时选择drain option。

谢谢。

Answer 2

我相信这将很难（如果不是不可能的话）靠你自己来完成。我们（Google Cloud Dataflow 团队）意识到了这一需求，并正在努力在未来几个月内通过一项新功能来解决这一问题。