谷歌云数据流作业失败

Question

自从对我们的一些 Cloud Dataflow 作业启用自动扩缩功能后，这些作业开始失败。我在失败的工作中收到以下错误：

这是此错误的作业 ID： 2016-01-26_12_02_19-12737268934091661877

我也有一份工作需要超过 5 个小时，而通常需要 1 个小时：
2016-01-27_12_02_52-11776322710903149175

编辑：我关闭了自动缩放，今天早上运行的作业仍然运行得很慢。将近5个小时。

职位编号为：2016-01-28_12_03_39-5692230370814846330

Answer 1

在写入 BigQuery 时，Dataflow 首先将您的所有数据写入 GCS，然后运行 ​​BigQuery 导入作业（有关更多详细信息，请参阅 this thread）。

第一个作业的错误消息表明 BigQuery 导入作业存在问题。其他作业的延迟似乎也与 BigQuery 作业有关。在这些情况下，您应该能够找到包含 BigQuery 作业 ID 以及检查其状态的命令的消息。

我们认为这些问题应该得到解决。您应该能够毫无问题地重新启用自动缩放。请再次尝试运行作业，如果您仍然遇到问题，请告诉我们。