谷歌数据流“工作流失败”无缘无故答案

【问题标题】：Google Dataflow "Workflow failed" with no reason谷歌数据流“工作流失败”无缘无故
【发布时间】：2017-08-29 08:23:24
【问题描述】：

我在 Google Cloud Platform 上运行 Dataflow-Jobs，我得到的一个新错误是“工作流失败”，没有任何解释。我得到的日志如下：

 2017-08-25 (00:06:01) Executing operation ReadNewXXXFromStorage/Read+JsonStringsToXXX+RemoveLanguagesFromXXX...
 2017-08-25 (00:06:01) Executing operation ReadOldXYZ_ABC_1234_123_ns_123123123123123/GroupByKey/Create
 2017-08-25 (00:06:01) Starting 1 workers in europe-west1-b...
 2017-08-25 (00:06:01) Executing operation ReadOldXYZ_ABC_1234_123_ns_123123123123123/ParDo(SplitQuery)+ReadOldXYZ...
 2017-08-25 (00:06:48) Workflow failed.
 2017-08-25 (00:06:48) Stopping worker pool...
 2017-08-25 (00:06:58) Worker pool stopped.

我应该如何找出问题所在？对象的权限应该不是问题，因为类似的作业可以成功运行。当我尝试从 Google Cloud Console 重新运行模板时，我收到以下消息：

找不到此模板的元数据文件

但我可以启动模板，现在它运行成功。这可能与超出配额有关吗？我们刚刚增加了 Dataflow 的 CPU 和 IP 配额，我将并行运行的作业从 5 个增加到 15 个，以便能够使用配额。当我在没有运行任何其他作业的情况下重新运行模板时，一切似乎都正常。

非常感谢任何输入。谢谢

编辑：似乎作业因超出 CPU 配额而失败，但通常我们会收到一个错误描述，其中显示“无法产生足够的工人”。尽管如此，在我减少每个工作的最大工人数量后一切正常，因此我们的配额不能超过。

【问题讨论】：

标签： google-cloud-platform google-cloud-dataflow

【解决方案1】：

我认为“找不到此模板的元数据文件”应该被视为警告，而不是错误。模板能够有一个与之关联的“元数据”文件，它允许验证参数。如果不存在此类文件，则不会验证参数，但其他一切正常 - 消息只是这种情况的指示符。

听起来问题是由于其他原因无法完成这项工作。根据您的描述和编辑，这听起来像是因为缺少运行作业的配额。

【讨论】：