数据流 WordCount 卡住答案

【问题标题】：Dataflow WordCount stuck数据流 WordCount 卡住
【发布时间】：2015-10-12 04:15:18
【问题描述】：

我正在运行 DataflowJavaSDK-Examples 文件夹中的 WordCount 示例。

mvn compile exec:java -exec.mainClass=com.google.cloud.dataflow.examples.WordCount -Dexec.args="--project=<YOUR CLOUD PLATFORM PROJECT ID> --stagingLocation=<YOUR CLOUD STORAGE LOCATION> --runner=BlockingDataflowPipelineRunner --inputFile=gs://df1/L1.txt --output=gs://df1"

我得到以下内容。它现在正在运行 20 分钟。

2015 年 10 月 12 日上午 9:32:36 com.google.cloud.dataflow.sdk.runners.DataflowPipelineJo b getJobWithRetries

警告：获取当前作业状态时出现问题：429 Too Many Requests

{  
  "code" : 429,  
  "errors" : [ {  
    "domain" : "global",  
    "message" : "Request throttled due to project QPS limit being reached.",  
    "reason" : "rateLimitExceeded"  
  } ],  
  "message" : "Request throttled due to project QPS limit being reached.",  
  "status" : "RESOURCE_EXHAUSTED"  
}.

【问题讨论】：

您是否使用您的实际项目 ID 来替换“”？
是的，我使用的是实际的 projectid。

标签： google-cloud-platform google-cloud-dataflow

【解决方案1】：

这表明 BlockingDataflowPipelineRunner 中的作业状态轮询存在问题，这不会影响作业执行。您应该能够在monitoring UI 或CLI 中验证作业的状态。至于为什么会出现这种情况，您是否试图同时监控多个作业？

【讨论】：

不，我不是要监控多个作业。我正在探索 WordCount 示例。
在 Google Dataflow 服务上运行默认 WordCount 示例需要多长时间。大约 1 小时，它还在做。
这出乎意料。应该是〜3分钟。你能提供工作ID吗？
它是'2015-10-11_22_41_07-11411764987356154659'。我在 1 小时后取消了工作。
我们在日志中几乎看不到该作业的工人活动痕迹。似乎工人设置可能有问题。您能否在 Cloud Logging 中查看此作业的工作人员日志并联系 dataflow-feedback@google.com 并提供详细信息？