Dataprep - 当输出为 BigQuery 时，Dataflow 失败答案

【问题标题】：Dataprep - Dataflow fails when output is BigQueryDataprep - 当输出为 BigQuery 时，Dataflow 失败
【发布时间】：2019-08-21 12:55:44
【问题描述】：

作为 POC 的一部分，我尝试通过 Dataprep 设置一些数据质量检查。有一个 BigQuery 表作为源，它应该运行一个输出到另一个 BigQuery 的作业。不幸的是，该作业因错误而失败：

java.lang.RuntimeException: Failed to create job with prefix beam_load_[thenameofthejob], reached max retries: 3, last failed job: null.
   at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob(BigQueryHelpers.java:196)
   at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJobManager.waitForDone(BigQueryHelpers.java:149)
   at org.apache.beam.sdk.io.gcp.bigquery.WriteTables$WriteTablesDoFn.finishBundle(WriteTables.java:255) .

请问您有什么解决办法吗？

我已经编辑了食谱并且没有设置任何转换只是为了查看作业是否运行 - 它再次失败。当我将此 dataprep 数据流输出到 csv 时，它可以工作。全部在欧盟地区运行。

【问题讨论】：

你解决了吗？

标签： java google-bigquery google-cloud-dataprep

【解决方案1】：

尝试转到 bigquery 页面，然后转到任务历史记录。接下来的步骤是转到任务历史记录中的选项卡项目历史记录。在那里你会在失败的尝试中找到红色的感叹号。如果单击该案例，您将看到该案例的特定错误消息。

在我的情况下，这是不同的位置，但你的很好，所以我可以帮助我猜。希望它会帮助你。

【讨论】：

您好，感谢您的回答，但这是任务历史记录中的错误。 java.lang.RuntimeException：无法使用前缀 beam_load_[thenameofthejob] 创建作业，达到最大重试次数：3，最后失败的作业：null。在 org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob(BigQueryHelpers.java:196) 在 org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJobManager.waitForDone(BigQueryHelpers. java:149) 在 org.apache.beam.sdk.io.gcp.bigquery.WriteTables$WriteTablesDoFn.finishBundle(WriteTables.java:255) 。