插入 BigQuery 的数据流因 asia-northeast1 位置的大量文件而失败

Question

我在 Cloud Composer 上使用 Cloud Storage Text to BigQuery 模板。

模板是从 Python google api 客户端踢出来的。

同一个程序

• 在美国位置工作正常（适用于 Dataflow 和 BigQuery）。
• 在 asia-northeast1 位置失败。
• 在 asia-northeast 位置的较少（少于 10000 个）输入文件工作正常。

有人对此有任何想法吗？ 出于商业原因，我想在东北亚地区执行。

---

更多关于失败的细节：

程序一直工作到“ReifyRenameInput”，失败了。

dataflow job failed

错误信息如下：

java.io.IOException: Unable to insert job: beam_load_textiotobigquerydataflow0releaser0806214711ca282fc3_8fca2422ccd74649b984a625f246295c_2a18c21953c26c4d4da2f8f0850da0d2_00000-0, aborting after 9 . 

at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startJob(BigQueryServicesImpl.java:231)
 at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startJob(BigQueryServicesImpl.java:202)
 at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startCopyJob(BigQueryServicesImpl.java:196)
 at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.copy(WriteRename.java:144) 
at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.writeRename(WriteRename.java:107) 
at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.processElement(WriteRename.java:80)
 Caused by: com.google.api.client.googleapis.json.GoogleJsonResponseException: 
404 Not Found { "code" : 404, "errors" : [ { "domain" : "global", "message" : "Not found: Dataset pj:datasetname", "reason" : "notFound" } ], "message" : "Not found: Dataset pj:datasetname" }

（pj和数据集名不是实名，是outputTable参数的项目名和数据集名）

虽然报错信息说数据集未找到，但数据集肯定存在。

此外，程序结束后在数据集中创建了一些看似临时表的新表。

Answer 1

根据this public issue tracker，这是与您的 Beam SDK 版本相关的已知问题。 Beam 2.5.0 SDK版本没有这个问题。