DataflowRunner 管道错误 - 无法重命名答案

【问题标题】：DataflowRunner pipeline error - Unable to renameDataflowRunner 管道错误 - 无法重命名
【发布时间】：2020-02-26 00:17:18
【问题描述】：

我的 DataFlow 作业从 GS 存储桶读取一个 CSV 文件，查询另一个服务以获取额外数据并将其写入一个新的 CSV 文件并存储回存储桶，但它似乎在开始抓取输入 CSV 文件之前就下降了。 ..

这是我得到的错误： DataflowRuntimeException - 数据流管道失败。状态：失败，错误： Unable to rename "gs://../../job.1582402027.233469/dax-tmp-2020-02-22_12_07_49-5033316469851820576-S04-0-1719661b275ca435/tmp-1719661b275ca2ea-shard--try-273280d77b2c5b79-endshard.avro" to "gs://../../temp/job.1582402027.233469/tmp-1719661b275ca2ea-00000-of-00001.avro".

任何想法是什么原因导致此错误？

here is a print screen

【问题讨论】：

欢迎来到 SO！我认为您可以通过minimal reproducible example 提高获得答案的机会

标签： google-cloud-dataflow

【解决方案1】：

该错误通常是由于您在 DataFlow 作业中使用的服务帐户没有正确的 GCS（Google 云存储）权限。

您应该向服务帐户添加类似“roles/storage.objectAdmin”的角色，以允许与 GCS 交互。

【讨论】：