数据流 - 错误：消息：需要“compute.subnetworks.get”权限答案

【问题标题】：Dataflow - Error: Message: Required 'compute.subnetworks.get' permission数据流 - 错误：消息：需要“compute.subnetworks.get”权限
【发布时间】：2020-11-27 22:40:53
【问题描述】：

场景 - 使用共享 VPC 在项目 A 上运行 Dataflow 作业以使用宿主项目 B 的区域和子网

在服务帐户上，我对项目 A 和 B 都具有以下权限

Compute Admin
Compute Network User
Dataflow Admin
Cloud Dataflow Service Agent
Editor
Storage Admin
Serverless VPC Access Admin

但我仍然收到此错误

Workflow failed. Causes: Error: Message: Required 'compute.subnetworks.get' permission for 'projects/<host project>/regions/us-east1/subnetworks/<subnetwork name>' HTTP Code: 403

我在这里缺少什么？或者这应该有什么其他权限？感谢您对此进行调查。

【问题讨论】：

标签： google-cloud-platform google-cloud-dataflow dataflow google-vpc

【解决方案1】：

我刚刚在使用共享 VPC 网络和子网和数据流作业时遇到了完全相同的问题，我错过了将网络权限添加到默认数据流服务帐户。以下 2 个步骤效果很好。

Cloud Dataflow（正在运行数据流作业的项目）中涉及两个服务帐户

 1 Default Cloud Dataflow service account : service-<Project
   Number>@dataflow-service-producer-prod.iam.gserviceaccount.com"
 2 Custom Controller service account : myserviceaccount@PROJECT
   ID>.iam.gserviceaccount.com

第 1 步：将两个服务帐户添加到网络 HOST 项目的 IAM 角色（作为计算网络用户）。此外，您可以将运行数据流作业所需的权限添加到您创建的自定义控制器服务帐户。

第 2 步：将以下格式的网络参数传递给作业（在 WebUI 上或使用命令行）

 1. network : projects/<HOST PROJECT ID>/global/networks/<VPC NETWORK NAME>
 2. subnetwork : https://www.googleapis.com/compute/v1/projects/<HOST PROJECT ID>/regions/us-central1/subnetworks/<SUBNET NAME>

更多细节：

cloud_dataflow_service_account

controller_service_account

specifying-networks#shared

【讨论】：

【解决方案2】：

好的，我已经解决了这个问题，这里有两件事要记住

用于从 Airflow 或任何其他调度工具提交 Dataflow 作业的服务帐户需要对项目和宿主项目具有以下权限

计算网络用户数据流管理员云数据流服务代理编辑器
然后我们有另外两个需要权限的服务帐户，compute@developer.gserviceaccount.com - 具有此后缀的服务帐户需要在具有 Storage Object Viewer 的宿主项目 B 上获得权限 em>
来自项目 A 的后缀为 dataflow-service-producer-prod.iam.gserviceaccount.com 的数据流服务帐户需要访问宿主项目 A 并具有 Storage Object Viewer 权限

照顾这些事情解决了我的问题

【讨论】：