【问题标题】:Google Cloud Platform permission question (pub/sub -> Dataflow -> Google Cloud Storage bucket)Google Cloud Platform 权限问题(pub/sub -> Dataflow -> Google Cloud Storage 存储桶)
【发布时间】:2019-10-12 00:28:49
【问题描述】:

我正在尝试通过 DataFlow 将数据从 Google Cloud Pub/Sub 发送到 Google Cloud Storage 存储桶。我使用模板来创建 DataFlow。

当我使用默认权限设置存储桶时,我在作业日志中收到警告,“somelong#-compute@developer.gserviceaccount.com 没有 storage.objects.get 访问权限。 ..",并且桶中没有数据显示。

我为项目成员的查看者添加了数据流管理员权限,警告消失了。

似乎该进程正在写入存储桶,大多数只是查看它,所以我 a) 不知道为什么这解决了我的问题,b) 不确定这是否是正确/适当的使用权限。

任何信息将不胜感激。

【问题讨论】:

    标签: google-cloud-platform permissions


    【解决方案1】:

    somelong#-compute@developer.gserviceaccount.com

    “somelong#”是您项目的项目编号。

    我向项目成员的查看者添加了数据流管理员权限, 警告消失了。

    角色roles/viewer有权列出桶,但不能访问桶中的对象。

    根据提供的信息,我不确定您做了什么以及在哪里做的。如果您将角色roles/dataflow.admin 添加到每个用户或以下用户的组,则可以。如果用户需要创建 Dataflow 作业并访问结果数据,则 Dataflow Admin 是正确的角色。然而,缺少的是这些工作是从哪里启动的。可能来自 Compute 实例,这就是错误中列出服务帐户的原因。服务帐户也需要权限。正如他们所说,答案就在细节中,而您的问题缺少一些。

    如果从 Compute Engine 实例启动 Dataflow 作业,则 Compute Engine 默认服务帐号(与您的错误消息中的帐号相同)需要 Dataflow 和 Cloud Storage 权限。 Dataflow.admin 将授予服务帐户所需的权限。

    如果从云外部(某人的桌面)启动 Dataflow 作业,则该用户的 IAM 成员账户需要权限。

    要查看角色拥有的权限,您可以使用 CLI:

    gcloud iam roles describe roles/dataflow.admin
    

    这将返回以下信息。导入项是权限列表:

    description: Minimal role for creating and managing dataflow jobs.
    etag: AA==
    includedPermissions:
    - compute.machineTypes.get
    - dataflow.jobs.cancel
    - dataflow.jobs.create
    - dataflow.jobs.get
    - dataflow.jobs.list
    - dataflow.jobs.updateContents
    - dataflow.messages.list
    - dataflow.metrics.get
    - resourcemanager.projects.get
    - resourcemanager.projects.list
    - storage.buckets.get
    - storage.objects.create
    - storage.objects.get
    - storage.objects.list
    name: roles/dataflow.admin
    stage: GA
    title: Dataflow Admin
    

    从此列表中,您可以看到您授予某人/某物创建、获取和列出存储桶中对象的权限。如果要求只提供存储权限,则添加角色roles\storage.legacyBucketWriter

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-03-24
      • 2023-02-21
      • 1970-01-01
      • 2021-08-22
      • 2020-12-03
      • 2013-11-15
      • 1970-01-01
      • 2022-01-13
      相关资源
      最近更新 更多