【问题标题】:Dataflow job not running after worker started?工作人员启动后数据流作业未运行?
【发布时间】:2019-02-14 15:10:35
【问题描述】:

有时即使在工作人员成功启动后,GCP 数据流作业也不会在提交后启动。

【问题讨论】:

    标签: google-cloud-dataflow dataflow


    【解决方案1】:

    以下是未启动数据流作业的可能原因:

    1) 对service accountIAM user 没有足够的权限

    • 向服务帐户添加dataflow admin 权限。

    • 对于 IAM 用户,添加广泛级别的访问权限,例如 EDITOROWNER,然后运行以下命令

      • gcloud config set project <your_project_id>
      • gcloud auth login
      • gcloud auth login application-default

    2) 有时包依赖会导致这种情况。要解决它,请执行以下步骤: 从本地 requirements.txt 生成 setup.py

    - pip freeze > requirements.txt
    - then add packages from `requirements.txt` into `setup.py`
    - Add proper path of `setup.py` in JOB CONFIG.
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-12-01
      • 2019-02-08
      • 1970-01-01
      相关资源
      最近更新 更多