【发布时间】:2019-02-14 15:10:35
【问题描述】:
有时即使在工作人员成功启动后,GCP 数据流作业也不会在提交后启动。
【问题讨论】:
标签: google-cloud-dataflow dataflow
有时即使在工作人员成功启动后,GCP 数据流作业也不会在提交后启动。
【问题讨论】:
标签: google-cloud-dataflow dataflow
以下是未启动数据流作业的可能原因:
1) 对service account 或IAM user 没有足够的权限
向服务帐户添加dataflow admin 权限。
对于 IAM 用户,添加广泛级别的访问权限,例如 EDITOR 或 OWNER,然后运行以下命令
gcloud config set project <your_project_id>gcloud auth logingcloud auth login application-default2) 有时包依赖会导致这种情况。要解决它,请执行以下步骤:
从本地 requirements.txt 生成 setup.py
- pip freeze > requirements.txt
- then add packages from `requirements.txt` into `setup.py`
- Add proper path of `setup.py` in JOB CONFIG.
【讨论】: