【发布时间】：2019-03-26 17:58:50
【问题描述】：
Apache Beam Python SDK 升级到 2.11.0 问题。
我正在使用 requirements.txt 将 sdk 从 2.4.0 升级到 2.11.0。它的依赖关系如下：
apache_beam==2.11.0
google-cloud-dataflow==2.4.0
httplib2==0.11.3
google-cloud==0.27.0
google-cloud-storage==1.3.0
workflow
为了管理光束管道中的依赖关系，我们有这个 txt 文件。 google计算引擎上有两个vm实例，一个是master，一个是worker。这些实例将安装 requirements.txt 文件中列出的所有包。
作业通过 DataflowRunner 运行。如果使用命令手动运行代码
python code.py --project --setupFilePath --requirementFilePath --workerMachineType n1-standard-8 --runner DataflowRunner。
该作业没有将版本升级到 2.11.0 ，而是失败了。堆栈驱动程序日志中的错误消息：
2019-03-26 19:02:02.000 IST
Failed to install packages: failed to install requirements: exit status 1
Expand all | Collapse all {
insertId: "27857323862365974846:1225647:0:438995"
jsonPayload: {
line: "boot.go:144"
message: "Failed to install packages: failed to install requirements: exit status 1"
}
labels: {
compute.googleapis.com/resource_id: "278567544395974846"
compute.googleapis.com/resource_name: "icf-20190334132038-03260625-b9fa-harness-gtml"
compute.googleapis.com/resource_type: "instance"
dataflow.googleapis.com/job_id: "2019-03-26_06_25_16-6068768320191854196"
dataflow.googleapis.com/job_name: "icf-20190326132038"
dataflow.googleapis.com/region: "global"
}
logName: "projects/project-id/logs/dataflow.googleapis.com%2Fworker-startup"
receiveTimestamp: "2019-03-26T13:32:07.627920858Z"
resource: {
labels: {
job_id: "2019-03-26_06_25_16-6068768320191854196"
job_name: "icf-20190326132038"
project_id: "project-id"
region: "global"
step_id: ""
}
type: "dataflow_step"
}
severity: "CRITICAL"
timestamp: "2019-03-26T13:32:02Z"
}
注意：在 worker 和 master 上运行 pip install apache-beam==2.11.0 时，代码会运行。*
【问题讨论】：
-
Beam2.11.0 , 2.10,2.9 版本出现的问题。我将版本降级到 2.8.0，它使用气流 1.8.1
标签： python-2.7 google-cloud-dataflow airflow apache-beam