使用 Python 2.7 和 Apache Beam 的 Cloudbuild答案

【问题标题】：Cloudbuild with Python 2.7 and Apache Beam使用 Python 2.7 和 Apache Beam 的 Cloudbuild
【发布时间】：2020-01-27 11:36:42
【问题描述】：

我在 Python 2.7 上使用 Apache Beam 创建了一个在 Google Dataflow 上运行的管道。当我从笔记本电脑本地部署此管道时，它运行良好。我现在希望通过 CloudBuild 部署它。这是我的 cloudbuild.yaml 文件：

steps:
  - name: "docker.io/library/python:2.7"
    args: ["pip", "install", "-t", "/workspace/lib", "-r", "requirements.txt"]
  - name: "docker.io/library/python:2.7"
    args: ["python2", "tests.py"]
    env: ["PYTHONPATH=/workspace/lib"]

触发 CloudBuild 时，它成功安装了所有要求，但是当它尝试在 tests.py 文件中导入 apache_beam 时，我收到以下错误：

   File "tests.py", line 3, in <module>
     import apache_beam as beam
   File "/workspace/lib/apache_beam/__init__.py", line 97, in <module>
     from apache_beam import coders
   File "/workspace/lib/apache_beam/coders/__init__.py", line 19, in <module>
     from apache_beam.coders.coders import *
   File "/workspace/lib/apache_beam/coders/coders.py", line 29, in <module>
     import google.protobuf.wrappers_pb2
 ImportError: No module named google.protobuf.wrappers_pb2

在 requirements.txt 文件中，我有除其他外以下内容：

apache-beam==2.16.0
protobuf==3.11.0

注意：requirements.txt 中列出了所有必要的要求，因为我可以在本地部署管道。

【问题讨论】：

嗨，你检查我的回答了吗？你还有同样的问题吗？
嗨@Juancki，感谢您的回答。它确实解决了我的问题
感谢您抽出时间查看该主题！编码愉快！

标签： python-2.7 apache-beam google-cloud-build

【解决方案1】：

我只能用另一个名为 tests.py 的文件用一行来重现您的问题：

import apache_beam as beam

在某些社区似乎是known issue。

首先，如果不使用已弃用的 Python2 而使用 Python3.7，则不会发生此错误。我想虽然 Python2.7 是必需的。

我创建了一个 Dockerfile，例如：

FROM python:2

WORKDIR /usr/src/app

COPY requirements.txt ./

RUN pip install --no-cache-dir -r requirements.txt

COPY . .

CMD [ "python", "./tests.py" ]

然后，更改了cloudbuild.yaml：

steps:
- name: 'gcr.io/cloud-builders/docker'
  args: [ 'build', '-t', 'gcr.io/$PROJECT_ID/quickstart-image', '.' ]

构建成功：

Step 5/6 : COPY . .
 ---> 082407f9672d
Step 6/6 : CMD [ "python", "./tests.py" ]
 ---> Running in 7d53e96370f9
Removing intermediate container 7d53e96370f9
 ---> d60a6d473d21
Successfully built d60a6d473d21

【讨论】：