是否可以在 Google Cloud Composer 上安装 github 存储库

Question

作为标题，我们可以在requirements.txt文件中设置pypi包并使用命令

gcloud beta composer environments update env_name --update-pypi-packages-from-file requirements.txt --location location

更新云作曲家环境。

但它是否支持在 requirements.txt 中安装自定义 github repo？我尝试添加如下链接：

pkg_name @ git+ssh://git@github.com/my_account/pkg_repo.git#master

它不起作用。

谢谢！

更新： 我有一个解决方法是将库放入插件中。但在我们的案例中，我认为最好的策略是从 github 安装一个包。

Answer 1

不支持以这种方式安装自定义库。 In docs here 您可以看到 --update-pypi-packages 仅用于 Python Package Index 中的库：

您可以从 Python 包索引安装 Python 依赖项 通过 Google Cloud Platform Console 或通过部分 使用 gcloud 命令行工具更新环境请求。

您有三个备选方案：

安装本地 Python 库。

使用插件功能。

使用 KubernetesPodOperator。

使用local Python library 安装非常简单： 1. 在您的 composer GCS 存储桶中，在 dags 文件夹中创建一个 dependencies 文件夹并在其中添加您的库模块（不要忘记添加必要的“init.py”文件）。 2. 然后简单地做这样的事情：

from dependencies import your_module