如何访问 Cloud Composer 系统文件答案

【问题标题】：How to access Cloud Composer system files如何访问 Cloud Composer 系统文件
【发布时间】：2020-08-24 14:25:42
【问题描述】：

我正在执行从本地系统到云作曲家的迁移任务，问题是云作曲家是气流的完全托管版本，它限制对后面文件系统的访问，实际上是在我的本地系统上对于一些我们正在保存的路径有很多环境变量，例如/opt/application/folder_1/subfolder_2/...。

查看 Cloud Composer 文档时，他们说您可以访问并保存您的数据到由 /home/airflow/gcs/data/ 映射的 data 文件夹中，这意味着如果我推进该映射，我应该将我的 env 变量值更改为：/home/airflow/gcs/data/application/folder_1/folder_2 可能有点痛苦的东西，因为我知道我正在运行许多依赖于这些值的 bash 脚本。

有没有办法解决这个问题？

【问题讨论】：

让我正确理解您，您希望通过尝试将其挂载到 GKE 节点来从运行在 GKE 集群上的 DAG 访问本地文件共享？在 GKE 中，为了让 POD 能够访问挂载点，需要使用持久卷声明和持久卷。
实际上我正在尝试从称为云作曲家的本地工作负载自动化迁移，问题是本地工具运行在使用了一些 env 变量的 VM 顶部通过一些需要执行的 bash 脚本，现在当我转向作曲家时，我看不到如何根据我的系统文件（如 /opt/...）设置这些环境变量，因为处理与编排是分开的。

标签： environment-variables airflow google-cloud-composer

【解决方案1】：

您可以在 Composer 创建/更新过程中指定您的环境变量 [1]。然后，这些变量存储在 YAML 文件中，这些文件创建了托管 Composer 的 GKE 集群。如果您通过 SSH 连接到运行 Composer GKE 集群的虚拟机，然后进入其中一个工作容器并运行 env，您可以看到您指定的环境变量。

[1]https://cloud.google.com/composer/docs/how-to/managing/environment-variables

【讨论】：