是否可以将本地测试 docker-airflow 环境链接到 GCP 上的现有 Airflow？答案

【问题标题】：Is it possible to link a local testing docker-airflow environment to an existing Airflow on GCP?是否可以将本地测试 docker-airflow 环境链接到 GCP 上的现有 Airflow？
【发布时间】：2019-04-01 14:08:39
【问题描述】：

我刚刚在本地设置了 Airflow，封装在一个 docker 容器中。

我想知道是否可以将此 Airflow 本地环境链接到 GCP 上的实际 Airflow/Composer 服务？

有没有办法用 docker 容器做到这一点？

谢谢

【问题讨论】：

您能否详细说明“链接”的含义？
@hexacyanide 我正在寻找一种解决方案，可以直接在我的本地气流环境中运行/测试 GCP 气流 DAG，或者创建与我的本地 docker-airflow 容器的自定义气流连接
所以澄清一下，您希望使用 Cloud Composer 在本地控制 Airflow？
@hexacyanide 这更像是我希望我可以测试我的 Composer 任务，但是在我自己机器的 Airflow 实例上
是什么阻止您将 DAG 从 Composer 复制到本地 Airflow 环境？

标签： docker google-cloud-platform airflow google-cloud-composer

【解决方案1】：

Cloud Composer 运行自己的 Airflow 实例，因此您无法设置一个 Composer 环境来控制在您自己的计算机上运行的 Airflow 实例。但是，如果您运行自己的 Kubernetes 集群并在自己的机器和 Composer 环境的 GKE 集群之间设置网络，那么您可以让 Airflow 任务在您的本地集群中运行。

【讨论】：

感谢您的帮助，我将通过 kubernetes 的可能性来看看网络解决方案
是否可以在没有 GKE 集群的情况下在本地运行工作人员，在 GCP 中创建与元存储和 redis 的连接？