在 GCP Composer 上创建 Airflow DAG答案

【问题标题】：Creating Airflow DAGs on GCP Composer在 GCP Composer 上创建 Airflow DAG
【发布时间】：2019-05-02 19:29:56
【问题描述】：

我刚刚了解了 GCP Composer，并正在尝试将 DAG 从我的本地气流实例移动到云，并且对过渡有几个问题。

在本地实例中，我使用HiveOperator 从 hive 读取数据并创建表并将其写回 hive。如果我必须在 GCP 中这样做，这怎么可能？我是否必须将我的数据上传到 Google Bucket 并且 HiveOperator 是否在 GCP 中工作？
我有一个 DAG，它使用 sensor 检查另一个 DAG 是否完整，这在 Composer 上是否可行？

【问题讨论】：

【解决方案1】：

是的，Cloud Composer 只是托管的 Apache Airflow，因此您可以这样做。

确保您使用的 Airflow 版本与您在本地使用的相同。 Cloud Composer 目前支持 Airflow 1.9.0 和 1.10.0。

【讨论】：

【解决方案2】：

Composer 有连接存储。见菜单管理--> 连接。检查可用的连接类型。

传感器可用。

【讨论】：