将气流连接到谷歌融合答案

【问题标题】：Connect airflow to google fusion将气流连接到谷歌融合
【发布时间】：2020-06-15 14:19:39
【问题描述】：

我想编写 python 脚本来管理我的谷歌数据融合管道和实例（创建新的、删除的、启动的等）。为此，我使用作为库安装的气流。我已经阅读了一些教程和文档，但我仍然无法使该脚本与数据融合实例连接。我尝试使用下一个字符串：

export AIRFLOW_CONN_GOOGLE_CLOUD_DEFAULT='google-cloud-platform://?extra__google_cloud_platform__key_path=%2Fkeys%2Fkey.json&extra__google_cloud_platform__scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fcloud-platform&extra__google_cloud_platform__project=airflow&extra__google_cloud_platform__num_retries=5'

使用我的数据 json 密钥文件和项目 ID，但它仍然不起作用。你能给我一个创建这种连接的例子吗？

【问题讨论】：

您好！您使用的是 Datafusion 运算符 airflow.readthedocs.io/en/latest/_api/airflow/providers/google/… 吗？ URI 的所有组件都应该是 URL 编码的，您是否遵守规则（检查here）？
@muscat，嗨！是的，我确实使用了该运算符并且我对 URI 组件进行了编码。我只是在寻找如何创建数据融合实例、添加一些管道并使用 python 脚本运行它的分步示例。因为它对我不起作用，所以我按照我理解的文档说明进行操作。

标签： airflow google-cloud-data-fusion

【解决方案1】：

您可以在此处找到示例 python 脚本： https://airflow.readthedocs.io/en/latest/_modules/airflow/providers/google/cloud/example_dags/example_datafusion.html

如果您想了解更多关于它们的信息，此页面提供了每个 Data Fusion Operator 的细分： https://airflow.readthedocs.io/en/latest/howto/operator/gcp/datafusion.html

【讨论】：