【问题标题】:How can i access metadata db of GCP Composer Airflow server?如何访问 GCP Composer Airflow 服务器的元数据数据库?
【发布时间】:2021-01-20 11:28:51
【问题描述】:

我在 gcp 项目中创建了一个 Composer。我想访问在 Cloud SQL 后台运行的 Airflow 元数据数据库。 我怎样才能访问它?

我还想在 metadatadb 中创建一个表,我将使用该表来存储气流 dag 之一的一些数据查询。是否可以在该 metadatadb 中创建任何表,或者该 metadatadb 仅供气流服务器使用?

【问题讨论】:

    标签: google-cloud-platform airflow google-cloud-sql google-cloud-composer


    【解决方案1】:

    您可以使用 Data Profiling -> Ad Hoc Query

    通过 UI 访问 Airflow 内部数据库

    在那里,您可以看到所有带有 SQL 查询的表,例如:

    SHOW tables;
    

    我不建议创建新表或手动将行插入现有表。

    您还应该能够使用airflow-db connexion 在您的 DAG 运算符和传感器中访问此数据库。

    【讨论】:

    • 谢谢@vdolez,我不能从命令行直接连接到云sql吗?从气流网络服务器插入或选择数据的安全方式吗?
    • @JosephD 我认为 SQL DB 隐藏在 Google 拥有的另一个 GCP 项目中。您可以做的是使用 DAG 中的连接,将其导出到另一个数据库,然后从那里查询。
    猜你喜欢
    • 2014-06-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-03-18
    • 1970-01-01
    • 1970-01-01
    • 2021-09-07
    • 2020-02-08
    相关资源
    最近更新 更多