BigQuery 到 GCS 和 GCS 到 Mysql

Question

我正在创建一个 Airflow 管道，在其中我使用 BigQueryOperator 查询我的 BigQuery 表并使用 BigQueryToCloudStorageOperator 将结果表以 csv 格式导出到 GCS。

我需要将 csv 移动到一个 mysql 数据库中，它应该作为一个表存储在 mysql 数据库中。

我能否就如何实现这一点获得任何建议或想法。谢谢！

Answer 1

由于您的用例是在 BigQuery 中查询数据并将数据存储在您的 MySql 数据库中，因此您可以使用 BigQueryToMySqlOperator。

从 BigQuery 表中获取数据（或者为 选定的列）并将该数据插入到 MySQL 表中。