Bigquery：如果不存在则创建表并使用 Python 和 Apache AirFlow 加载数据

Question

首先，我使用 MySQL 查询从生产数据库中获取所有数据，然后将该数据作为 NEW LINE DELIMITED JSON 存储在谷歌云存储中，我想要做的是：
1。检查表是否存在
2。如果表不存在，则使用自动检测模式创建表
3。存储数据

所有这些都将安排在气流中。真正让我困惑的是数字2，我怎样才能在 Python 中做到这一点？还是 Airflow 可以自动执行此操作？

Answer 1

Airflow 可以自动执行此操作。 create_disposition 参数在需要时创建表。 autodetect 参数正是您所需要的。这适用于 Airflow 1.10.2。

GCS_to_BQ = GoogleCloudStorageToBigQueryOperator(
    task_id='gcs_to_bq',
    bucket='test_bucket',
    source_objects=['folder1/*.csv', 'folder2/*.csv'],
    destination_project_dataset_table='dest_table',
    source_format='CSV',
    create_disposition='CREATE_IF_NEEDED',
    write_disposition='WRITE_TRUNCATE',
    bigquery_conn_id='bq-conn',
    google_cloud_storage_conn_id='gcp-conn',
    autodetect=True, # This uses autodetect
    dag=dag
)

Answer 2

在 BigQuery 命令行中，如果您的 json 文件位于 GCS 上，则 Loading JSON data with schema auto-detection 在一个命令中为您执行 2 + 3。

查看 AirFlow 文档，GoogleCloudStorageToBigQueryOperator 似乎在做同样的事情。我检查了它的source，它只是调用 BigQuery load api。我相信它会做你想做的。

当不清楚每个参数的含义时，您可以使用参数名称搜索BigQuery Jobs api。

例如，要在您的任务列表中实现 1，您只需指定：

write_disposition (string) – 如果表已存在，则写入配置。

但为了知道您需要作为 write_disposition 传递的字符串，您必须在 BigQuery 文档中进行搜索。