气流导出模式仅从 PostgreSQL 到 bigquery答案

【问题标题】：Airflow export schema only from PostgreSQL to bigquery气流导出模式仅从 PostgreSQL 到 bigquery
【发布时间】：2020-10-16 02:14:05
【问题描述】：

在airflow中，我们可以将postgres、MySQL等数据库导出到GCS。他们有一个名为 schema file 的选项，其中源表的 SCHEMA 将导出为 JSON 文件，我们可以使用它在 bigquery 上创建表。

但不幸的是，我们可以使用select * from table; 导出架构文件（或者我们可以使用select * from table limit 1 减少行数）。它将上传数据和架构文件。

有没有办法只导出不带数据的架构文件？

【问题讨论】：

【解决方案1】：

您可以使用INFORMATION_SCHEMA 从表中提取架构/元数据/列。

例如：

SELECT
 *
FROM
 `bigquery-public-data`.census_bureau_usa.INFORMATION_SCHEMA.COLUMNS
WHERE
 table_name="population_by_zip_2010"

见here。

【讨论】：