如何使用标准 SQL 定义 BigQuery 架构？

Question

我想在一个新项目中使用 BigQuery 标准 SQL，但是我找不到任何关于如何定义架构的示例，所有内容都指向 Legacy SQL。特别是，我想使用ARRAY 和STRUCT。

Answer 1

在 BigQuery 中创建表的一种方法是使用 API 调用。没有 CREATE 表语法。

创建表格

BigQuery 提供了多种创建新表的方法as detailed here：

• 您可以使用命令行工具的 bq mk 命令或 BigQuery API tables.insert() 方法创建一个空表。
• 您可以从 CSV 或 JSON 数据文件（压缩或未压缩）、Avro 文件或 Cloud Datastore 备份加载表。
• 您可以根据查询结果创建表。
• 您可以复制表格
• 您可以在 Cloud Storage 中的文件上定义表
• 您可以在定义表架构时使用标准 SQL 类型（请参阅 Elliotts 答案），并且文档中也有一个要更新的问题。投票/starhere.

很多Python samples are on GitHub简单如下：

def create_table(dataset_name, table_name, project=None):
    """Creates a simple table in the given dataset.
    If no project is specified, then the currently active project is used.
    """
    bigquery_client = bigquery.Client(project=project)
    dataset = bigquery_client.dataset(dataset_name)

    if not dataset.exists():
        print('Dataset {} does not exist.'.format(dataset_name))
        return

    table = dataset.table(table_name)

    # Set the table schema
    table.schema = (
        bigquery.SchemaField('Name', 'STRING'),
        bigquery.SchemaField('Age', 'INTEGER'),
        bigquery.SchemaField('Weight', 'FLOAT'),
    )

    table.create()

    print('Created table {} in dataset {}.'.format(table_name, dataset_name))

Answer 2

您可以使用使用标准 SQL 类型的架构创建表。下面是一个有效模式的示例：

{
  "a": "ARRAY<STRUCT<x INT64, y STRING>>",
  "b": "STRUCT<z DATE>",
  "c": "INT64"
}

如果你把它放在一个文件中，比如sample_schema.json，你可以使用bq mk从它创建一个表：

bq mk --schema sample_schema.json -t your_dataset.YourTableName

在bq 客户端之外，tables.insert API 还支持标准 SQL 类型名称。