创建按一/多列分区的 BigQuery 外部表

Question

我正在将 Java 应用程序从 Hadoop/Hive 移植到 Google Cloud/BigQuery。应用程序将 avro 文件写入 hdfs，然后在文件顶部创建具有一个/多个分区的 Hive 外部表。 我了解 Big Query 目前仅支持日期/时间戳分区，不支持嵌套分区。

我们现在处理 hive 的方式是生成 ddl，然后使用 rest 调用执行它。

我在 BigQuery DDL 文档中找不到对 CREATE EXTERNAL TABLE 的支持，因此我改用了 java 库。 我设法创建了一个外部表，但在传递给调用的参数中找不到对分区的任何引用。 这是我使用的代码的 sn-p：

....
ExternalTableDefinition extTableDef = 
ExternalTableDefinition.newBuilder(schemaName, null, FormatOptions.avro()).build();
TableId tableID = TableId.of(dbName, tableName);
TableInfo tableInfo = TableInfo.newBuilder(tableID, extTableDef).build();
Table table = bigQuery.create(tableInfo);   
....

但是支持非外部表的分区。

我有几个问题：

• 是否支持创建带有分区的外部表？你能指出我正确的方向吗
• 是否将数据加载到 BigQuery 中，而不是将其存储在 GS avro 文件中？
• 如果是，我们将如何处理模式演变？

非常感谢您

Answer 1

1. 您无法在 GCS 上为文件创建分区表，但您可以使用特殊的 _FILE_NAME pseudo-column 过滤掉您不想阅读的文件。
2. 如果可以的话，最好将数据加载到 BigQuery 中，而不是将其留在 GCS 上。 Loading data is free，查询将比在 GCS 上的 Avro 文件上运行查询要快得多。 BigQuery 在内部使用 columnar format called Capacitor，它针对 BigQuery 进行了大量优化，而 Avro 是基于行的格式，性能不佳。
3. 在架构演变方面，如果您需要更改列类型、删除列等，您应该重新创建表 (CREATE OR REPLACE TABLE ...)。如果您只添加列，则可以使用 API 或 UI 添加新列。

另请参阅relevant blog post about lazy data loading。