BigQuery：--[no]use_avro_logical_types 标志不起作用

Question

我尝试使用带有--[no]use_avro_logical_types 标志的bq 命令将avro 文件加载到执行该命令之前不存在的BigQuery 表中。 avro 模式包含timestamp-millis 逻辑类型值。执行命令时，会创建一个新表，但其列的架构变为INTEGER。 这是最近发布的功能，因此我找不到示例，也不知道我缺少什么。谁能给我一个很好的例子？

我的 avro 架构如下所示，

...
  }, {
    "name" : "timestamp",
    "type" : [ "null", "long" ],
    "default" : null,
    "logicalType" : [ "null", "timestamp-millis" ]
  }, {
...

执行命令是这样的： bq load --source_format=AVRO --use_avro_logical_types <table> <path/to/file>

Answer 1

要使用timestamp-millis逻辑类型，可以通过以下方式指定字段：

{
  "name" : "timestamp",
  "type" : {"type": "long", "logicalType" : "timestamp-millis"}
}

为了提供可选的“null”值，您可以尝试以下规范：

{
  "name" : "timestamp",
  "type" : ["null", {"type" : "long", "logicalType" : "timestamp-millis"}]
}

有关支持的 Avro 逻辑类型的完整列表，请参阅 Avro 规范：https://avro.apache.org/docs/1.8.0/spec.html#Logical+Types。

Answer 2

根据 https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro，avro 类型 timestamp-millis 在 BigQuery 中加载后会转换为 INTEGER。