将 JSON 文件加载到 BigQuery 表中：架构更改

Question

我正在尝试将 json 文件加载到 BQ 表中。我的架构看起来像：

{"_eventid": "1234", "Keywords":""}
{"_eventid": "4567", "Keywords":{"_text":"abcd"} }

从上面，您可以看到“关键字”的架构发生了变化。我该如何处理？使用类似的东西：

  {
   "name":"Keywords",
   "type":"record",
   "mode":"nullable",
   "fields": [
   {
    "name":"_text",
    "type":"string",
    "mode":"nullable"
   }
   ]
},

仅适用于第二个条目。首先，我得到了错误：

Errors:
file-00000000: JSON table encountered too many errors, giving up.    Rows: 1; errors: 1. (error code: invalid)
JSON parsing error in row starting at position 0 at file: file- 00000000. Flat value specified for record field. Field: Keywords;     Value: (error code: invalid)

Answer 1

简答

Bigquery 表受架构限制。每当我们尝试摄取不符合表模式的数据时，我们都会出错。在您的情况下，在第一条记录中，Keywords 的值是字符串，但在架构中，它是带有一个名称为 _text 的可空字段的记录。

解决方法

您需要在将数据加载到 bigquery 之前对其进行预处理。如果您有小的 json 文件，您可以编写脚本并检查 Keywords 的类型是记录还是字符串，如果是字符串则首先创建记录。所以预处理后的文件内容如下：

{"_eventid": "1234", "Keywords":{"_text": ""}}
{"_eventid": "4567", "Keywords":{"_text":"abcd"} }

根据您的架构，Keywords 是可为空的记录。您甚至可以忽略 keywords 在预处理期间哪个值为空。在这一步之后，输入文件将变为。

{"_eventid": "1234"}
{"_eventid": "4567", "Keywords":{"_text":"abcd"} }

Answer 2

BigQuery 现在支持在加载时更改架构

--schema_update_option=ALLOW_FIELD_ADDITION
--schema_update_option=ALLOW_FIELD_RELAXATION

选项。有关更多详细信息和 JSON 加载示例，请参阅 How to insert/append unstructured data to bigquery table。