导入具有空值的 json 数据

Question

来自 BigQuery 的 import 文档，

注意：不允许空值

所以我假设 null 在用于 BigQuery 导入的 json 格式数据中是不允许的。但是，null 值实际上在常规 ETL 任务中非常常见（由于缺少数据）。导入此类 json 源文件应该是什么好的解决方案？请注意，我的数据包含嵌套结构，因此我不喜欢转换为 CSV 并使用 ,, 来表示 null 值。

我认为我可以做的一种方法是将所有 null 值分别替换为不同数据类型的默认值，例如，

• 字符串：null -> 空字符串
• 整数：null -> -1
• 浮动：null -> -1.0
• ...

但我不喜欢它。我正在寻找更好的选择。

顺便说一句，我尝试使用包含 null 值的 json 文件来执行 bq load。我收到以下错误：

Failure details:
- Expected '"' found 'n'
- Expected '"' found 'n'
- Expected '"' found 'n'
- Expected '"' found 'n'
- Expected '"' found 'n
...

我认为这是null用法的指示，对吗？

编辑：如果我删除所有null 字段，它似乎工作。我想这是处理null 数据的方法。您不能将 null 用于数据字段，但您可以不包含它。所以我需要一个过滤代码来删除我原始json中的所有null字段。

Answer 1

您可以使用 JSON 格式的源文件导入 NULL 值 - 忽略 NULL 值的键：值对。

示例 - 假设您有这样的架构：

{
"name": "kind",
"type": "string"
},
{
"name": "fullName",
"type": "string",
},
{
"name": "age",
"type": "integer",
"mode": "nullable"
}

没有 NULL 值的记录可能如下所示：

{"kind": "person",
 "fullName": "Some Person",
 "age": 22
}

但是，当 "age" 为 NULL 时，试试这个（注意，没有 "age" 键）：

{"kind": "person",
 "fullName": "Some Person",
}

如果您对此有任何疑问，请告诉我们。我将做笔记以改进有关使用 JSON 导入格式的 NULL 值的文档。