将 JSON 加载到 bigquery - 字段有时是数组，有时是字符串

Question

我正在尝试将 JSON 数据加载到 BigQuery。我的数据导致问题的摘录如下所示：

{"page":"295"}
{"page":["295", "123"]}

我已将此字段定义为：

{
  "name": "page",
  "type": "string",
  "mode": "repeated"
}

我收到“必须将重复字段作为 JSON 数组导入”的错误消息。我认为问题是由 JSON 本身的结构引起的。第一行中的字符串应该是一个元素数组，而不仅仅是一个字符串。数据是这样传递给我的。我正在尝试找到一种方法来强制 BigQuery 将此字符串作为一个元素数组读取，而不是修复文件（即数百 GB）。有什么解决办法吗？

Answer 1

一种选择是使用 BigQuery 来转换数据本身。假设您能够将行导入为 CSV（选择未出现在数据中的任意分隔符），您可以使用 JSON_EXTRACT 函数跨行检索 page 的值。例如，

#standardSQL
SELECT JSON_EXTRACT(json, '$.page') AS page
FROM UnprocessedTable;

之后您可以使用SPLIT 函数或REGEXP_EXTRACT_ALL 检索各个值。

编辑：作为一个具体的例子，你可以试试这个查询：

#standardSQL
WITH T AS (
  SELECT '{"page": "foo"}' AS json UNION ALL
  SELECT '{"page": ["bar", "baz"]}' AS json UNION ALL
  SELECT '{"page": ["a", "b", "c"]}' AS json
)
SELECT
  REGEXP_EXTRACT_ALL(JSON_EXTRACT(json, '$.page'), r'"([^"]*)"') AS pages
FROM T;

这会将 JSON 数组（或标量字符串）作为 ARRAY<STRING> 列返回。