自动将 Postgres JSON 列规范化为新表

Question

我有一个 非常大 包含数百万行的 Postgres 表。其中一列称为data，类型为JSONB，带有嵌套的JSON（但幸运的是没有子数组）。 JSON 的“模式”大部分是一致的，但随着时间的推移发生了一些变化，获得和丢失新的键和嵌套的键。

我想要一个可以将列规范化为新表的过程，并且过程尽可能简单。

例如，如果表格看起来像：

id | data
---+----------------------------------------------
  1| {"hi": "mom", "age": 43}
  2| {"bye": "dad", "age": 41}

它应该创建并填充一个新表，例如

id | data.hi | data.age | data.bye
---+----------------------------------------------
  1|     mom |       43 | NULL
  2|    NULL |       41 |  dad  

（注意：列名并不重要）

理论上，我可以做到以下几点：

1. 将列选择到 Pandas DataFrame 中并在其上运行 json_normalize
2. 将架构推断为步骤 1 中派生列的超集
3. 使用步骤 2 的架构创建 Postgres 表并插入（to_sql 是实现此目的的简单方法）

这似乎并不算太​​糟糕，但请记住，表非常大，我们应该假设这不能从单个 DataFrame 中完成。如果我们尝试做下一个最好的事情 - 将上述步骤批处理 - 我们将遇到架构在批处理之间略有变化的问题。

有没有比我的方法更好的方法来解决这个问题？ “完美”的解决方案是“纯 SQL”，根本不涉及任何 Python。但我不是在这里寻求完美。只是一个不需要人工干预的自动且稳健的过程。

Answer 1

您可以尝试通过CREATE TABLE AS 语句创建一个新表。

CREATE TABLE newtable AS
SELECT 
  id, 
  (data->>'hi')::text AS data_hi,
  (data->>'bye')::text AS data_bye,
  (data->'age')::int AS data_age
FROM mytable

如果 JSON 结构未知，所有键和数据类型都可以这样选择：

SELECT DISTINCT
  jsonb_object_keys(data) as col_name,
  jsonb_typeof(data->jsonb_object_keys(data)) as col_type
FROM mytable

输出：

col_name    col_type
--------------------
bye         string
hi          string
age         number

对于嵌套结构

id   data
---------
3    {"age": 33, "foo": {"bar": true}}

您可以使用递归查询：

WITH RECURSIVE cte AS (
  select
    jsonb_object_keys(data) as col_name,
    jsonb_object_keys(data) as col_path,
    jsonb_typeof(data->jsonb_object_keys(data)) as col_type,
    data
  from mytable
  union all
  select
    jsonb_object_keys(data->col_name) as col_name,
    col_path || '_' || jsonb_object_keys(data->col_name) as col_path, 
    jsonb_typeof(data->col_name->jsonb_object_keys(data->col_name)) as col_type,
    data->cte.col_name AS data
  from cte
  where col_type = 'object'
) 
SELECT distinct col_path AS col_name, col_type 
FROM cte
WHERE col_type <> 'object';

输出：

col_name    col_type
--------------------
age         number
foo_bar     boolean

接下来，您需要根据这些数据为SELECT 子句构建一个列列表，以便在CREATE TABLE AS 语句中使用，如上所示。

以下小提琴有一个生成整个 SQL 的助手：

db<>fiddle

请注意，所有数字类型，包括小数类型，都将被指定为数字类型并需要更正。