Amazon Redshift - 透视大型 JSON 数组

Question

我有一个优化问题。

我有一个表，其中包含大约 15MB 的 JSON 存储为 VARCHAR(65535) 的行。每个 JSON 字符串都是一个任意大小的数组。

• 95% 包含 16 个或更少的元素
• 最长（迄今为止）包含 67 个元素
• 硬限制是 512 个元素（在 64kB 之前不够大）

任务很简单，旋转每个数组，使每个元素都有自己的行。

 id | json
----+---------------------------------------------
 01 | [{"something":"here"}, {"fu":"bar"}]

=>

 id | element_id | json
----+------------+---------------------------------
 01 |     1      | {"something":"here"}
 01 |     2      | {"fu":"bar"}

在没有任何类型的表值函数（用户定义或其他方式）的情况下，我通过加入一个数字表来进行旋转。

SELECT
    src.id,
    pvt.element_id,
    json_extract_array_element_text(
        src.json,
        pvt.element_id
    )
        AS json
FROM
    source_table         AS src
INNER JOIN
    numbers_table        AS pvt(element_id)
       ON pvt.element_id < json_array_length(src.json)

numbers 表有 512 行 (0..511)，结果是正确的。

经过的时间太可怕了。它与分布或排序顺序或编码无关。这与 （我相信） redshift 的具体化有关。

处理 15MB 的 JSON 文本所需的工作内存为 7.5GB。

• 15MB * numbers 中的 512 行 = 7.5GB

如果我只在numbers 中放入 128 行，那么所需的工作内存会减少 4 倍，并且经过的时间同样会减少 （不是 4 倍，真正的查询会做其他工作，它仍在写入相同数量的结果数据等）.

那么，我想知道，添加这个怎么样？

WHERE
    pvt.element_id < (SELECT MAX(json_array_length(src.json)) FROM source_table)

不需要改变工作记忆，经过的时间略有增加（实际上是一个有成本但没有好处的 WHERE 子句）。

我尝试制作一个 CTE 来创建 512 个号码的列表，但没有帮助。我尝试制作一个 CTE 来创建数字列表，并使用 WHERE 子句来限制大小，但这没有帮助 （实际上 Redshift 似乎已经使用 512 行实现了，然后应用了 WHERE 子句）。

我目前的工作是为数字创建一个临时表，受 WHERE 子句的限制。在我的示例集中，这意味着我得到了一个包含 67 行的表，而不是 512 行。

这仍然不是很好，因为具有 67 个元素的 ONE 行支配了经过的时间（每一行，无论有多少元素，在应用 ON pvt.element_id < json_array_length(src.json) 之前被复制 67 次）。

我接下来的工作将分两步进行。

1. 同上，但表格只有 16 行，并且仅适用于包含 16 个或更少元素的行

2. 如上，使用动态混合数字表，并且仅适用于超过 16 个元素的行

问题：有人有更好的想法吗？

Answer 1

也许如果您避免将 JSON 解析和解释为 JSON，而是将其作为文本处理，它可以更快地工作。如果您确定 JSON 值的结构（我猜您是因为原始查询不会产生 JSON 解析错误），您可以尝试使用 split_part 函数而不是 json_extract_array_element_text。

如果您的元素不包含逗号，您可以使用：

split_part(src.json,',',pvt.element_id)

如果您的元素包含逗号，您可以使用

split_part(src.json,'},{',pvt.element_id)

另外，join 条件中带有ON pvt.element_id < json_array_length(src.json) 的部分仍然存在，因此为了完全避免 JSON 解析，您可以尝试交叉连接，然后过滤掉非空值。

Answer 2

请考虑将 JSON 声明为外部表。然后，您可以使用 Redshift Spectrum 的嵌套数据语法来访问这些值就好像它们是行一样。

这里有一个快速教程："Tutorial: Querying Nested Data with Amazon Redshift Spectrum"

简单示例：

{ "id": 1
 ,"name":   { "given":"John", "family":"Smith" }
 ,"orders": [ {"price": 100.50, "quantity": 9 }
             ,{"price":  99.12, "quantity": 2 } 
            ]
}

---

CREATE EXTERNAL TABLE spectrum.nested_tutorial
     (id      int
     ,name    struct<given:varchar(20), family:varchar(20)>
     ,orders  array<struct<price:double precision, quantity:double precision>>
     ) 
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://my-files/temp/nested_data/nested_tutorial/'
;

---

SELECT c.id
      ,c.name.given
      ,c.name.family
      ,o.price
      ,o.quantity
FROM spectrum.nested_tutorial c
LEFT JOIN c.orders o ON true
;

---

 id | given | family | price | quantity
----+-------+--------+-------+----------
  1 | John  | Smith  | 100.5 |        9
  1 | John  | Smith  | 99.12 |        2

Answer 3

无论是数据格式还是您希望执行的任务，都不是 Amazon Redshift 的理想选择。

Amazon Redshift 作为数据仓库非常出色，能够对数十亿行进行查询。但是，将数据存储为 JSON 并不理想，因为 Redshift 在处理存储在 JSON 中的字段时无法使用其所有功能（例如，分发键、排序键、区域映射、并行处理）。

如果将数据存储为以下格式，您的 Redshift 集群的效率会更高：

 id | element_id | key        | value
----+------------+---------------------
 01 |     1      | something  | here
 01 |     2      | fu         | bar

至于如何最好地将现有 JSON 数据转换为单独的行，我坦率地建议这是在 Redshift 之外 完成，然后通过 COPY 命令加载到表中。一个小的 Python 脚本可以更有效地转换在 Redshift 中的 numbers 表上尝试奇怪 JOIN 的数据。