array_intersect 在 presto 中给出性能问题

Question

我有一个在 presto 中运行的查询，它具有 array_intersect 条件。这大约需要 5 个小时才能运行。如果我删除 array_intersect 那么它需要不到一个小时。

CARDINALITY(ARRAY_INTERSECT(links, ARRAY['504949547', '504949616', '515604515', '515604526', '515604527', '515604528'])) > 0

谁能告诉我如何提高性能。必须在 5 分钟内搞定。

已尝试启用溢出磁盘，但没有帮助。输入数据大小约为 1TB。

谢谢

Answer 1

array_intersect 将结果（交集）具体化，而您唯一要检查的是某些预定义元素的成员资格。 在这种情况下，我建议改用any_match。

any_match(links, e -> e IN ('504949547', '504949616', ...))

如果您使用的 Presto 版本没有any_match，您可以使用reduce：

reduce(
    links, -- array to reduce
    false, -- initial state
    (s, e) -> s OR e IN ('504949547', '504949616', ...), -- reduction function
    s -> s) -- output function

已尝试启用溢出磁盘，但没有帮助。

注意：In Presto, spill is supported for certain operators（大多数联接、聚合、排序依据、窗口函数）。它不适用于在ARRAYs 上运行的标量函数。此外，您不应期望溢出会提高性能。它只能减少内存占用，以性能为代价。