【问题标题】:Improve the flatten performance of this query提高此查询的展平性能
【发布时间】:2020-04-21 13:39:10
【问题描述】:

雪花社区,

我正在运行一个 Snowpipe,它不断地将 JSON 登陆到一个临时表中,然后将其展平为多个目标表。

其中一个目标表需要在 JSON 上运行 4 个横向展平 - 类似这样,但数据加载速度比我运行展平的速度要快。:

LATERAL FLATTEN(INPUT => JSON:data:Element) ELEMENT, 

LATERAL FLATTEN(INPUT => ELEMENT.VALUE) ATTRIBUTE, 

LATERAL FLATTEN(INPUT => ATTRIBUTE.VALUE) SUBATTRIBUTE, 

LATERAL FLATTEN(INPUT => SUBATTRIBUTE.VALUE) SUB_SUB_ATTRIBUTE

如果我将每个展平的元素存储在它自己的表中,然后在上游表上运行后续的展平语句,会更快吗?

【问题讨论】:

    标签: snowflake-cloud-data-platform


    【解决方案1】:

    您是否考虑过使用单个递归 FLATTEN() 来替换之前的所有内容?

    LATERAL FLATTEN(INPUT => JSON:data:Element, RECURSIVE => TRUE)
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-03-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多