AWS Athena unnest with left join 不工作

Question

我有一个嵌套的 JSON 结构，我想在其中取消嵌套一个 JSON 子树。 A 或 B 都已填充，并且 event.type 标记为“A”或“B”。下面是两个简化的例子：

{
  "event": {
        "event_type": "A",
        "time": 1599692445083,
        "A" : {
            "name": "item1",
            "revenue": 100
        }
      }
  }
}

{
  "event": {
        "event_type": "B",
        "time": 1599692445083,
        "B" : {
            "items" : [
                {"name": "item2", revenue" : 10},
                {"name": "item3", revenue" : 20},
            ]
        }
      }
  }
}

查询到目前为止有效，但我有一个问题，即 UNNEST 仅适用于交叉连接，因此我丢失了所有“A”事件，因为我需要左连接。请注意，我进行了多次聚合，因此以更简单的方式单独计算总和就足够了。

select
    from_unixtime( (floor(event.time/1000) / (60 * 60))  *60*60) as event_hour,
    count(*) filter(where event.event_type = 'A') as A_items,
    count(*) filter(where event.event_type = 'B') as B_items
FROM mydb.event_table
   left join unnest(event.B.items) as t(b)
WHERE
    year=2020 and month=9 and day=18 and hour=1
GROUP BY
    from_unixtime( (floor(event.time/1000) / (60 * 60))  *60*60),

对于 cross join unnest 查询执行，但由于 A 没有项目数组，我没有计算任何条目。对于 left join unnest，我收到了一条错误消息（很有趣，它在那里也声明了“left”）：

mismatched input 'where' expecting {'join', 'cross', 'inner', 'left', 'right', 'full', 'natural', 'using', 'on', 'tablesample'}

有没有办法在 Athena 的 unnest 中使用左连接？

Answer 1

Athena 基于 Presto .172 LEFT JOIN 和 UNNEST 被添加到 Presto 319

添加对涉及 UNNEST 的 INNER 和 OUTER 联接的支持。

我认为雅典娜在他们之前不会支持这一点

• 升级到更新的 Presto 版本
• 将该功能向后移植到他们的分支

同时，您可以运行最新最好的 Presto 版本：

• 使用 EMR 6.1，选择“PrestoSQL”组件
• 使用Starburst's Presto as a Service on AWS

另外，正如@GMB 所指出的，JOIN 需要ON 子句（可以像ON true 一样简单）。

Answer 2

对于上述用例，有一种解决方法是在使用交叉连接进行 UNNESTING 时不会丢失条目。它看起来很丑，但在 Athena 支持更新的 Presto 功能之前可以完成工作。

代替

   left join unnest(event.B.items) as t(b)

可以通过合并将左连接重写为交叉连接：

   cross join unnest(coalesce(event.B.items, array[null])) as t(b)