Spark Map 数据类型问题答案

【问题标题】：Spark Map Data type IssueSpark Map 数据类型问题
【发布时间】：2018-12-18 23:55:37
【问题描述】：

我在使用 spark 从视图中进行选择时遇到以下问题。并且视图定义有一个或多个具有 Map 数据类型的表。我们该如何处理？

SQL：

select XXX_ID,count(1) as mtrc_value 
FROM GLOBAL.DDM_VW_CPT
WHERE XXX_ID > date_sub(current_date,8) group by XXX_ID

错误：发生异常 -

DataFrame中不能有map类型的列调用set操作(intersect, except等)，但是event_values列的类型是map;;

【问题讨论】：

【解决方案1】：

XXX_ID 应该在group by：

select XXX_ID,count(1) as  mtrc_value 
FROM GLOBAL.DDM_VW_CPT 
WHERE XXX_ID > date_sub(current_date,8) group by XXX_ID

【讨论】：