Hive 使用收集聚合

Question

我想从配置单元表中删除重复值 所以我正在使用这个查询

INSERT INTO TABLE final_table 
 select 
   A,
   B,
   collect(coalesce(C,0))[0],
   collect(coalesce(D,0))[0],
   collect(coalesce(E,0))[0],
   collect(coalesce(F,0))[0],
   collect(coalesce(G,0))[0]
 from 
   temp_table
 group by 
   A,B ;

因为A,B 是主键。

但在结果中我仍然得到重复的值。 查询有问题吗？

Answer 1

尝试使用“collect_set”UDF，或收集到地图中，然后使用“map_keys”从地图中获取键。