在 Hive 组中查找前 n 次出现答案

【问题标题】：Finding top n-th occurrences in group, Hive在 Hive 组中查找前 n 次出现
【发布时间】：2019-12-02 14:39:05
【问题描述】：

我有一个表，其中每条记录都有列：标题和类别。我想找到 2 个在其类别中出现次数最多的标题。一些标题列在这两个类别中。如何在 Hive 中实现这一点？

这是一个表创建查询：

create table book(category String, title String) row format delimited fields terminated by '\t' stored as textfile;

以及示例数据：

fiction book1
fiction book2
fiction book3
fiction book4
fiction book5
fiction book6
fiction book7
fiction book8
fiction book8
fiction book8
psychology  book1
psychology  book2
psychology  book2
psychology  book2
psychology  book2
psychology  book7
psychology  book7
psychology  book7

预期结果：

fiction book8
fiction any other
psychology  book2
psychology  book7

目前我已经设法编写了这个查询：

SELECT * FROM  
(SELECT category, title,
             count(*) as sale_count
             from book
             Group BY category, title) a 
order by category, sale_count DESC;

这为每个类别中的标题提供了计数，但我找不到从每个类别中仅返回 2 条顶级记录的方法

【问题讨论】：

请提供具有所需输出的代表性数据示例。
@leftjoin 添加示例数据和预期结果

标签： hive hiveql top-n

【解决方案1】：

只有两个最高记录使用 row_number()

select category, title, sale_count
from
(
SELECT a.*,
row_number() over(partition by category order by sale_count desc) rn
 FROM  
(SELECT category, title,
             count(*) as sale_count
             from book
             Group BY category, title) a 
)s where rn <=2

order by category, sale_count DESC;

如果有不止一行具有相同的最高销售额，并且您需要返回所有最高销售行以获得两个最高计数，请使用 DENSE_RANK 而不是 row_number，如果有标题具有相同的排名，它将分配相同的排名相同的 sale_count。

【讨论】：