存储最大交易金额并在回溯期内保留第二高交易金额

Question

我有以下查询 (HiveQL)，它计算客户自交易日期起的最大交易金额，并保留交易日期之前的上一个最大交易金额。

查询

PROC SQL;
  CREATE TABLE TXN_AMT AS
    SELECT *, 
          MAX(TXN_AMT) OVER (PARTITION BY CUST ORDER BY TXN_DATE DESC ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS MAX
          MAX(TXN_AMT) OVER (PARTITION BY CUST ORDER BY TXN_DATE DESC ROWS BETWEEN 1 AND UNBOUNDED FOLLOWING) as Max2
   FROM dataset; 
QUIT;

输出数据示例

cust txn_date txn_amt max max2   
1    29/3/20   100    100  70  
1    28/3/20   50     70   20  
1    2/3/20    20     70   20  
1    15/2/20   70     70   - (no previous txn to take max2)  

问题

我需要在包含数百万行的数据集上运行此查询。不幸的是，此查询不适用于 360k 行数据集。

尝试的解决方案

我已尝试直接在 Hive 和 Spark 上运行查询，但没有成功 - 运行时间太长。我曾尝试使用 lag() 函数重写代码，但没有取得很大成功。

有谁知道如何重写上述查询以产生具有最佳性能的所需输出？查询需要使用 Python 或 HiveQL。

谢谢

Answer 1

我对性能问题的猜测是，您有一些异常客户进行了无数次交易。我的猜测是 Hive 将在单个处理器上使用窗口函数的 order by 组件。

您可以通过聚合检查是否有异常值：

select cust, count(*)
from dataset
group by cust
order by count(*) desc;

如果您随后从查询中过滤掉异常值，您可能会发现它的效果要好得多。