有没有办法改善这个查询计算成本？

Question

我在我自己的机器上为这个数据库使用 PostgreSQL 9.6.1。

我有这个交易数据库。整个数据库大约有 1 亿行 x 30 列。交易跨越过去四年。

对于这个查询，有三个相关的列：

• 交易时间戳，四舍五入到最近的 15 分钟
• 供应商 ID
• 交易金额（收入）

我有兴趣返回四列的输出，例如下图（抱歉链接 - 还没有足够的代表来嵌入图像：

输出是该特定时间戳期间的交易计数、过去 60 分钟内唯一活跃供应商的计数以及过去 60 分钟内的每小时收入。

以下是我用来尝试完成此操作的代码。

SELECT transaction_timestamp,
   COUNT(transaction_timestamp) AS "transaction_timestamp",
   (SELECT COUNT(DISTINCT vendor_id)
    FROM transactions_db
    WHERE transaction_timestamp BETWEEN t.transaction_timestamp - INTERVAL '60 MINUTES' AND t.transaction_timestamp
   ) AS "lag_60_transaction_count",
   (SELECT SUM(revenue) / COUNT(DISTINCT vendor_id)
    FROM transactions_db
    WHERE transaction_timestamp BETWEEN t.transaction_timestamp - INTERVAL '60 MINUTES' AND t.transaction_timestamp
   ) AS "rolling_hourly_rate"
FROM transactions_db t
GROUP BY transaction_timestamp
ORDER BY transaction_timestamp;

这里是解释输出：

 GroupAggregate  (cost=21989857.85..681893649752.90 rows=108423 width=56)
   Group Key: t.transaction_timestamp
   ->  Sort  (cost=21989857.85..22252785.49 rows=105171056 width=8)
         Sort Key: t.transaction_timestamp
         ->  Index Only Scan using timestamp_vendor_revenue_idx on transactions_db t  (cost=0.57..3663118.41 rows=105171056 width=8)
   SubPlan 1
     ->  Aggregate  (cost=3143836.32..3143836.33 rows=1 width=8)
           ->  Index Only Scan using timestamp_vendor_revenue_idx on transactions_db  (cost=0.57..3142521.68 rows=525855 width=4)
                 Index Cond: ((transaction_timestamp >= (t.transaction_timestamp - '01:00:00'::interval)) AND (transaction_timestamp <= t.transaction_timestamp))
   SubPlan 2
     ->  Aggregate  (cost=3145150.96..3145150.97 rows=1 width=32)
           ->  Index Only Scan using timestamp_vendor_revenue_idx on transactions_db transactions_db_1  (cost=0.57..3142521.68 rows=525855 width=10)
                 Index Cond: ((transaction_timestamp >= (t.transaction_timestamp - '01:00:00'::interval)) AND (transaction_timestamp <= t.transaction_timestamp))

话虽如此，这个查询运行时间非常长（8 多个小时 - 运行了一夜，今天早上仍在运行）。

我在 transaction_timestamp、vendor_id 和收入上创建了一个复合索引，但运行时间仍然非常高。

当我对数据子集（我有一个包含一天数据的示例表）运行此查询时，查询会在 2.1 秒内返回。

我对优化数据库和查询非常熟悉，所以我可以在 2.1 秒内返回一天的数据，这一事实让我相信我可以做一些事情来让这个查询在主数据库的合理时间。

如果我遗漏了任何其他信息，请告诉我。

这里的示例数据、查询和输出：http://rextester.com/AOKNT5900

Answer 1

试试这样的：

select t1.transaction_timestamp
, count (t1.*) transactions
, count(distinct t1.vendor_id) vendors
, sum(t1.revenue) / count(distinct t1.vendor_id) hourly_rate

from transactions_db t1 join transactions_db t2 
    on t1.transaction_timestamp > t2.transaction_timestamp
    and t1.transaction_timestamp < t2.transaction_timestamp + INTERVAL '61 MINUTES' 

group by t1.transaction_timestamp

另外，除非你真的需要整个数据库，否则过滤 transaction_timestamp 和/或 vendor_id

Answer 2

此版本提供的结果与您当前的查询相同。我必须将计算分成两部分，然后在最后加入。检查两者的解释并告诉我。

第二个查询的关键是创建一个子查询，将每个时间戳作为一个组，然后加入以获取该组中的每个收入。

FROM ( SELECT DISTINCT transaction_timestamp 
       FROM transactions_db) t1 

DEMO

WITH transaction_total as (    
    SELECT transaction_timestamp,
           COUNT (transaction_timestamp)  AS "total"
    FROM transactions_db t
    GROUP BY transaction_timestamp
), lag_60 as (
    SELECT  t1.transaction_timestamp, 
            COUNT(DISTINCT t2.vendor_id) as lag_60_transaction_count,
            SUM(revenue) / COUNT(DISTINCT t2.vendor_id) AS "rolling_hourly_rate"
    FROM ( SELECT DISTINCT transaction_timestamp 
           FROM transactions_db) t1 
    join transactions_db t2 
      on t1.transaction_timestamp <= t2.transaction_timestamp + INTERVAL '60 MINUTES'
     and t1.transaction_timestamp >= t2.transaction_timestamp
    GROUP BY t1.transaction_timestamp
)    
SELECT T1.transaction_timestamp,
       T1.total,
       T2.lag_60_transaction_count,
       T2.rolling_hourly_rate
FROM transaction_total T1
JOIN lag_60 T2
USING (transaction_timestamp)
ORDER BY T1.transaction_timestamp;
;

输出：