减少 SQL 查询的总数

Question

我目前正在尝试通过将 2 个查询合二为一来减少发送到我的 RedShift 集群的 sql 查询总数。

这是我的场景。

• 给定一个卡号范围，确定该范围内的哪些卡昨天进行了交易。
• 对于这些卡中的每一张，确定其最后记录的交易（如果有）。

这是我目前的缓慢但正确的方法：

query1 = '''SELECT card_no, timestamp, code_one, transaction_amount
        FROM table1
        WHERE card_no BETWEEN %s AND %s
        AND code_one = 202
        AND code_two = 0
        AND timestamp < date_trunc('day', CURRENT_DATE)
        AND timestamp >= (CURRENT_DATE - INTERVAL '1 days')
        ORDER BY card_no, timestamp DESC''' % (card_from, card_to)

query2 = '''SELECT * FROM table2 WHERE card_number = %s
        ORDER BY transaction_date DESC LIMIT 1''' % card_no

这种方法会产生正确的输出。
Query1 首先运行，并根据不同的范围创建事务文件。
然后我对这些文件中的每个 card_no 运行 query2 并执行一些逻辑操作以获得最终输出。

我的数据集现在包含 4000 多个卡片范围，每个范围返回 30 到 100 张带有交易的卡片。查询的数量迅速增加，超出了我的控制。
有没有办法可以将这两个查询合并为一个以大幅减少查询总数？

感谢您的宝贵时间。

Answer 1

你只需要创建一个join并使用MAX()聚合函数

SELECT
    table1.card_no AS card_no,
    table1.timestamp AS timestamp,
    table1.code_one AS code_one,
    table1.transaction_amount AS transaction_amount,
    MAX(transaction_date) AS max_trans_date
FROM table1
LEFT JOIN table2
  ON table1.card_no = table2.card_number
WHERE table1.card_no BETWEEN %s AND %s
AND table1.code_one = 202
AND code_two = 0
AND table1.timestamp < date_trunc('day', CURRENT_DATE)
AND table1.timestamp >= (CURRENT_DATE - INTERVAL '1 days')
GROUP BY card_no
ORDER BY card_no

max_trans_date 具有非空值的那些记录将是在 table2 上进行过交易的卡。如果您将 LEFT JOIN 更改为 INNER JOIN，您将只会获得之前交易过的那些卡。如果您在 where 子句 AND max_trans_date IS NULL 中使用带有附加过滤器的 LEFT JOIN，您将只获得那些没有以前交易的卡。