优化多个连接

Question

我正在尝试找出一种方法来加快一个特别繁琐的查询，该查询按日期在几个表中聚合一些数据。下面是完整的（丑陋的）查询以及EXPLAIN ANALYZE，以显示它是多么可怕。

如果有人可以偷看一下，看看他们是否能发现任何重大问题（这很可能，我不是 Postgres 人），那就太棒了。

就这样吧。查询是：

SELECT 
 to_char(p.period, 'DD/MM/YY') as period,
 coalesce(o.value, 0) AS outbound,
 coalesce(i.value, 0) AS inbound
FROM (
 SELECT
  date '2009-10-01' + s.day 
  AS period 
  FROM generate_series(0, date '2009-10-31' - date '2009-10-01') AS s(day)
) AS p 
LEFT OUTER JOIN(
 SELECT
  SUM(b.body_size) AS value, 
  b.body_time::date AS period 
 FROM body AS b 
 LEFT JOIN 
  envelope e ON e.message_id = b.message_id 
 WHERE 
  e.envelope_command = 1 
  AND b.body_time BETWEEN '2009-10-01' 
  AND (date '2009-10-31' + INTERVAL '1 DAY') 
 GROUP BY period 
 ORDER BY period
) AS o ON p.period = o.period
LEFT OUTER JOIN( 
 SELECT 
  SUM(b.body_size) AS value, 
  b.body_time::date AS period 
 FROM body AS b 
 LEFT JOIN 
  envelope e ON e.message_id = b.message_id 
 WHERE 
  e.envelope_command = 2 
  AND b.body_time BETWEEN '2009-10-01' 
  AND (date '2009-10-31' + INTERVAL '1 DAY') 
 GROUP BY period 
 ORDER BY period
) AS i ON p.period = i.period 

EXPLAIN ANALYZE 可以在这里找到：on explain.depesz.com

感谢任何 cmets 或问题。

干杯

Answer 1

以 Craig Young 的 suggestions 为基础，这里是修改后的查询，我正在处理的数据集运行时间约为 1.8 秒。这比原来的 ~2.0s 略有改进，对 Craig 的约 22s 的改进是巨大的。

SELECT
    p.period,
    /* The pivot technique... */
    SUM(CASE envelope_command WHEN 1 THEN body_size ELSE 0 END) AS Outbound,
    SUM(CASE envelope_command WHEN 2 THEN body_size ELSE 0 END) AS Inbound
FROM
(
    /* Get days range */
    SELECT date '2009-10-01' + day AS period
    FROM generate_series(0, date '2009-10-31' - date '2009-10-01') AS day
) p
    /* Join message information */
    LEFT OUTER JOIN
    (
        SELECT b.body_size, b.body_time::date, e.envelope_command
        FROM body AS b 
            INNER JOIN envelope e ON e.message_id = b.message_id 
        WHERE
            e.envelope_command IN (2, 1)
            AND b.body_time::date BETWEEN (date '2009-10-01') AND (date '2009-10-31')
    ) d ON d.body_time = p.period
GROUP BY p.period
ORDER BY p.period

Answer 2

在优化查询时总是要考虑两件事：

• 可以使用哪些索引（您可能需要创建索引）
• 查询的编写方式（您可能需要更改查询以使查询优化器能够找到适当的索引，并且不会重复读取数据）

一些观察：

• 在加入日期之前，您正在执行日期操作。作为一般规则，这将阻止查询优化器使用索引，即使它存在。您应该尝试编写表达式，使索引列在表达式的一侧保持不变。

• 您的子查询过滤到与generate_series 相同的日期范围。这是一个重复，它限制了优化器选择最有效优化的能力。我怀疑可能是为了提高性能而写入的，因为优化器无法在日期列上使用索引 (body_time)？

• 注意：我们实际上非常希望在Body.body_time上使用索引

• ORDER BY 在子查询中充其量是多余的。在最坏的情况下，它可能会强制查询优化器在加入之前对结果集进行排序；这对查询计划不一定有好处。而是仅在最后应用订购权以进行最终展示。

• 在您的子查询中使用 LEFT JOIN 是不合适的。假设您对NULL 行为使用ANSI 约定（并且您应该这样做），任何outer 连接到envelope 都将返回envelope_command=NULL，因此这些将被条件@987654329 排除在外@。

• 子查询o 和i 几乎相同，除了envelope_command 值。这迫使优化器扫描相同的基础表两次。您可以使用 数据透视表 技术将数据连接一次，然后将值拆分为 2 列。

尝试以下使用枢轴技术的方法：

SELECT  p.period,
        /*The pivot technique in action...*/
        SUM(
        CASE WHEN envelope_command = 1 THEN body_size
        ELSE 0
        END) AS Outbound,
        SUM(
        CASE WHEN envelope_command = 2 THEN body_size
        ELSE 0
        END) AS Inbound
FROM    (
        SELECT  date '2009-10-01' + s.day AS period
        FROM    generate_series(0, date '2009-10-31' - date '2009-10-01') AS s(day)
        ) AS p 
        /*The left JOIN is justified to ensure ALL generated dates are returned
          Also: it joins to a subquery, else the JOIN to envelope _could_ exclude some generated dates*/
        LEFT OUTER JOIN (
        SELECT  b.body_size,
                b.body_time,
                e.envelope_command
        FROM    body AS b 
                INNER JOIN envelope e 
                  ON e.message_id = b.message_id 
        WHERE   envelope_command IN (1, 2)
        ) d
          /*The expressions below allow the optimser to use an index on body_time if 
            the statistics indicate it would be beneficial*/
          ON d.body_time >= p.period
         AND d.body_time < p.period + INTERVAL '1 DAY'
GROUP BY p.Period
ORDER BY p.Period

编辑：添加了 Tom H 建议的过滤器。

Answer 3

几天前我卸载了我的 PostgreSQL 服务器，所以您可能不得不尝试一下，但希望这对您来说是一个好的开始。

关键是：

1. 您不需要子查询 - 只需执行直接连接和聚合即可
2. 您应该能够使用 INNER JOIN，它通常比 OUTER JOIN 性能更高

如果没有别的，我认为下面的查询更清楚一些。

我在查询中使用了日历表，但您可以在使用时将其替换为 generate_series。

此外，根据索引，最好将 body_date 与 >= 和 = date (time=midnight) AND body_date

SELECT
    CAL.calendar_date AS period,
    SUM(O.body_size) AS outbound,
    SUM(I.body_size) AS inbound
FROM
    Calendar CAL
INNER JOIN Body OB ON
    OB.body_time::date = CAL.calendar_date
INNER JOIN Envelope OE ON
    OE.message_id = OB.message_id AND
    OE.envelope_command = 1
INNER JOIN Body IB ON
    IB.body_time::date = CAL.calendar_date
INNER JOIN Envelope IE ON
    IE.message_id = IB.message_id AND
    IE.envelope_command = 2
GROUP BY
    CAL.calendar_date