使用重连接优化 MySQL 查询

Question

我目前经营一个网站，该网站在列表中跟踪最新分数和评级。该列表有数千个经常更新的条目，并且该列表应该可以按这些分数和评级列进行排序。

我获取这些数据的 SQL 目前看起来像（大致）：

SELECT e.*, SUM(sa.amount) AS score, AVG(ra.rating) AS rating
FROM entries e 
LEFT JOIN score_adjustments sa ON sa.entry_id = e.id
    HAVING sa.created BETWEEN ... AND ... 
LEFT JOIN rating_adjustments ra ON ra.entry_id = e.id
    HAVING ra.rating > 0 
ORDER BY score 
LIMIT 0, 10

表格在哪里（简化）：

entries:
    id: INT(11) PRIMARY
    ...other data...

score_adjustments:
    id: INT(11), PRIMARY
    entry_id: INT(11), INDEX, FOREIGN KEY (entries.id)
    created: DATETIME
    amount: INT(4)

rating_adjustments:
    id: INT(11), PRIMARY
    entry_id: INT(11), INDEX, FOREIGN KEY (entries.id)
    rating: DOUBLE

大约有 300,000 个score_adjustments 条目，并且它们以每天大约 5,000 个的速度增长。 rating_adjustments 大约是那个的 1/4。

现在，我不是 DBA 专家，但我猜一直调用 SUM() 和 AVG() 并不是一件好事——尤其是当 sa 和 ra 包含数十万条记录时——对吧？

我已经对查询进行了缓存，但我希望查询本身快速 - 但仍尽可能保持最新。我想知道是否有人可以分享任何解决方案来优化像这样的繁重的连接/聚合查询？如有必要，我愿意进行结构更改。

编辑 1

添加了有关查询的更多信息。

Answer 1

你的数据很糟糕clustered。

InnoDB 将存储具有物理上靠近的“关闭”PK 的行。由于您的子表使用代理 PK，因此它们的行将随机存储。当需要对“主”表中的给定行进行计算时，DBMS 必须到处跳转以从子表中收集相关行。

尝试使用更“自然”的键来代替代理键，将父键的 PK 放在前缘，类似于：

score_adjustments:
    entry_id: INT(11), FOREIGN KEY (entries.id)
    created: DATETIME
    amount: INT(4)
    PRIMARY KEY (entry_id, created)

rating_adjustments:
    entry_id: INT(11), FOREIGN KEY (entries.id)
    rating_no: INT(11)
    rating: DOUBLE
    PRIMARY KEY (entry_id, rating_no)

注意：这假设created 的分辨率足够好，并且添加了rating_no 以允许每个entry_id 进行多个评级。这只是一个示例 - 您可以根据需要更改 PK。

这将“强制”属于同一entry_id 的行在物理上靠得很近存储，因此只需对 PK/集群键进行范围扫描并使用很少的 I/O 即可计算 SUM 或 AVG。

或者（例如，如果您使用不支持集群的 MyISAM），cover 带有索引的查询，因此在查询期间根本不会触及子表。

---

最重要的是，您可以对设计进行非规范化，并将当前结果缓存在父表中：

• 将 SUM(score_adjustments.amount) 存储为物理字段，并在每次从 score_adjustments 插入、更新或删除行时通过触发器对其进行调整。
• 将 SUM(rating_adjustments.rating) 存储为“S”和 COUNT(rating_adjustments.rating) 存储为“C”。当将一行添加到rating_adjustments 时，将其添加到 S 并递增 C。在运行时计算 S/C 以获得平均值。以类似方式处理更新和删除。

Answer 2

如果您担心性能问题，您可以将 score 和 rating 列添加到相应的表中，并在插入时更新它们或使用触发器更新引用的表。这将在每次更新时缓存新结果，并且您不必每次都重新计算它们，从而显着减少获得结果所需的连接量......只是猜测，但在大多数情况下，您的查询结果可能是获取的次数多于更新的次数。

查看这个 sql fiddle http://sqlfiddle.com/#!2/b7101/1 以了解如何制作触发器及其效果，我只在插入时添加了触发器，您可以很容易地添加更新触发器，如果​​您曾经删除数据添加删除触发器。

没有添加 datetime 字段，如果 between ... and ... 参数经常更改，您可能仍需要每次手动执行此操作，否则您只需将 between 子句添加到 score_update 触发器。