SQL - 加速查询

Question

我目前使用以下查询，由于数据量大，大约需要 8 分钟才能返回结果（大约 14 个月）。请问有什么办法可以加快速度吗？

有问题的数据库是带有 InnoDb 引擎的 MySQL

select
    CUSTOMER as CUST,
    SUM(IF(PAGE_TYPE = 'C',PAGE_TYPE_COUNT,0)) AS TOTAL_C,
    SUM(IF(PAGE_TYPE = 'D',PAGE_TYPE_COUNT,0)) AS TOTAL_D
from
        PAGE_HITS
where
    EVE_DATE >= '2016-01-01' and EVE_DATE <= '2016-01-05'
    and SITE =  'P'
    and SITE_SERV like 'serv1X%'
group by
    CUST

数据按 6 个月划分。进入 where 子句的每一列都被索引。有相当多的索引 & 将是一个很大的列表要在这里列出。因此，只能用文字来概括。对于此查询，EVE_DATE + PAGE_TYPE_COUNT 是复合索引之一，CUST + SITE_SERV + EVE_DATE、EVE_DATE + SITE_SERV、EVE_DATE + SITE、

主键实际上是一个虚拟的自增数字。它不习惯诚实。我无权访问解释计划。我会看看我能为此做些什么。

如果有任何帮助来改进这一点，我将不胜感激。

Answer 1

添加这两个索引：

INDEX(site, date)
INDEX(site, site_serv)

优化器将查看统计信息并在它们之间进行选择。粗略地说，如果在该范围内包含 'P' 和 DATE 的行数少于 'P' 和 'serv1X%' 的行数，第一个会更好。

是的，Thorsten 的“覆盖”索引可能会更好，但它的字段比我想放入索引的要多。

PARTITIONing可能帮助。但是没有太多的信息可以肯定地说。分区可能有帮助的原因是您有一个“二维”查找——一个日期范围和“serv1X%”。您需要在 date 或 site_serv 上进行分区，然后将 PRIMARY KEY(site, ..., ...) 与（date 或 site_serv）中的另一个作为第二列。其余列将需要同时包含分区键和某些列以使其唯一。这变得如此混乱，以至于我不想仔细考虑。

Answer 2

好的，由于表范围分区在 EVE_DATE，DBMS 应该很容易看到要读取哪个分区。所以关键是要使用什么索引。

您检查一列是否相等 (SITE = 'P')。这应该在您的索引中排在第一位。然后，您可以按我猜的任何顺序添加EVE_DATE 和SITE_SERV。因此，您的索引应该能够尽快找到有问题的表记录。

但是，如果您将查询中使用的其他字段添加到索引中，则甚至不必读取该表，因为所有数据都可以在索引本身中使用：

create index on page_hits(site, eve_date, site_serv, customer, page_type, page_type_count);

如果我没记错的话，这应该是您查询的最佳索引。

Answer 3

我没有数据，所以我无法测试它的速度，但我认为它会更快。

select
    CUSTOMER as CUST,
    SUM(PAGE_TYPE_COUNT * (PAGE_TYPE = 'C')) AS TOTAL_C,
    SUM(PAGE_TYPE_COUNT * (PAGE_TYPE = 'D')) AS TOTAL_D
from
        PAGE_HITS
where
    EVE_DATE >= '2016-01-01' and EVE_DATE <= '2016-01-05'
    and SITE =  'P'
    and SITE_SERV like 'serv1X%'
group by
    CUST

它在我的 MySql 5.6 上工作得很好

Answer 4

主要的优化因素是索引。应尽可能匹配您的查询，例如：

EVE_DATE, SITE, CUST, SITE_SERV

顺序很重要，至少对于 SITE_SERV 作为最后一个值；当您在其上使用 LIKE 时，您将不会使用完整值，这会降低下一列的索引效率。

您还可以通过删除IF 并返回类型和计数来获得一点好处；也许您可以在前端应用程序中处理/格式化此值？

无论如何，您应该从使用EXPLAIN 分析当前查询开始，看看出了什么问题。如果你不能，你可以尝试在本地数据库上复制结构、索引和一些虚拟数据，那里的卷是无关紧要的。