用于使用 WHERE 和 GROUP BY 的查询的最有效索引？

Question

我有一个大约 700 万行的表，我不断地运行这种查询：

SELECT 
      MyField, 
      COUNT(*) 
   FROM 
      MyTable 
   WHERE 
          MyField2='ConstantValue' 
      AND MyField NOT IN ( SELECT Field 
                              FROM AnotherTable) 
      AND Timestamp >= [ArbitraryTimestamp] 
   GROUP BY 
      MyField;

上述字段的基数：

• MyField = 大约 40,000 个不同的值。
• 时间戳 = 大多数是不同的，因此大约有 700 万个不同的值。
• MyField2 = 2 个不同的值。
• 来自 AnotherTable 的字段 = 大约 50 个不同的值。

正如预期的那样，这运行得非常慢，使用EXPLAIN 告诉我我是Using where; Using temporary; Using filesort。

我想通过向该表添加索引来提高这些查询的效率，但我不确定最好的方法是什么。

我应该在MyField 上添加索引吗？并索引Timestamp？两个都？两者的组合索引？

另外，我还能做些什么来加快这类查询的速度吗？

Answer 1

你应该先用 MyField 添加一个双键索引（分组依据）：

CREATE INDEX MyIndex
    ON MyTable (MyField, Timestamp)

Answer 2

MyField 上的 GROUPBY 将强制 MySQL 创建一个临时表，这就是为什么您在 EXPLAIN 中获得 using temporary 的原因。并且创建一个大约 700 万行的临时表肯定会是一个痛苦的查询。

尝试几件事（在实施每个建议后，重新运行查询并检查查询时间）：

1. 为 MyField 添加索引
2. 查看是否可以通过添加最大时间戳（结合您的最小时间戳）来限制行数
3. 专门为 MyField2 和 MyField3 列添加索引
4. 如果您的查询响应仍然很慢，请尝试在所有三列（Myfield、MyField2 和 MyField3）中添加复合索引

如果上述方法都不能立即帮助您，请查看此 post 描述如何使用子查询来获取计数，这完全避免了 GROUP BY。

Answer 3

除了 Mike 和 DKamins 的建议之外，子查询可能是另一个瓶颈。我会将其重组为 LEFT JOIN 并根据 IS NULL 应用（确保“AnotherTable”在连接的“字段”上有索引

SELECT 
      MyField, 
      COUNT(*) 
   FROM 
      MyTable 
         LEFT join AnotherTable
            on MyTable.MyField = AnotherTable.Field
   WHERE 
          MyField2='ConstantValue' 
      AND AnotherTable.Field IS NULL 
      AND Timestamp >= [ArbitraryTimestamp] 
   GROUP BY 
      MyField;

我会专门根据 (MyField2, TimeStamp, MyField) 建立我的索引。 MyField2 是您的特定限定符，不要费心在您的重点中包含其他杂项...从那里，您正在查看特定的时间范围...从那里，拥有 MyField 也将有助于优化 GroupBy。键/位置的前两部分专门用于过滤您的条件，因此其余部分已按正确顺序进行分组。