MySQL查询慢不知道如何优化

Question

MySQL 查询 SLOW 不知道如何优化

我认为我对硬件 60GB RAM 10 核 SSD 没问题

您好我有一个大问题，这个查询在 Mysql 上运行缓慢，他们的查询如下：

# Thread_id: 1165100  Schema: back-Alvo-11-07-19  QC_hit: No
# Query_time: 9.015205  Lock_time: 0.000188  Rows_sent: 1  Rows_examined: 2616880
# Rows_affected: 0
SET timestamp=1568549358;
SELECT count(*) as total_rows FROM(
(SELECT m.*
FROM phpfox_channel_video AS m
INNER JOIN phpfox_channel_category AS mc
    ON(mc.category_id = mc.category_id)
INNER JOIN phpfox_channel_category_data AS mcd
    ON(mcd.video_id = m.video_id)

WHERE m.in_process = 0 AND m.view_id = 0 
     AND m.module_id = 'videochannel' 
    AND m.item_id = 0 AND m.privacy IN(0) 
    AND mcd.category_id = 17
GROUP BY m.video_id
ORDER BY m.time_stamp DESC
LIMIT 12

)) AS m
JOIN phpfox_user AS u
    ON(u.user_id = m.user_id);

这个查询运行很慢，你可以看到 9 秒

在寻找优化查询的在线帮助时，总是谈论添加索引，

正如您在下面看到的 EXPLAIN 语句我已经有索引

你们有什么想法我应该在哪里提高这个查询的速度吗？我不是 DB 家伙，对此很难。这是一个网站，有 400,000 个视频。

谢谢

Answer 1

说明显示您没有使用表phpfox_channel_video as m 上的索引，并且它正在使用表phpfox_channel_category AS mc 上的临时索引，这意味着它没有使用索引，而是首先构建索引，这需要相当长的时间。

另外，表phpfox_channel_category_data AS mcd 的索引可能会更好。

你需要的索引是：

CREATE INDEX idx_cat_data_video_id ON phpfox_channel_category_data
  (category_id, video_id);
CREATE INDEX idx_channel_cat_id ON phpfox_channel_category (category_id);
CREATE INDEX idx_video_mult ON phpfox_channel_video
  (in_process, view_id, module_id, item_id, privacy, video_id, time_stamp);

Answer 2

• 如果您只想获取COUNT(*)，请不要获取m.*。
• 如果phpfox_channel_category 是多对多映射表，请遵循http://mysql.rjweb.org/doc.php/index_cookbook_mysql#many_to_many_mapping_table 中的提示
• m 需要INDEX(in_process, view_id, module_id, item_id, privacy)，顺序不限。

• 避免GROUP BY：

           INNER JOIN  phpfox_channel_category AS mc ON(mc.category_id = mc.category_id)
           INNER JOIN  phpfox_channel_category_data AS mcd ON(mcd.video_id = m.video_id)
           AND  mcd.category_id = 17
           GROUP BY  m.video_id
  

-->（类似）

    AND EXISTS(
                 SELECT 1
                     FROM phpfox_channel_category      AS mc
                     JOIN phpfox_channel_category_data AS mcd
                             ON mcd.video_id = mc.video_id
                     WHERE mcd.video_id = 17
                       AND mc.video_id = m.video_id
              )

Answer 3

让我们确保我们正在优化正确的查询。我建议我们在ON 子句中检查这个条件：

 mc.category_id = mc.category_id

我们知道对于mc 中的每一行，category_id 的非 NULL 值都是 TRUE。我们可以将该条件表示为：

 mc.category_id IS NOT NULL

这意味着连接几乎是交叉连接；从m 返回的每一行都与mc 的每一行匹配。也就是说，我们可以得到一个等价的结果：

   FROM phpfox_channel_video    m
   JOIN phpfox_channel_category    mc
     ON mc.category_id IS NOT NULL

我怀疑这实际上不是我们想要的结果。我认为我们的意思是匹配m.category_id。但这只是猜测。

---

如果video_id 列是m 上的PRIMARY KEY 或UNIQUE KEY，我们可以通过使用具有相关子查询的EXISTS 来避免创建重复行的连接，从而避免可能代价高昂的GROUP BY 操作。如果我们可以避免生成带有重复值video_id 的中间结果，那么我们就可以避免执行GROUP BY 的需要。

另外，对于内联视图查询，我们可以只返回我们需要的表达式，而不是返回所有列*。在外部查询中，唯一引用的列是user_id。

所以我们可以这样写：

SELECT COUNT(*) AS total_rows
  FROM (
         SELECT m.user_id
           FROM phpfox_channel_video m
          WHERE EXISTS ( SELECT 1
                           FROM phpfox_channel_category mc
                          WHERE mc.category_id  = m.category_id
                      --        mc.category_id = mc.category_id  -- <original
                       )
            AND EXISTS ( SELECT 1
                           FROM phpfox_channel_category_data mcd
                          WHERE mcd.video_id     = m.video_id
                            AND mcd.category_id  = 17
                       )
            AND m.in_process  = 0
            AND m.view_id     = 0
            AND m.module_id   = 'videochannel'
            AND m.item_id     = 0
            AND m.privacy   IN (0)
          ORDER BY m.time_stamp DESC
          LIMIT 12
       ) d
    JOIN phpfox_user u
      ON u.user_id = d.user_id

为了调整，m 的最佳索引将具有具有相等谓词的前导列，然后是 time_stamp 列，这样我们就可以避免“使用文件排序”操作，ORDER BY 可以通过返回行来满足按索引顺序。看起来我们需要对行进行排序的原因是为了 LIMIT 子句。

... ON phpfox_channel_video (in_process, view_id, item_id, module_id
          , time_stamp, video_id, ... )

另外两个表，我们需要具有相等谓词的前导列的索引

... ON phpfox_channel_category_data (video_id, category_id, ...)

... ON phpfox_channel_category ( category_id, ... )

---

注意事项：

（不完全清楚为什么我们需要内联视图，并且我们正在延迟 user_id 引用的连接。再说一次，整个查询的重点对我来说并不是很明显；我只是提供重写，给定提供的 SQL，更改为条件category_id。）

以上假设category_id列存在于m中，并且是一对多的关系。

但如果这不是真的...如果mcd 表实际上是连接表，解决视频和类别之间的多对多关系，这样连接条件就应该是

 mcd.category_id = mc.category_id 
   ^

然后我们希望将上面查询中的WHERE EXISTS 和AND EXISTS 替换为单个相关子查询。像这样的：

SELECT COUNT(*) AS total_rows
  FROM (
         SELECT m.user_id
           FROM phpfox_channel_video m
          WHERE EXISTS ( SELECT 1
                           FROM phpfox_channel_category mc
                           JOIN phpfox_channel_category_data mcd
                             ON mcd.category_id  = mc.category_id 
                          WHERE mcd.video_id     = m.video_id
                            AND mcd.category_id  = 17
                       )
            AND m.in_process  = 0
            AND m.view_id     = 0
            AND m.module_id   = 'videochannel'
            AND m.item_id     = 0
            AND m.privacy   IN (0)
          ORDER BY m.time_stamp DESC
          LIMIT 12
       ) d
    JOIN phpfox_user u
      ON u.user_id = d.user_id