具有多列 group by 和 where 子句的每列的最新值

Question

给定这个 200 万+ 条目表，ID 自动递增，以及 index1(MainId,SubID,Column1) index2(MainId,SubID,Column2):

ID  MainID  SubID  Column1    Column2 
--------------------------------------
1     1       A   1A_data_1           
2     1       A              1A_data_2
3     2       B   2B_data_1           
4     2       B              2B_data_2
5     1       A   ignore_me             
6     1       A              1A_data_3

我可以使用以下索引获取包含所需列值的行 ID：

Select max(ID) 
From table where column1 is not null and column1 <>'ignore_me'
Group By MainID,SubID

Select max(id) 
From table where column2 is not null and column2 <>'ignore_me'
Group By MainID,SubID

但我不能做的是找到一种有效的方法将这些与 MainID、SubID 组结合起来以获得这些结果：

MainID  SubID  Column1    Column2
--------------------------------
  1       A   1A_data_1  1A_data_3
  2       B   2B_data_1  2B_data_2

我尝试了很多不同的方法，但没有什么是不会永远持续下去的。我需要另一个索引吗？我觉得我忽略了一些简单的事情，因为查询分组非常快。谁能指出我正确的方向？

Answer 1

您可以使用条件聚合在单个查询中计算两个 ID：

SELECT
  MainID,
  SubID,
  MAX(CASE WHEN Column1 <> 'ignore_me' THEN ID END) AS ID1,
  MAX(CASE WHEN Column2 <> 'ignore_me' THEN ID END) AS ID2
FROM atable
GROUP BY
  MainID,
  SubID
;

您也可以在 WHEN 条件中显式添加 AND Column<i>N</i> IS NOT NULL，但这不是必需的，NULL 值无论如何都会被忽略。

现在您可以简单地将上述子查询作为派生表进行两次左连接：

SELECT
  tm.MainID,
  tm.SubID,
  t1.Column1,
  t2.Column2
FROM (
  SELECT
    MainID,
    SubID,
    MAX(CASE WHEN Column1 <> 'ignore_me' THEN ID END) AS ID1,
    MAX(CASE WHEN Column2 <> 'ignore_me' THEN ID END) AS ID2
  FROM atable
  GROUP BY
    MainID,
    SubID
) tm
  LEFT JOIN atable t1 ON tm.ID1 = t1.ID
  LEFT JOIN atable t2 ON tm.ID2 = t2.ID
;

---

更新（转换为视图，响应 cmets）

到目前为止，我只能看到一种对 VIEW 友好的替代方案：

SELECT
  MainID,
  SubID,
  (
    SELECT Column1
    FROM atable
    WHERE MainID = t.MainID
      AND SubID  = t.SubID
      AND Column1 <> 'ignore_me'
    ORDER BY ID DESC
    LIMIT 1
  ) AS ID1,
  (
    SELECT Column2
    FROM atable
    WHERE MainID = t.MainID
      AND SubID  = t.SubID
      AND Column2 <> 'ignore_me'
    ORDER BY ID DESC
    LIMIT 1
  ) AS ID2
FROM atable t
GROUP BY
  MainID,
  SubID
;

不过，这个查询可能比前​​一个查询慢：它使用两个相关的子查询，而且我不确定在 MySQL 中具有相关子查询的查询（或特别是视图）是否有效。适当的索引可能会有所帮助。一般来说，您可能需要自己测试一下。