SQL - 只保留每天的第一条和最后一条记录

Question

我有一个存储简单日志数据的表：

CREATE TABLE chronicle (
    id INT auto_increment PRIMARY KEY, 
    data1 VARCHAR(256),
    data2 VARCHAR(256),
    time DATETIME
);

该表已接近 100 万条记录，因此我想开始合并数据。

我希望能够每天获取每个DISTINCT(data1, data2) 的第一条和最后一条记录，并删除所有其余的。

我知道如何只提取数据并以我想要的任何语言对其进行处理，然后删除带有巨大 IN (...) query 的记录，但直接使用 SQL 似乎是一个更好的选择（我错了吗？）

我尝试了几个查询，但除了 JOIN 之外，我对 SQL 不太擅长。

这是我目前所拥有的：

SELECT id, Max(time), Min(time)
FROM   (SELECT id, data1 ,data2, time, Cast(time AS DATE) AS day
        FROM chronicle) AS initial
GROUP BY day;

这让我得到了每天的第一次和最后一次，但它并没有被数据分开（即我得到每天的最后一条记录，而不是每天每组不同数据的最后一条记录。）另外，id 仅用于 Min(time)。

我在这个特定问题上找到的信息仅用于查找当天的最后一条记录，而不是数据集的每条最后一条记录。

重要提示：我想要每个 DISTINCT(data1, data2) 每天的第一条/最后一条记录，而不仅仅是表格中每天的第一条/最后一条记录。每天将有超过 2 条记录。

解决方案： 感谢 Jonathan Dahan 和 Gordon Linoff 我的解决方案：

SELECT o.data1, o.data2, o.time FROM chronicle AS o JOIN (
    SELECT Min(id) as id FROM chronicle GROUP BY DATE(time), data1, data2
    UNION SELECT Max(id) as id FROM test_chronicle GROUP BY DATE(time), data1. data2
) AS n ON o.id = n.id;

从这里开始，只需引用同一个表即可删除行。

Answer 1

这将提高搜索日期时的性能。

ALTER TABLE chronicle
ADD INDEX `ix_chronicle_time` (`time` ASC);

这将删除记录：

CREATE TEMPORARY TABLE #tmp_ids (
  `id` INT NOT NULL,
  PRIMARY KEY (`id`)
);

INSERT INTO #tmp_ids (id)
SELECT
    min(id)
FROM
    chronicle
GROUP BY
    CAST(day as DATE),
    data1,
    data2
UNION
SELECT
    Max(id)
FROM
    chronicle
GROUP BY
    CAST(day as DATE),
    data1,
    data2;

DELETE FROM
    chronicle
WHERE
    ID not in (select id FROM #tmp_ids)
    AND date <= '2015-01-01'; -- if you want to consider all dates, then remove this condition

Answer 2

你的想法是对的。您只需要重新加入即可获取原始信息。

SELECT c.*
FROM chronicle c JOIN
     (SELECT date(time) as day, min(time) as mint, max(time) as maxt
      FROM chronicle
      GROUP BY date(time)
     ) cc
     ON c.time IN (cc.mint, cc.maxt);

请注意，join 条件不需要明确包含day，因为它是time 的一部分。当然，如果你愿意，你可以添加date(c.time) = cc.day。

建议您创建一个新表，而不是删除原始表中的行。事情是这样的：

create table ChronicleByDay like chronicle;

insert into ChronicleByDay
    SELECT c.*
    FROM chronicle c JOIN
         (SELECT date(time) as day, min(time) as mint, max(time) as maxt
          FROM chronicle
          GROUP BY date(time)
         ) cc
         ON c.time IN (cc.mint, cc.maxt);

这样，您可以在需要时获得更详细的信息。