mysql 表很少，一个大表上的子查询执行缓慢

Question

我们在 mysql 数据库上查询时遇到性能缓慢的问题，我们不确定查询是否错误，或者 mysql 或服务器不够好。

带有子查询的查询返回一些项目详细信息（3 个字段）和最近拍摄的在线相机照片的文件名。

信息 表“项目”包含 40 条记录。 表“相机”包含大约 40 条记录（1 个项目，可能有多个相机） 表“cameraimages”包含大约 250000（250000）条记录。 （一台相机可以有数千张图像） 引擎是 InnoDb 数据库大小约为 100Mb 尚未添加任何索引。

版本号mysql 8.0.15

这是查询

SELECT
    pj.title,
    pj.description,
    pj.city,
    (SELECT cmi.filename 
       FROM cameras cm
       LEFT JOIN cameraimages cmi ON cmi.cameraId = cm.id
      WHERE cm.projectId = pj.id
      ORDER BY cmi.dateRecording DESC 
      LIMIT 0,1) as latestfilename
FROM
    projects pj

返回此数据需要 40-50 秒。 这对网页来说太长了，但我认为根本不需要那么长时间。 我们在另一台服务器上测试了相同的查询，以进行比较。相同的数据，相同的查询。 这需要 25 秒。

我的问题是：

1. 此查询是否为“重/差”，如果是，哪个查询应该执行得更好？
2. 有没有办法或者我应该检查什么来找出为什么这个查询在旧的/其他服务器上运行得更好？

希望有人能给点建议。 谢谢！

附加信息

CREATE TABLE `cameras` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `guid` varchar(50) DEFAULT NULL,
  `title` varchar(50) DEFAULT NULL,
  `longitude` double DEFAULT NULL,
  `latitude` double DEFAULT NULL,
  `status` smallint(6) DEFAULT NULL,
  `cameraUid` varchar(20) DEFAULT NULL,
  `cameraFriendlyName` varchar(50) DEFAULT NULL,
  `projectId` int(11) DEFAULT NULL,
  `dateCreated` datetime DEFAULT NULL,
  `dateModified` datetime DEFAULT NULL,
  `address` varchar(100) DEFAULT NULL,
  `city` varchar(50) DEFAULT NULL,
  `createArchive` smallint(6) DEFAULT '0',
  `createDaily` smallint(6) DEFAULT '1',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=88 DEFAULT CHARSET=latin1

cameraId,dateRecording 列是唯一的。 一台相机同时拍摄照片。

Answer 1

您正在使用所谓的依赖子查询。这很慢。

我猜cameraimages.id 是您的相机图像文件的主键。这是一个猜测。您没有在问题中提供足够的信息来肯定地回答。

我还猜想cameraimages 中的dateRecording 值与您的自动递增主键id 值的顺序相同。也就是说，我猜您在捕获每张图像时向该表插入一条记录。

让我们分解一下。

您想要每个项目的最新图像的id。你怎么能得到那个？编写一个子查询来检索每个项目的最大、最新的id。

                         SELECT cm.projectId,
                                MAX(cmi.id) imageId
                           FROM cameras cm
                           JOIN cameraimages cmi ON cmi.cameraId = cm.id
                          GROUP BY cm.projectId

该子查询完成了搜索大表的繁重工作。它只执行一次，而不是针对每个项目，因此不会花费很长时间。

然后将该子查询放入您的查询中以检索您需要的列。

 SELECT 
       pj.title,
       pj.description,
       pj.city,
       cmi.filename latestfilename
  FROM projects pj
  JOIN (
                         SELECT cm.projectId,
                                MAX(cmi.id) imageId
                           FROM cameras cm
                           JOIN cameraimages cmi ON cmi.cameraId = cm.id
                          GROUP BY cm.projectId
       ) latest ON pj.id = latest.projectId
  JOIN cameraimages cmi ON cmi.imageId = latest.imageId

这有一系列 JOIN 构成从 projects 到 latest 子查询并从那里到 cameraimages 的链。

这取决于cameraimages.id 值是否按时间顺序排列。如果它们不是按照更精细的查询的顺序，仍然可以完成。

Answer 2

索引：

cm:   INDEX(projectId, id)
cmi:  INDEX(cameraId, dateRecording, filename)
cmi:  INDEX(cameraId, id)

Answer 3

当cameraimages.id 值不是按时间顺序排列时，我们需要使用最新的dateRecording 值。

这将需要一系列子查询。因此，与其嵌套它们，不如使用 MySQL 8+ Common Table Expressions。这是一个很大的查询。

WITH 
ProjectCameraImage AS (
     /* a virtual version of the cameraimages table including projectId */
     SELECT cmi.id, cmi.dateRecording, cm.projectId, cm.cameraId 
       FROM cameras cm
       JOIN cameraimages cmi ON cm.id = cmi.cameraId
),

LatestDate AS (
     /* the latest date for each entry in ProjectCameraImage */
     /* Notice how this uses MAX rather than ORDER BY ... DESC LIMIT 1 */
     SELECT projectId, cameraId, 
            MAX(dateRecording) dateRecording
       FROM ProjectCameraImage
      GROUP BY projectId, cameraId
),

ProjectCameraLatest AS (
      /* the cameraimage.id values for the latest images in ProjectCameraImage */
      SELECT ProjectCameraImage.id, 
             ProjectCameraImage.projectId, 
             ProjectCameraImage.cameraId,
             ProjectCameraImage.dateRecording
        FROM ProjectCameraImage 
        JOIN LatestDate
                 ON ProjectCameraImage.projectId = LatestDate.projectId
                AND ProjectCameraImage.cameraId = LatestDate.cameraId
                AND ProjectCameraImage.dateRecording = LatestDate.dateRecording
),

LatestProjectDate AS (
       /* the latest data for each entry in ProjectCameraLatest */
       SELECT projectId, 
              MAX(dateRecording) dateRecording
         FROM ProjectCameraLatest
        GROUP BY projectId
),

ProjectLatest AS (
        /* the cameraimage.id values for the latest images in ProjectCameraLatest */
        SELECT ProjectCameraLatest.id,
               ProjectCameraLatest.projectId
          FROM ProjectCameraLatest
          JOIN LatestProjectDate 
                ON ProjectCameraLatest.projectId = LatestProjectDate.projectId
               AND ProjectCameraLatest.dateRecording = LatestProjectDate.dateRecording
)

/* the main query */
SELECT pj.title,
       pj.description,
       pj.city,
       cmi.filename latestfilename
  FROM projects pj
  JOIN ProjectLatest ON pj.id = ProjectLatest.projectId
  JOIN cameraimages cmi ON ProjectLatest.id = cmi.id;

这很重要，因为我们必须经历两个不同的循环来找到具有最大 dateRecording 的 cameraimages.id 值。

编辑 就搜索表而言，繁重的工作发生在第二个公用表表达式 (CTE) 中，即 LatestDate。我建议为您的cameraimages 表添加一个索引，如下所示，以增强它。

CREATE INDEX cmi_cameraid_daterec 
          ON cameraimages (cameraId, dateRecording DESC);

该复合索引应允许cameraId 随机访问，然后快速访问最新日期。请注意，它也应该有助于 ProjectCameraLatest CTE。

您可以通过将主查询中的最后一个 SELECT 更改为 SELECT * FROM LatestDate; 来测试其性能。并查看它是否/如何使用索引尝试using EXPLAIN or EXPLAIN ANALYZE：使用EXPLAIN SELECT * FROM LatestDate; 作为主要查询。

如果您在使用和不使用索引的情况下运行 EXPLAIN，您可能会学到一些有关索引的有用信息。