Laravel - 如何优化 MIN - MAX - orderBy 查询？

Question

我在 Laravel 中的代码是：

Car::selectRaw('*,
    MIN(car_prices.price) AS min_price,
    MAX(car_prices.price) AS max_price,
    MAX(car_prices.updated_at) AS latest_update')
->leftJoin('car_prices', 'car_prices.car_id', 'cars.id')
->groupBy('car_prices.car_id')
->orderBy('latest_update', 'desc')
->paginate(10);

需要很长时间才能运行到抛出错误：

最长执行时间超过 60 秒

cars 表中的记录数为 100,000 和 car_prices 中的 6,000,000。

表格结构：

CREATE TABLE `cars` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(191) COLLATE utf8mb4_unicode_ci NOT NULL,
  `created_at` timestamp NULL DEFAULT NULL,
  `updated_at` timestamp NULL DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=110001 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

CREATE TABLE `car_prices` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `car_id` bigint(20) unsigned NOT NULL,
  `price` decimal(8,2) NOT NULL,
  `created_at` timestamp NULL DEFAULT NULL,
  `updated_at` timestamp NULL DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `car_prices_car_id_foreign` (`car_id`)
) ENGINE=MyISAM AUTO_INCREMENT=5506827 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

查询：

select count(*) as aggregate
    from `cars`
    left join `car_prices`
    on `car_prices`.`car_id` = `cars`.`id`
    group by `car_prices`.`car_id`;

select *,
    MIN(car_prices.price) AS min_price,
    MAX(car_prices.price) AS max_price,
    MAX(car_prices.updated_at) AS latest_update from `cars`
    left join `car_prices`
    on `car_prices`.`car_id` = `cars`.`id`
    group by `car_prices`.`car_id`
    order by `latest_update` desc
    limit 10
    offset 0;

如何优化它？我应该缓存数据吗？还是有比这更好的查询？

• 我的硬盘是SSD
• innodb_flush_log_at_trx_commit 的值 = 1
• 从上午 10 点到下午 2 点，写入/插入的数量大约为 1000/秒，在此期间之前和之后的请求要少得多。

Answer 1

你需要在查询中拥有更好的汽车表唯一索引 latest_update 或删除 ->orderBy('latest_update', 'desc')。并在收到结果后进行排序

你可以用explain查看mysql的性能

EXPLAIN SELECT * FROM car order by latest_update desc;

/// 检查这个https://www.exoscale.com/syslog/explaining-mysql-queries/#:~:text=the%20last%20decade.-,Explain,DELETE%20%2C%20REPLACE%20%2C%20and%20UPDATE%20。

和https://dev.mysql.com/doc/refman/5.7/en/using-explain.html#:~:text=The%20EXPLAIN%20statement%20provides%20information,%2C%20REPLACE%20%2C%20and%20UPDATE%20statements.&text=That%20is%2C%20MySQL%20explains%20how,joined%20and%20in%20which%20order。

基本上你需要优化（更好的索引）你的数据库表“汽车”，使其表现良好

还有其他你可能会尝试增加执行时间的事情 在 php.ini 中，您需要设置 max_execution_time = 600 或更多内容，以检查完成执行所需的时间。 https://www.codewall.co.uk/increase-php-script-max-execution-time-limit-using-ini_set-function/

Answer 2

您使用的查询不适用于如此大的表。而是每当进入表 car_prices 的条目设置操作并获取最小值和最大值并将其存储在汽车表中。或者你可以为此设置一个crone。

Answer 3

在这两个查询中，

GROUP BY cars.id

这不是使用car_prices.car_id，因为LEFT JOIN 可能会丢失。

一旦你这样做了，第一个查询（只有COUNT）可以删除JOIN。然后GROUP BY 就变得多余了：

select  count(*) as aggregate
    from  `cars`

第二个查询有问题。

使用当前设计，您必须遍历所有两个表。呃。

另外...如果给定的汽车没有价格，它将有 NULL 对应于 latest_update，因此它将在 100,000 行的末尾进行排序。鉴于此，您最好不要展示这些汽车；这将简化查询以进行更好的优化。

如果您需要列出没有价格的汽车，请在 UI 中单独提出请求。该查询将是 LEFT JOIN .. IS NULL，不需要 MAX()s。

但是，我仍然担心用户需要分页的 10,000 个页面。

从 MyISAM 切换到 InnoDB。

如果您没有将它们用于任何用途，请扔掉 created_at 和 updated_at。

之后，cars 只是id 和name 之间的映射。这可能可以让您避免通过cars。而是做类似的事情

SELECT  ( SELECT name FROM cars WHERE id = x.car_id ) AS name, 
        ...
     FROM ...

另一个想法是，每当您向car_prices 添加一行时，您都会在cars 中更新updated_at。这将允许您完全在cars 中找到这 10 辆汽车。

决定你愿意牺牲什么。

更多

注意：使用 MyISAM，慢速 SELECT 会阻塞 UPDATE。使用 InnoDB，可以并行运行； SELECT 使用 UPDATE 之前的值。无论哪种方式，选择都在某个“时间点”。但是 InnoDB 允许更多的并行性。

这是一个权衡。更新的小幅放缓以实现选择的大幅加速。 （不，我不确定我的建议是否“更快”）

一些进一步的问题来分析权衡：

• 磁盘：HDD 还是 SSD？
• innodb_flush_log_at_trx_commit 的值（更改为 InnoDB 后）。
• 多少流量？首先，写入（插入/删除）的次数是否超过 100/秒？