调用某些查询时，MySQL“超过锁定等待超时”

Question

我有一个包含一组表的 MySQL 5.7，我使用以下查询。

    SET innodb_lock_wait_timeout = 900;
    DROP TABLE IF EXISTS aggregated_table;

    CREATE TABLE aggregated_table AS
    SELECT
        itbl.u AS u,
        LEFT(itbl.e, 10) AS e,
        itbl.b AS b,
        itbl.c AS c,
        itbl.d AS d,
        itbl.ee AS ee,
        h,
        p,
        s,
        SUM(time_column) AS total_time
    FROM
        input_table AS itbl
    WHERE
        s = 1
        AND b = 0
    GROUP BY
        u,
        e,
        b,
        c,
        d,
        ee,
        h,
        p,
        s;

80% 的查询执行正常，但有时CREATE 会失败并显示 ERROR __main__: (1205, 'Lock wait timeout exceeded; try restarting transaction')，这可能取决于在特定时刻在数据库中找到的特定数据。在相同的数据库状态下，总是会重现错误。

我想了解为什么它可能会失败以及如何保护查询免受无限锁定。

更新：EXPLAIN SELECT... 提供答案（由我的数据库客户端格式化为 JSON）：

[
  {
    "id": 1,
    "select_type": "SIMPLE",
    "table": "itbl",
    "partitions": null,
    "type": "ALL",
    "possible_keys": null,
    "key": null,
    "key_len": null,
    "ref": null,
    "rows": 56035815,
    "filtered": 1,
    "Extra": "Using where; Using temporary; Using filesort"
  }
]

SHOW ENGINE INNODB STATUS 输出：https://pastebin.com/ZNeRi6AY

Answer 1

这个综合索引可能会有所帮助：

INDEX(s, b)   -- (in either order)

问题似乎在于读取大约 56M 行需要花费 900 多秒。

这是一个相当可怕的GROUP BY，它是否有意义，还是ONLY_FULL_GROUP_BY 的解决方法？

你有多少内存？桌子有多大？

如果这个“聚合”（“汇总”）表可以增量构建（如每​​天晚上用当天的数据更新），则可以非常有效地避免超时。 http://mysql.rjweb.org/doc.php/summarytables 如果你可以这样做，我会不使用我建议的索引，而是使用 id 或日期来控制每晚读取哪些行，而不用担心过滤 @987654325 @ 和b。