如何在 postgresql 中改进此查询？它已经花费了超过 48 小时

Question

我确实有以下查询，我正在对一个 postgresql 数据库运行它，该数据库在表 account_message 中有超过 10M 的条目，在表 message 中有超过 1M 的条目。

Postgresql 的版本为PostgreSQL 11.12, compiled by Visual C++ build 1914, 64-bit

有什么办法可以让这个查询更快，因为它已经花费了超过 2 天而且还没有完成。

DELETE FROM account_message WHERE message_id in
(SELECT t2.id FROM message t2 WHERE NOT EXISTS 
(SELECT 1 FROM customer t1 WHERE 
t1.username = t2.username));

表account_message 具有以下列：

id (bigint)(primary key)
user_id (bigint)
message_id (bigint)
isRead (boolean)
isDeleted (boolean)

表message 具有以下列：

id (bigint)(primary key)
username (character varying)(255)
text (character varying)(10000)
details(character varying)(1000)
status(integer)

表customer 具有以下列：

username (character varying)(255)(primary key)
type(character varying)(500)
details(character varying)(10000)
status(integer)
active(boolean)

这对我有用，而且速度更快。

DELETE FROM account_message WHERE message_id IN (
  SELECT m.id FROM message m
    LEFT JOIN customer c ON m.username = c.username
    WHERE c.username IS NULL LIMIT 1000)

Answer 1

您可以通过以下方式改进这一点

1. 摆脱依赖的子查询，并且
2. 分批进行。

尝试此操作以获取一批要删除的一千个消息 ID。 LEFT JOIN ... WHERE col IS NULL 是一种编写 WHERE NOT EXISTS 的方式，无需依赖子类。

SELECT m.id 
  FROM message m
  LEFT JOIN customer c ON m.username = c.username
 WHERE c.username IS NULL
 LIMIT 1000

然后，在语句中使用子查询。重复该语句，直到它不删除任何行。

DELETE 
  FROM account_message
 WHERE message_id IN (
      SELECT m.id 
        FROM message m
        LEFT JOIN customer c ON m.username = c.username
       WHERE c.username IS NULL
       LIMIT 1000)

以 1000 个批量执行此操作有助于提高性能：它将您的操作拆分为多个大小合理的数据库事务。

Answer 2

首先，尝试优化括号内的选择。比如：

DELETE FROM account_message WHERE message_id in
(
  select t2.id message t2
  left join customer t1 on (t1.username = t2.username)
  where t2.username is NULL
)