SQL Query 在 postgres 中间歇性变慢

Question

运行以下查询时，有时需要 15 秒，有时需要 90 分钟。是什么导致了如此大的差异？

INSERT INTO missing_products 
SELECT table_name, 
   product_id 
FROM   products 
WHERE  table_name = 'xxxxxxxxx' 
   AND product_id NOT IN (SELECT id 
                               FROM new_products);

我已尝试对此进行解释，但我唯一能看到的是关于新产品的index only scan。我也重写了这个查询，改为使用左连接并插入右侧为 NULL 的行，但这会导致同样的时间问题。

我有以下表格，其结构类似于以下内容。

产品

id bigint not null,
product_id text not null,
table_name text not null,
primary key (id),
unique index (product_id)

新产品

id text not null,
title text not null,
primary key, btree (id)

缺少的产品

table_name text not null,
product_id text not null,
primary key (table_name, product_id)

解释 - 这在 where 子句中有一个额外的字段，但应该提供一个好主意。耗时 22 秒。

 Insert on missing_products  (cost=5184.80..82764.35 rows=207206 width=38) (actual time=22466.525..22466.525 rows=0 loops=1)
   ->  Seq Scan on products  (cost=5184.80..82764.35 rows=207206 width=38) (actual time=0.055..836.217 rows=411150 loops=1)
         Filter: ((active > (-30)) AND (NOT (hashed SubPlan 1)) AND (feed = 'xxxxxxxx'::text))
         Rows Removed by Filter: 77436
         SubPlan 1
           ->  Index Only Scan using new_products_pkey on new_products  (cost=0.39..5184.74 rows=23 width=10) (actual time=0.027..0.027 rows=0 loops=1)
                 Heap Fetches: 0
 Planning time: 0.220 ms
 Execution time: 22466.596 ms

Answer 1

显然查看EXPLAIN ANALYZE 的输出，SELECT 几乎不需要 800 毫秒，大部分时间，几乎 22 秒 花费在 INSERTING 行中。

此外，您的 new_products 表的统计数据似乎不准确，因为它预测 23 行而实际行只有 0，现在看来该计划是正确的，这可能是灾难性的，具体取决于 new_products 表的情况在整个应用程序中使用，如果自动分析没有启动，我首先会定期 ANALYZE 表，并监控一天内的性能

Answer 2

我会尝试两件事：

1. 尝试在products.table_name 上添加索引，目前您似乎没有。

2. 尝试重写查询以使用not exists 子句而不是not in。有时，数据库可以通过这种方式更有效地执行查询：

使用not exists查询：

INSERT INTO missing_products (table_name, product_id)
SELECT p.table_name, p.product_id 
  FROM products p
 WHERE p.table_name = 'xxxxxxxxx' 
   AND NOT EXISTS (SELECT null
                     FROM new_products n
                    WHERE n.id = p.product_id)