看似快速的过滤器字段查找速度很慢

Question

我的粗略模型：

class m_Interaction(models.Model):
    fk_ip = models.ForeignKey('m_IP', on_delete=models.SET_NULL, null=True, related_name="interactions")
    fk_query = models.ForeignKey('m_Query', on_delete=models.SET_NULL, null=True, related_name="interactions")

使用的数据库：SQLite

---

如果我执行这个查询集

m_Interaction.objects.filter(fk_query=None).filter(fk_ip__in=user.ips.all()).select_related('fk_query')

需要 5 秒。

如果我删除filter(fk_query=None) 语句，剩下的查询集

m_Interaction.objects.filter(fk_ip__in=user.ips.all()).select_related('fk_query')

只需 100 毫秒即可执行。

filter(fk_ip__in=user.ips.all()) 不应该贵很多吗？或者至少为什么filter(fk_query=None) 语句这么慢？它应该是一个简单的“与 Null 比较”的查找。

---

filter(fk_query=None) 的 SQL 查询：

SELECT "data_manager_m_interaction"."id", 
       "data_manager_m_interaction"."fk_ip_id", 
       "data_manager_m_interaction"."fk_query_id",
       "data_manager_m_query"."id", 
       "data_manager_m_query"."fk_ip_id" 
FROM "data_manager_m_interaction" 
LEFT OUTER JOIN "data_manager_m_query" 
ON ("data_manager_m_interaction"."fk_query_id" = "data_manager_m_query"."id") 
WHERE ("data_manager_m_interaction"."fk_ip_id" IN (SELECT U0."id" FROM "data_manager_m_ip" U0 WHERE U0."fk_user_id" = 1339) 
  AND "data_manager_m_interaction"."fk_query_id" IS NULL) 
ORDER BY "data_manager_m_interaction"."timestamp" ASC 
LIMIT 1

没有filter(fk_query=None)的SQL查询：

SELECT "data_manager_m_interaction"."id", 
       "data_manager_m_interaction"."fk_ip_id", 
       "data_manager_m_interaction"."fk_query_id", 
       "data_manager_m_query"."id", 
       "data_manager_m_query"."fk_ip_id" 
FROM "data_manager_m_interaction" 
LEFT OUTER JOIN "data_manager_m_query" 
ON ("data_manager_m_interaction"."fk_query_id" = "data_manager_m_query"."id") 
WHERE "data_manager_m_interaction"."fk_ip_id" IN (SELECT U0."id" FROM "data_manager_m_ip" U0 WHERE U0."fk_user_id" = 1339) 
ORDER BY "data_manager_m_interaction"."timestamp" ASC 
LIMIT 1

---

解释查询计划（带过滤器）：

[(0, 0, 0, 'SEARCH TABLE data_manager_m_interaction USING INDEX data_manager_m_interaction_c50f4040 (fk_query_id=?)'), 
(0, 0, 0, 'EXECUTE LIST SUBQUERY 1'), 
(1, 0, 0, 'SEARCH TABLE data_manager_m_ip AS U0 USING COVERING INDEX data_manager_m_ip_f569ccde (fk_user_id=?)'), 
(0, 1, 1, 'SEARCH TABLE data_manager_m_query USING INTEGER PRIMARY KEY (rowid=?)'), 
(0, 0, 0, 'USE TEMP B-TREE FOR ORDER BY')]

解释查询计划（不带过滤器）

[(0, 0, 0, 'SEARCH TABLE data_manager_m_interaction USING INDEX data_manager_m_interaction_c669518a (fk_ip_id=?)'), 
(0, 0, 0, 'EXECUTE LIST SUBQUERY 1'), 
(1, 0, 0, 'SEARCH TABLE data_manager_m_ip AS U0 USING COVERING INDEX data_manager_m_ip_f569ccde (fk_user_id=?)'), 
(0, 1, 1, 'SEARCH TABLE data_manager_m_query USING INTEGER PRIMARY KEY (rowid=?)'), 
(0, 0, 0, 'USE TEMP B-TREE FOR ORDER BY')]

Answer 1

sqlite 和 mysql 的问题在于它们只能使用每个表的一个索引，如 https://www.sqlite.org/optoverview.html 所述

查询的 FROM 子句中的每个表最多可以使用一个索引 （除非 OR 子句优化发挥作用）和 SQLite 力求在每张表上至少使用一个索引

更糟糕的是，因为 sqlite 查询解析器将 ON 条件转换为 WHERE 子句。即使没有IS NULL，您的WHERE 子句也相当繁重。更糟糕的是，因为你有一个订单。

SQLite 尝试使用索引来满足 尽可能查询。当面临使用索引的选择时 满足 WHERE 子句约束或满足 ORDER BY 子句， SQLite 执行与上述相同的成本分析，并选择 它认为会产生最快答案的索引。

在许多情况下，mysql 可以使用另一个索引作为 order by，但 sqlite 不能。 Postgresql，可以说是最好的开源RDBMS，可以在每个表上使用多个索引。

因此，简而言之，sqlite 无法使用索引进行IS NULL 比较。在查询中使用EXPLAIN 会显示可用索引在fk_ip_id 上使用

编辑： 我不像在 postgresql 或 mysql 上那样精通 sqlite 解释输出，但据我了解，每个表都使用一个索引，如上所述。 data_manager_m_ip 表是最能利用索引的表。那里甚至没有查看表本身，所有数据都是从索引本身检索的。

解释也确实表明使用了 fk_query_id 上的索引。但是我的理解是这用于连接。解释还表明，没有使用任何索引进行排序。您能否也发布其他查询的说明。

编辑 2： 好了，不看EXPLAIN 进行优化是很危险的。我们猜测是 null 比较很慢。但它不是！当您进行IS NULL 比较时，sqlite 会为此使用索引，但 IN 子句现在没有索引，这使得它非常慢！！

解决方案：你需要一个fk_query_id, fk_ip_id的复合索引，你可以使用django index_together来做一个。