如何通过 sqlalchemy 在多个（生成的）python 进程中使用 sqlite

Question

我有一个名为 db.py 的文件，代码如下：

from sqlalchemy import create_engine
from sqlalchemy.orm import scoped_session, sessionmaker


engine = create_engine('sqlite:///my_db.sqlite')
session = scoped_session(sessionmaker(bind=engine,autoflush=True))

我正在尝试在使用spawn 上下文开始的各种子进程中导入此文件（可能很重要，因为适用于fork 的各种修复似乎不适用于spawn）

导入语句类似于：

from db import session

然后我随意使用这个会话而不用担心并发，假设SQLite的内部锁定机制会对事务进行排序以避免并发错误，我并不关心事务顺序。

这似乎会导致如下错误： sqlite3.ProgrammingError: SQLite objects created in a thread can only be used in that same thread. The object was created in thread id 139813508335360 and this is thread id 139818279995200.

请注意，这似乎并没有直接影响我的程序，每笔交易都顺利进行，但我仍然担心是什么原因造成的。

我的理解是scoped_session 是线程本地的，所以我可以随意导入它而不会出现问题。此外，我的假设是 sqlalchemy 将始终处理连接的关闭和 sqllite 将处理排序（即让会话等待另一个会话结束，直到它可以执行任何事务）。

显然，这些假设之一是错误的，或者我误解了这里机制的一些基本内容，但我不太清楚是什么。任何建议都会很有用。

Answer 1

问题不在于线程本地会话，而在于原始连接对象与这些会话位于不同的线程中。 SQLite 默认禁用跨不同线程的连接。

您的问题最简单的答案是关闭 sqlite 的same thread checking。在 SQLAlchemy 中，您可以通过将其指定为数据库 URL 的一部分来实现此目的：

engine = create_engine('sqlite:///my_db.sqlite?check_same_thread=False')

我猜这至少会消除错误。

根据您在做什么，这可能仍然很危险 - 如果您确保您的交易是序列化的（即一个接一个，从不重叠或同时），那么您可能没问题。如果您不能保证，那么您就有数据损坏的风险，在这种情况下，您应该考虑 a) 使用可以处理并发写入的数据库后端，或 b) 创建一个仅管理 sqlite 读取和写入的中间应用程序或服务以及您的其他应用程序可以与之通信。后一种选择听起来很有趣，但请注意，当你最好只是旋转一个 Postgres 容器或其他东西时，你最终可能会重新发明轮子。