Sqlite3 Python：如何进行高效的批量更新？

Question

我可以使用以下代码在 Python (2.7) 上的 Sqlite3 中进行非常有效的批量插入：

cur.executemany("INSERT INTO " + tableName + " VALUES (?, ?, ?, ?);", data)

但我无法获得更新以高效工作。我认为这可能是数据库结构/索引的问题，但即使在只有一个 100 行的表的测试数据库上，更新仍然需要大约 2-3 秒。

我尝试了不同的代码变体。我拥有的最新代码是从this answer 到之前关于更新和执行的问题，但它对我来说和我所做的任何其他尝试一样慢：

data = []
for s in sources:
    source_id = s['source_id']
    val = get_value(s['source_attr'])
    x=[val, source_id]
    data.append(x)
cur.executemany("UPDATE sources SET source_attr = ? WHERE source_id = ?", data)
con.commit()

如何改进此代码以有效地进行大批量更新？

Answer 1

当插入一条记录时，数据库只需要在表的末尾写一行（除非你有 UNIQUE 约束之类的东西）。

更新记录时，数据库需要查找该行。这需要扫描整个表（针对每个命令），除非您在搜索列上有索引：

CREATE INDEX whatever ON sources(source_id);

但如果source_id 是primary key，你应该这样声明（这会创建一个隐式索引）：

CREATE TABLE sources(
    source_id INTEGER PRIMARY KEY,
    source_attr TEXT,
    [...]
);