Python 和 sqlite3 - 添加数千行

Question

我有一个 .sql 文件，其中包含数千个单独的插入语句。完成所有这些需要很长时间。我试图找出一种更有效地做到这一点的方法。在 python 中，sqlite3 库不能执行“.read”或“.import”之类的操作，但是对于这么多插入来说，executescript 太慢了。

我安装了 sqlite3.exe shell 希望使用“.read”或“.import”，但我不知道如何使用它。在 Eclipse 中通过 django 运行它不起作用，因为它希望数据库位于我的 C 驱动器的根目录中，这看起来很愚蠢。通过命令行运行它不起作用，因为它找不到我的数据库文件（除非我做错了什么）

有什么建议吗？

谢谢！

Answer 1

你在使用交易吗？ SQLite 将为每个 insert statement individually by default 创建一个事务，这会减慢速度。

默认打开 sqlite3 模块 在数据之前隐式交易 修改语言 (DML) 语句 （即插入/更新/删除/替换）

如果您在开始时手动创建一个事务并在结束时提交它，它将大大加快速度。

Answer 2

您是否尝试在单个事务中运行插入？ 如果不是，那么每个插入都被视为一个事务，并且......好吧，你可以阅读这个here的 SQLite 常见问题解答

Answer 3

除了在单个事务中批量运行查询之外，还可以尝试VACUUM 和ANALYZE 数据库文件。它帮助了我的类似问题。

Answer 4

使用参数化查询

和

使用事务。