PHP SQLite 喜欢慢

Question

我正在尝试分析网络流量。流量被保存到一个大约 300MB 的 SQLite 文件中，我正在尝试梳理该文件以查找关键字。

我有大约 10 个关键字，我为其生成突变（反向字符串、哈希等），每个关键字大约有 20 个变体。为了找到这些排列，我为每个关键字生成一个查询，该查询包括一个命令中的所有排列，用 OR 分隔。一个查询如下所示：

SELECT * FROM flows 
WHERE 
(buffer LIKE :permutationOne) OR 
(buffer LIKE :permutationTwo) OR 
(buffer LIKE :permutationThree) OR
…
(buffer LIKE :permutationTwenty)

SQLite 通信和语句绑定的初始化如下所示：

$sqlite = new PDO('sqlite:resources/traffic.sqlite'); // executed once

// done for each keyword
$statement = $sqlite->prepare($sqlCommand);
$statement->execute([':permutationOne' => '%perm1%', ':permutationTwo' => '%perm2%', …]);

我测量了执行这十个查询所需的时间，它在 150 到 300 秒之间变化，具体取决于执行查询的设备。由于文件很大，我执行了 10 个查询，每个查询有 20 个类似字符串，我想知道是否有办法优化查询？如果可能的话，我非常希望至少将执行时间减半。或者也许我应该使用另一个库而不是 PDO？

Answer 1

好的。我们在我的另一个答案中决定索引在这种情况下无济于事。如果您被 sqlite 卡住了，那么您可以使用 全文搜索 (FTS) 引擎。它包含在源代码中，但是您必须在打开此功能的情况下重新编译 sqlite 的麻烦。

更多信息：

http://answers.oreilly.com/topic/1955-how-to-use-full-text-search-in-sqlite/

Answer 2

对数据库（LIKE '%somehing%'）执行这种操作非常昂贵。为了提高性能，我建议您为相关字段编制索引，或使用像 Sphinx (http://sphinxsearch.com/about/sphinx/) 这样的全文搜索服务器。

Answer 3

编辑：

这个答案没有解决问题，但如果某些条件为真，sqlite 将使用LIKE query optimization。不得使用通配符作为搜索字符串的第一个字符。我将把这个答案留在这里，因为它可能有助于其他 LIKE 优化。

旧答案：

我之前已经对 sqlite 性能进行了故障排除。通过键入sqlite3 databasefile 打开您的数据库。 以下是我在 sqlite3 命令行中使用的一些命令：

.help
.timer ON
.explain ON -- optional
explain query plan SELECT BLAH FROM BLAH WHERE BLAH

如果您看到SCAN，那就不好了。如果您看到SEARCH，它正在使用索引。您可以添加索引来提高 SELECT 性能。

您可以在 sqlite3 命令行中尝试这样的索引：

CREATE INDEX flows_idx1 ON flows (buffer);

这将创建索引作为数据库架构的一部分，这意味着您不必重新创建它。除非您drop 它，否则它将从此存在。 sqlite3 查询优化器将查看您的SELECT 并查看索引是否有助于加快速度。您根本不需要更改 SELECT 查询。

另请参阅Sqlite optimization documentation。