数据库查询速度提升

Question

我有如下表结构

term_id     int(11)             
concept_id  int(11)             
idf     double          

我有大约 240 万条记录。当我执行以下查询时

stmt = con.prepareStatement("SELECT term, idf.idf FROM idf "
                          + "JOIN term ON term.id=idf.term_id "
                          + "WHERE concept_id= ?");
stmt.setInt(1, id);
res = stmt.executeQuery();

查询大约需要 3 秒。我正在使用 MySQL 连接器，并且正在从 java 代码/eclipse 执行此查询。 我可以提高这个速度吗？
如果尝试直接在 phpMyAdmin 中执行查询，我会得到以下时间结果：

总共记录 18,869 条时间：0.4204 秒

SELECT term, idf.idf
FROM idf
JOIN term ON term.id = idf.term_id
WHERE concept_id = 4

Answer 1

问题出在这一行：

总共记录 18,869 条时间：0.4204 秒

您正在尝试将 18,869 条记录从远程主机推送到本地客户端。
当然，您不需要 18k 条记录，谁有时间阅读所有这些内容？

所以您可能只需要前几行。
或者你需要做进一步的处理。

获取前 100 行

SELECT term.*, idf.idf
FROM idf
JOIN term ON term.id = idf.term_id
WHERE concept_id = 4
ORDER BY term.id
LIMIT 100;

将数据存储在内存表中以供进一步处理

INSERT INTO mem_idfterm 
  SELECT term.*, idf.idf
  FROM idf
  JOIN term ON term.id = idf.term_id
  WHERE concept_id = 4
  ORDER BY term.id;

比从 mem_idfterm 中进一步选择，
或使用 （现在臭名昭著） 选择作为子选择以从中提取更多数据。

尽量不要在网络中推送超过 1000 行。

终于可以批量获取数据了：

SELECT term.*, idf.idf
...
LIMIT 0, 100;  -- first batch

SELECT term.*, idf.idf
...
LIMIT 100, 100; -- second batch 

等等

我建议在使用限制时使用order by 子句。如果您必须获得一致的结果，请在单个事务中完成所有零碎的选择。

Answer 2

在 term_id、concept_I'd 的表上创建正确的索引