从 Oracle 数据库中的数百万行中进行选择的最佳方法

Question

生日快乐！

我想在一个有 1500 万行的表中查询一百万个不同的单词。每次查询后都会处理同义词和单词的结果。

表格如下：

    synonym      word
    ---------------------
    ancient      old
    anile        old
    centenarian  old
    darkened     old
    distant      far
    remote       far
    calm         gentle
    quite        gentle

目前在 Java 中是这样完成的：

....
PreparedStatement stmt;
ResultSet wordList;
ResultSet syns;
...

stmt = conn.prepareStatement("select distinct word from table");
wordList = stmt.executeQuery();

while (wordList.next()) {
    stmt = conn.prepareStatement("select synonym from table where word=?");
    stmt.setString(1, wordList.getString(1));
    syns = stmt.executeQuery();

    process(syns, wordList.getString(1));
}
...

这是令人难以置信的慢。做这种事情的最快方法是什么？

干杯， 克里斯

Answer 1

两个想法：

a) 让它成为一个查询怎么样：

select synonym from table where word in (select distinct word from table)

b) 或者，如果您的process 方法需要将它们作为一个单词的一组同义词来处理，为什么不按word 对它们进行排序，并在每次process 不同时重新开始process？该查询将是：

select word, synonym 
from table 
order by word

Answer 2

1. 确保“单词”列上有索引。

2. 将第二个 prepareStatement 移到单词循环之外。每次创建新语句时，数据库都会编译并优化查询 - 但在这种情况下，查询是相同的，因此没有必要这样做。

3. 按照上述sblundy 的方式组合语句。

Answer 3

如果要查询所有同义词，为什么还要查询循环内的同义词？您应该使用单个select word, synonym from table order by word，然后在 Java 代码中按单词拆分。

Answer 4

PreparedStatement stmt;
ResultSet syns;
...

stmt = conn.prepareStatement("select distinct " + 
                             "  sy.synonm " + 
                             "from " +
                             "  table sy " +
                             "  table wd " +
                             "where sy.word = wd.word");
syns = stmt.executeQuery();
process(syns);

Answer 5

问题解决了。重要的一点是，表格可以按单词排序。因此，我可以轻松地遍历整个表。像这样：

....
Statement stmt;
ResultSet rs;
String currentWord;
HashSet<String> syns = new HashSet<String>();
...

stmt = conn.createStatement();
rs = stmt.executeQuery(select word, synonym from table order by word);

rs.next();
currentWord = rs.getString(1);
syns.add(rs.getString(2));

while (rs.next()) {
    if (rs.getString(1) != currentWord) {
        process(syns, currentWord);
        syns.clear();
        currentWord = rs.getString(1);
    }
    syns.add(rs.getString(2));
}
...

Answer 6

相关但不相关：

while (wordList.next()) {
    stmt = conn.prepareStatement("select synonym from table where word=?");
    stmt.setString(1, wordList.getString(1));
    syns = stmt.executeQuery();

    process(syns, wordList.getString(1));
}

您应该将该 preparestatement 调用移到循环之外：

stmt = conn.prepareStatement("select synonym from table where word=?");
while (wordList.next()) {
    stmt.setString(1, wordList.getString(1));
    syns = stmt.executeQuery();

    process(syns, wordList.getString(1));
}

准备语句的全部目的是让数据库编译/缓存/等，因为您将重复使用该语句。如果要执行这么多查询，您可能还需要明确清理结果集，以确保不会用完游标。

Answer 7

您还应该考虑利用语句对象的 setFetchSize 方法来减少应用程序和数据库之间的上下文切换。如果您知道要处理一百万条记录，则应使用 setFetchSize(someRelativelyHighNumberLike1000)。这告诉 java 每次需要从 Oracle 获取更多记录时最多抓取 1000 条记录[而不是一次抓取一条记录，这是这种批处理操作的最坏情况]。这将提高您的程序的速度。您还应该考虑重构和对单词/同义词进行批处理，如

1. 获取 1
2. 流程 1
3. 重复

比

慢

1. 获取 50/100/1000
2. 处理 50/100/1000
3. 重复

只需将 50/100/1000 [或您一次检索的多个] 保存在某个数组结构中，直到您处理它们。