在 C# 中提高 SQL SELECT 的性能

Question

我需要一些关于更新 MySql 数据库中大量记录的建议。我目前正在将大量单词及其后缀（后缀数组）存储到数据库中，导致行数约为 430 万。每条记录包含主键id，实际单词word，单词在document中的文档，单词在文档中的偏移量'offset'，判断记录是否为整个单词的标志或不是flag 和link 到下一条记录，word 具有相同的值。每条记录都使用-1的链接值进行初始化。

这是我当前用于更新数据库中链接的代码：

public void Link(object c)
    {
        DBConnection conn = (DBConnection)c;

        rowcount = conn.GetRowCount();
        string word;
        int link;
        List<Record> recordsList = new List<Record>();
        List<Record> recordsMatched = new List<Record>();

        for (int i = 0; i < rowcount; i++)
        {
            recordsList.AddRange(conn.ReadQuery("SELECT * FROM csa2018.words WHERE id = " + i));
            word = recordsList[0].Word;
            link = recordsList[0].Link;

            recordsMatched = conn.ReadQuery("SELECT * FROM csa2018.words WHERE word = '" + word + "'");

            for(int j = 0; j < recordsMatched.Count-1; j++)
            {
                if (recordsMatched[j].Link == -1)
                {
                    conn.WriteQuery("UPDATE csa2018.words SET link = " + recordsMatched[j + 1].Id + " WHERE id = " + recordsMatched[j].Id);
                }
                else
                {
                    break;
                }
                linkedRecords++;
            }
            linkedRecords++;

            recordsMatched.Clear();
            recordsList.Clear();
        }
        Form1.linkingFinished = true;
    }

总的来说，它在查找频繁重复的单词时具有良好的性能；但是在大约 60% 时，性能会下降，因为大多数剩余的单词都是唯一的。 我的猜测是这个查询：

recordsMatched = conn.ReadQuery(
"SELECT * FROM csa2018.words WHERE word = '" + word + "'");

不应该这样，因为它每行都被调用一次。有没有更好的方法，比如使用存储过程？

P.S.：ReadQuery 方法使用提供的查询读取行并构造 Record 对象并将每条记录添加到 List<Record>。

这就是我的数据库的样子：

CREATE TABLE words ( id int(11) NOT NULL, word varchar(45) NOT NULL,
document varchar(45) NOT NULL, offset int(11) NOT NULL, flag int(11) NOT NULL,
link int(11) DEFAULT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8

Answer 1

如果我正确理解了您的代码，那么这个单一的 sql 语句应该可以完成这项工作：

UPDATE  csa2018.words as w1 

    left join 

    (select w2.id as id, min(w3.id) as linked_to 
    from    csa2018.words w2, csa2018.words w3 
    where   w2.word = w3.word and 
            w3.id > w2.id limit 1) w4

    on (w1.id = w4.id)

SET     w1.link = IFNULL(w4.linked_to, -1)

内部选择语句给出从一个数据集到链接数据集的映射。您应该观察 select 语句的结果，看看是否一切正常。