如何为大型数据库中的 sqlite 中的数据表行分配索引？

Question

我在 python 中使用 sqlite。假设我有一个如下所示的数据表：

     Table 1

1 | 2 | 3 | 4 | 5
__|___|___|___|__
A | B | B | C | D
B | D | B | D | C
A | D | C | C | A
B | D | B | D | C
D | B | B | C | D
D | B | B | C | D

问题：如何为每行创建（非常快速/有效/可行）索引列，如果 x 行和 y 行相同，它们会被分配相同的索引？对于示例数据库，我想要这样的东西：

        Table 1

Index| 1 | 2 | 3 | 4 | 5
_____|___|___|___|___|___
  23 | A | B | B | C | D
  32 | B | D | B | D | C
  106| A | D | C | C | A
  72 | B | D | B | D | C
  80 | D | B | B | C | D
  80 | D | B | B | C | D

我不关心实际的索引是什么，只要重复的行（如示例中的最后两个）获得相同的索引。

Answer 1

您可以创建一个由表中的每个字段组成的索引。

create index on table1 (field1, field2, field3, field4, field5)

但这可能不是一个好主意。它创建了一个巨大的索引，构建速度很慢，处理速度也很慢。某些数据库引擎不允许您创建字段组合超过一定长度的索引。我不确定sqllite是否有这样的限制或可能是什么。

正常的做法是选择一些可能较短且分布良好的字段或少量字段的组合。

我所说的“短”字面意思很简单，字段中的数据只占用几个字节。它是一个长度较小的 int 或 varchar，varchar(4) 或类似的。关于“短”有多短没有绝对的规则，但您应该选择最短的其他合适的字段。 varchar(4000) 将是一个糟糕的选择。

我所说的“分布良好”是指有许多不同的值。理想情况下，每一行都有一个唯一的值，也就是说，任何两行都没有相同的值。如果没有这样的字段，则选择一个尽可能接近此字段的字段。有时 2 或 3 行共享一个值但很少超过该值的字段是好的。一半记录都具有相同值的字段不是。

如果没有一个字段分布良好，可以在两个或三个字段的组合上创建索引。但是如果你使用了太多的字段，你就会开始打破“短”的条件。

Answer 2

如果您可以逐行解析文件，为什么不使用 dict 将行作为字符串或元组？

my_dico = {}
index_counter = 1
with open(my_db) as my_database, open(out_file) as out:
    for row in my_database:
        my_row_as_a_tuple = tuple(row.strip().split())

        if my_row_as_a_tuple in my_dico:
            out.write(my_dico[my_row_as_a_tuple] + '<your separator>' + row)

        else:
            index_counter += 1
            out.write(str(index_counter) + '<your separator>' + row)
            my_dico[my_row_as_a_tuple] = str(index_counter)