大型可排序数据结构？字典还是别的？

Question

我有一个大型 python 字典（65535 个键：值对），其中键是范围（0, 65536），值是整数。

我找到的对该数据结构进行排序的解决方案发布在此处： Sort a Python dictionary by value

该解决方案有效，但不一定很快。

为了使问题进一步复杂化，我有可能拥有许多（数千个）这样的字典，我必须在排序之前将它们组合起来。我目前正在通过迭代一个字典中的对、在另一个字典中进行键查找以及适当地添加/更新条目来组合这些字典。

这使我的问题变成了两个问题：

1) 字典是解决这个问题的正确数据结构吗？自定义树或其他东西更有意义吗？

2）如果字典是明智、合理的选择，那么将字典的倍数组合然后排序的理想方法是什么？

对我来说，一个解决方案可能是重新设计我的程序流程，以便将维护的字典数量减少到一个，尽管这更像是最后的手段。

谢谢

Answer 1

一个包含 65535 个条目的字典，其中的键来自 (0:65536) 范围，这听起来有点像一个数组。如果您需要排序数组，为什么要使用字典？

通常，在 Python 中，您会为此类数据使用列表。在您的情况下，由于值是整数，您可能还需要考虑使用数组模块。您还应该看看 heapq 模块，因为如果您的数据可以以这种方式表示，则可以使用内置的合并功能。

在任何情况下，如果您需要合并数据结构并生成排序后的数据结构，最好使用合并算法，其中一种可能性是合并排序算法。

Answer 2

这里没有足够的信息来说明您应该使用哪种数据结构，因为我们不知道您还用它做什么。

如果您需要能够一次快速地将记录插入到数据结构中，那么您确实需要一个树状数据结构，遗憾的是它没有标准实现（甚至没有标准接口，用于某些操作）在 Python 中。

如果您只需要能够按照您所说的去做——对现有数据进行排序——那么您可以使用列表。排序很快，尤其是在部分数据已经排序的情况下，您可以使用二进制搜索进行快速查找。但是，插入元素将是 O(n)，而不是像树一样的 O(log n)。

这是一个简单的示例，将字典转换为列表或元组，对组合结果进行排序并使用 bisect 模块搜索项目。

请注意，您可以有重复的键，出现在多个字典中。这很容易处理：它们会自然地排序在一起，二等分会给你一个包含所有这些键的 [start, end) 范围。

如果以后要添加数据块，追加到末尾，重新排序列表； Python 的排序很擅长，它可能会比 O(n log n) 好得多。

如您所说，此代码假定您的键是整数。

dataA = { 1: 'data1', 3: 'data3', 5: 'data5', 2: 'data2' }
dataB = { 2: 'more data2', 4: 'data4', 6: 'data6' }

combined_list = dataA.items() + dataB.items()
combined_list.sort()
print combined_list

import bisect
def get_range(data, value):
    lower_bound = bisect.bisect_left(data, (value, ))
    upper_bound = bisect.bisect_left(data, (value+1, ))
    return lower_bound, upper_bound

lower_bound, upper_bound = get_range(combined_list, 2)
print lower_bound, upper_bound
print combined_list[lower_bound:upper_bound]

Answer 3

有了这么多数据，我会硬着头皮使用内置的 sqlite 模块。是的，你放弃了一些 python 的灵活性，不得不使用 SQL，但现在它对 65k 值进行排序；接下来将找到满足特定条件的值。因此，与其重新发明关系数据库，不如现在就走 SQL 路线。