Set vs DAWG 用于在 Python 中检查字典中的成员资格答案

【问题标题】：Set vs DAWG for checking membership in dictionary in PythonSet vs DAWG 用于在 Python 中检查字典中的成员资格
【发布时间】：2013-02-03 21:58:01
【问题描述】：

我需要能够快速检查给定单词是否在我的字典中（英语单词表）。我只关心检查成员的速度（不添加或删除元素），内存使用并不是真正的问题。

原来我用的是这样的一套：

words = set(x.strip().lower() for x in open("/usr/share/dict/words").readlines())
if(word in words):
    ...

我的程序大约花了。在测试输入上运行 4 秒。然后，我尝试通过使用 DAWG (http://pypi.python.org/pypi/pyDAWG) 来优化事物，而不是预先计算 DAWG 并对其进行酸洗：

words = pickle.load(open('wordlistDAWG.pyd'))
if(words.word2index(word) is not None):
    ...

在相同的测试输入上，程序运行大约需要 40 秒（包括几秒钟来加载我不关心的 DAWG）。我希望使用 DAWG 能让事情运行得更快！

也许我对 python 如何散列事物缺乏一些了解——一个集合是否已经是我将获得的最好的（O(1) 成员资格测试？）而不是 DAWG 或 Trie？ DAWG 会节省内存而不是计算吗？

非常感谢！

【问题讨论】：

你用的是c版还是python版
顺便说一句，readlines 效率低，试试这个set(x.strip().lower() for x in open("/usr/share/dict/words"))
纯python版本。使用 C 版本会大大提高性能吗？

标签： python dictionary set hashset dawg

【解决方案1】：

我认为，如果您将 DAWG 用作套件替代品，它不会为您节省 CPU 周期。

关于集合大小的集合查找是 O(1)，关于 DAWG 项目计数，DAWG 查找也是 O(1)。 DAWG 查找在查找密钥长度方面是 O(N)（当密钥 is 在 DAWG 中时，需要 len(key) 步骤来检查密钥是否在 DAWG 中）。关于密钥长度的集合查找也是 O(N)（因为必须计算密钥的哈希）。所以这归结为实施，并且

哈希图通常比其他数据结构（包括 DAWG 和 Tries）更快；
Python 集优化良好；内置类型的哈希计算也得到了优化； CPython 中的 set/dicts 具有用于 unicode 键的专用代码路径。

当项目不在 DAWG 中时，DAWG 可能具有优势，因为它需要少于 len(key) 的步骤来检查它，并且计算哈希总是需要 len(key) 步骤（好吧，如果哈希值没有被缓存)。但即使在这种情况下也很难击败内置集合。

一个无耻的插件 - 你也可以试试 https://pypi.python.org/pypi/DAWG - 但 __contains__ 仍然比 dict 慢 2 倍。

顺便说一句，pyDAWG Python 版本的 word2index 在内部进行了许多 dict 查找，因此它不会比单个集合查找快。

【讨论】：

【解决方案2】：

您正在通过调用word2index 使用完美的散列功能，听起来您不需要。你为什么不改用exists 呢？

【讨论】：

看来python版本没有exists()方法。它确实有一个 iter 方法，但我想那只会返回一个集合？