setdefault 与 defaultdict 性能

Question

我正在为性能很重要的应用程序编写代码。我想知道为什么defaultdict 似乎比setdefault 更快。

我希望能够使用setdefault，主要是因为我不喜欢嵌套defaultdict 的打印输出（参见下面的实现）。

在我的代码中，我需要测试element_id 是否已经是字典的键。

这是我正在测试的两个函数：

def defaultdictfunc(subcases,other_ids,element_ids):
    dict_name= defaultdict(lambda: defaultdict(lambda: defaultdict(dict)))
    for subcase in subcases:
        for other_id in other_ids:
            for element_id in element_ids: 
                if element_id in dict_name[subcase][other_id]:
                    # error duplicate element_id
                    pass
                else:
                    dict_name[subcase][other_id][element_id]=0
    return dict_name

def setdefaultfunc(subcases,other_ids,element_ids):
    dict_name={}
    for subcase in subcases:
        for other_id in other_ids:
            for element_id in element_ids: 
                if element_id in dict_name.setdefault(subcase,{}).setdefault(other_id,{}):
                    # error duplicate element_id
                    pass
                else:
                    dict_name[subcase][other_id][element_id]=0

    return dict_name

IPython 输入输出：

In [1]: from numpy.random import randint

In [2]: subcases,other_ids,element_ids=(randint(0,100,100),randint(0,100,100),randint(0,100,100))

In [5]: from collections import defaultdict

In [6]: defaultdictfunc(subcases,other_ids,element_ids)==setdefaultfunc(subcases,other_ids,element_ids)
Out[6]: True

In [7]: %timeit defaultdictfunc(subcases,other_ids,element_ids)
10 loops, best of 3: 177 ms per loop

In [8]: % timeit setdefaultfunc(subcases,other_ids,element_ids)
1 loops, best of 3: 351 ms per loop

为什么setdefaultfunc 更慢。我认为底层代码是一样的。有没有办法提高它的速度？

谢谢

Answer 1

根据用户aneroid：

defaultdict 比 dict.setdefault() 更快是有道理的，因为前者在创建时为整个 dict 设置默认值，而 setdefault() 在读取时为每个元素执行它。使用 setdefault 的一个原因是当您分配的默认值是基于键（或其他东西）而不是整个 dict 的通用默认值时。

Answer 2

setdefaultfunc 最糟糕，因为您在循环中多次调用 dict 构造函数（因为{} 等效于dict()），而defaultdict 通过自己的设计避免了这种情况。

稍加改动，就可以轻松改进setdefaultfunc：

def setdefaultfunc2(subcases,other_ids,element_ids):
    dict_name={}
    for subcase in subcases:
        subcase_dict = dict_name.setdefault(subcase,{})
        for other_id in other_ids:
            other_id_dict = subcase_dict.setdefault(other_id,{})
            for element_id in element_ids: 
                if element_id in other_id_dict:
                    # error duplicate element_id
                    pass
                else:
                    other_id_dict[element_id]=0
    return dict_name

通过此更改，我的机器中的结果是：

In [37]: defaultdictfunc(subcases,other_ids,element_ids)==setdefaultfunc2(subcases,other_ids,element_ids)
Out[37]: True

In [38]: %timeit defaultdictfunc(subcases,other_ids,element_ids)
286 ms ± 8.55 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [39]: %timeit setdefaultfunc(subcases,other_ids,element_ids)
434 ms ± 1.78 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [40]: %timeit setdefaultfunc2(subcases,other_ids,element_ids)
174 ms ± 348 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

IMO，defaultdict 没有提供足够的性能提升以使其值得使用。