使用软连词逻辑加速字典合并

Question

我有一个包含<word: dictionary>pairs 的查找表。 然后，给定一个单词列表， 我可以使用这个查找表生成一个字典列表。 （每次这个词表的长度都是不固定的）。 这些字典中的值表示某些键的对数概率。

这是一个例子：

给定一个单词列表

['fruit','animal','plant'],

我们可以查看查找表并有

dict_list = [{'apple':-1, 'flower':-2}, {'apple':-3, 'dog':-1}, {'apple':-2, 'flower':-1}].

我们可以从列表中看到我们有一组键：{'apple', 'flower', 'dog'}

对于每个键，我想给出 dict_list 中每个值的总和。而如果某个字典中不存在某个键，那么我们在该值上加上一个小的值-10（可以将-10视为一个非常小的对数概率）。

结果字典如下所示： dict_merge = {'apple':-6, 'flower':-13, 'dog':-21}, 因为'apple' = (-1) + (-3) + (-2)，'flower' = (-2) + (-10) + (-1)，'dog' = (-10) + (-1) + (-10)

这是我的 python3 代码：

dict_list = [{'apple':-1, 'flower':-2}, {'apple':-3, 'dog':-1}, {'apple':-2, 'flower':-1}]

key_list = []
for dic in dict_list:
    key_list.extend(dic.keys())

dict_merge = dict.fromkeys(key_list, 0)
for key in dict_merge:
    for dic in dict_list:
        dict_merge[key] += dic.get(key, -10)

这段代码可以运行，但是如果dict_list中的某些字典的大小超大（例如100,000），那么它可能需要200ms以上，这在实践中是不可接受的。 p>

主要计算在for key in dict_merge 循环中，想象它是一个大小为 100,000 的循环。

是否有任何加速解决方案？谢谢！还有，感谢阅读~可能太长太烦人了……

附： 查找表中只有少数字典具有超大尺寸。所以这里可能会有一些机会。

Answer 1

据我所知，sum(len(d) for d in dict_list) 比 len(key_list) * len(dict_list) 小得多。

from collections import defaultdict

dict_list = [{'apple':-1, 'flower':-2}, {'apple':-3, 'dog':-1}, {'apple':-2, 'flower':-1}]

default_value = len(dict_list) * (-10)
dict_merge = defaultdict(lambda: default_value)
for d in dict_list:
    for key, value in d.items():
        dict_merge[key] += value + 10