计算两个字典之间的点积数百万次

Question

我有两个不会改变的字典 d1 = {'string1': number1, ..., 'string5 000 000': number5000000} 和许多小字典 d_i = {'str1': num1, ..., ' str50': num50} (i = 2, 3, ..., 几百万)。我想在这些字典之间做一个点积，即对于字典 d_i 中也存在于 d_1 中的每个键，我希望它们的数字相乘，然后加到总和中。 问题是第一个字典非常大，并且有数百万个小字典。 我怎么做那么快？我可以为此使用一些大数据技术吗？

Answer 1

您可以将数据放入 pandas 数据框，然后在数据框中的系列之间进行点积。它可以更快，但在你的情况下，我会测量在 python 实现和 pandas 的情况下需要多少时间。