【发布时间】：2020-06-09 05:41:19
【问题描述】：
我想优化我的代码。一个巨大的瓶颈在于创建一种小的 numpy 数组（重复大量次）。现在，我无法避免调用该函数的次数（在我的例子中是数百万次调用）。我不能将所有这些调用矢量化在一起，因为不幸的是它们是问题定义的后续（它们是在每个独立的内部循环的牛顿求解器中生成的）。所以我的目标是减少在每次迭代中创建该矩阵所花费的时间。即使是很小的收获，最终也会产生很大的影响。
def compute_matrix(a, my_dict):
m = np.zeros(a, a)
m[0][0] = my_dict['value00']
m[0][1] = my_dict['value01']
m[1][1] = my_dict['value11']
m[1][3] = my_dict['value13']
m[1][4] = my_dict['value14']
# ... The array is very sparse, but not banded or with any regular pattern, see below for an example with values
m[34][35] = my_dict['value3435']
请注意，我简化了示例，实际上它看起来像：
m[idx['val0']][idx['val0']] = my_dict['val0']['value_a']
m[idx['val0']][idx['val1']] = my_dict['val0']['value_b']
其中 idx 是将“val0”链接到其在（方形）数组中的索引的字典，例如，idx['val0'] = 0 和 idx['val1'] = 1。
你认为最好的策略是什么（欢迎多种策略，我想优化一下，因为这是我遇到的最大瓶颈，我花了 60% 的时间！）。
我的主要想法是使用 Cython/Numba 来实现该功能，具体取决于每个功能的易用性（可能是 Cython）。我过去曾使用 C-API 优化过代码，但由于 numpy 对象，我看不出它如何真正应用在这里，而且无论如何开销可能会太高，因为数组非常小（~ 40*40)。
数组中的非零值会发生变化，但零将始终保持为零。使用这个属性也许可行？
您是否可以在此处看到低悬的优化成果，或者 Cython 是我唯一真正的选择？还是说 Cython 根本没有太大帮助？
结束矩阵的一个例子：
[[-6.3e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1.7e-11 0 6.5e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 -3.4e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8.0e-10 4.9e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 -4.0e-09 9.7e-13 0 0 0 0 0 0 4.9e-08 0 0 0 0 0 0 0 3.8e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 3.4e-06 1.3e-09 -4.9e-09 8.9e-13 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 7.2e-10 -1.8e-09 5.3e-12 0 0 0 0 0 0 1.2e-09 0 0 0 0 0 0 0 1.9e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 9.0e-10 -7.6e-09 1.7e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 7.9e-10 -6.4e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2.1e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 1.5e-09 0 -4.1e-09 1.3e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 1.5e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 5.5e-10 -8.1e-09 1.6e-13 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 9.1e-10 -3.2e-09 0 0 0 0 0 0 0 0 0 0 0 0 7.0e-10 5.9e-12 5.9e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 -5.0e-08 9.1e-13 0 0 0 0 0 0 0 0 0 0 9.9e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 4.2e-10 -7.1e-09 5.9e-13 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 1.0e-09 -3.5e-09 2.0e-12 0 0 0 0 0 0 0 0 0 1.9e-05 4.4e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 1.3e-09 -6.8e-09 1.5e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 0 1.0e-09 -6.7e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -5.0e-09 1.8e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9.8e-10 -1.0e-09 0 0 0 0 1.1e-11 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -3.7e-09 3.3e-12 0 0 1.2e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 2.4e-12 0 0 0 0 0 0 7.2e-13 0 0 0 0 0 0 0 0 2.9e-09 -3.8e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 5.4e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -4.9e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 3.3e-09 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1.1e-09 -1.9e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 4.2e-12 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7.8e-10 0 0 0 0 -1.2e-06 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 2.9e-09 1.6e-10 3.3e-13 0 0 0 0 0 0 0 0 0 0 0 0 -1.2e-05 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 2.9e-10 0 0 0 0 0 0 0 0 0 0 0 0 0 -1.9e-05 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 0 0 0 0 0 0 0 0 0 2.4e-09 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -4.4e-04 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
[ 5.8e-12 7.9e-11 1.8e-10 2.7e-10 6.0e-11 3.5e-10 4.1e-11 4.1e-11 4.6e-10 3.0e-11 2.4e-11 3.9e-10 6.6e-11 3.8e-10 4.3e-11 2.6e-10 1.4e-11 5.3e-11 3.0e-10 9.0e-11 0 9.5e-11 4.4e-10 4.5e-10 4.5e-10 0 3.0e-01 1.2e+00 9.8e-01 9.5e-02 3.5e+00 2.6e-02 4.1e-02 2.7e-05 3.5e+00 4.0e-04 7.0e-03 4.2e-03]
[ 8.4e-13 0 2.7e-12 5.7e-12 1.7e-12 1.8e-11 2.1e-12 5.7e-13 0 7.7e-13 1.6e-13 0 0 8.0e-12 0 1.4e-11 1.1e-12 1.9e-12 1.5e-11 1.0e-11 0 1.1e-11 0 0 0 0 -3.0e-01 0 0 0 0 0 0 0 0 0 0 0 ]
[ 2.3e-14 0 7.5e-14 1.6e-13 4.9e-14 5.1e-13 5.7e-14 1.6e-14 0 2.1e-14 4.6e-15 0 0 2.2e-13 0 3.9e-13 3.0e-14 5.2e-14 4.1e-13 2.9e-13 0 3.0e-13 0 0 0 0 0 -1.2e+00 0 0 0 0 0 0 0 0 0 0 ]
[ 3.0e-13 0 9.7e-13 2.1e-12 6.3e-13 6.6e-12 7.4e-13 2.0e-13 0 2.8e-13 5.9e-14 0 0 2.9e-12 0 5.1e-12 3.9e-13 6.7e-13 5.3e-12 3.7e-12 0 3.9e-12 0 0 0 0 0 0 -9.8e-01 0 0 0 0 0 0 0 0 0 ]
[ 3.1e-13 0 9.9e-13 2.1e-12 6.4e-13 6.7e-12 7.6e-13 2.1e-13 0 2.8e-13 6.0e-14 0 0 2.9e-12 0 5.2e-12 4.0e-13 6.9e-13 5.4e-12 3.8e-12 0 4.0e-12 0 0 0 0 0 0 0 -9.5e-02 0 0 0 0 0 0 0 0 ]
[ 1.2e-13 0 3.7e-13 7.9e-13 2.4e-13 2.5e-12 2.8e-13 7.8e-14 0 1.1e-13 2.3e-14 0 0 1.1e-12 0 1.9e-12 1.5e-13 2.6e-13 2.0e-12 1.4e-12 0 1.5e-12 0 0 0 0 0 0 0 0 -3.5e+00 0 0 0 0 0 0 0 ]
[ 4.0e-13 0 1.3e-12 2.7e-12 8.2e-13 8.6e-12 9.7e-13 2.7e-13 0 3.6e-13 7.8e-14 0 0 3.8e-12 0 6.6e-12 5.1e-13 8.8e-13 6.9e-12 4.9e-12 0 5.2e-12 0 0 0 0 0 0 0 0 0 -2.6e-02 0 0 0 0 0 0 ]
[ 1.3e-11 1.8e-10 4.0e-10 6.2e-10 1.4e-10 7.9e-10 9.4e-11 9.4e-11 1.0e-09 6.8e-11 5.5e-11 9.0e-10 1.5e-10 8.6e-10 1.0e-10 6.0e-10 3.3e-11 1.2e-10 6.9e-10 2.1e-10 0 2.2e-10 1.0e-09 1.0e-09 1.0e-09 0 0 0 0 0 0 0 -4.1e-02 0 0 0 0 0 ]
[ 2.0e-11 2.8e-10 6.2e-10 9.6e-10 2.1e-10 1.2e-09 1.5e-10 1.4e-10 1.6e-09 1.0e-10 8.5e-11 1.4e-09 2.3e-10 1.3e-09 1.5e-10 9.2e-10 5.1e-11 1.9e-10 1.1e-09 3.2e-10 0 3.4e-10 1.6e-09 1.6e-09 1.6e-09 0 0 0 0 0 0 0 0 -2.7e-05 0 0 0 0 ]
[ 2.0e-14 2.8e-13 6.2e-13 9.5e-13 2.1e-13 1.2e-12 1.4e-13 1.4e-13 1.6e-12 1.0e-13 8.4e-14 1.4e-12 2.3e-13 1.3e-12 1.5e-13 9.1e-13 5.0e-14 1.9e-13 1.0e-12 3.1e-13 0 3.3e-13 1.5e-12 1.6e-12 1.6e-12 0 0 0 0 0 0 0 0 0 -3.5e+00 0 0 0 ]
[ 3.1e-11 4.2e-10 9.4e-10 1.4e-09 3.2e-10 1.8e-09 2.2e-10 2.2e-10 2.4e-09 1.6e-10 1.3e-10 2.1e-09 3.5e-10 2.0e-09 2.3e-10 1.4e-09 7.6e-11 2.8e-10 1.6e-09 4.8e-10 0 5.0e-10 2.3e-09 2.4e-09 2.4e-09 0 0 0 0 0 0 0 0 0 0 -4.0e-04 0 0 ]
[ 2.4e-12 3.3e-11 7.3e-11 1.1e-10 2.5e-11 1.4e-10 1.7e-11 1.7e-11 1.9e-10 1.2e-11 9.9e-12 1.6e-10 2.7e-11 1.6e-10 1.8e-11 1.1e-10 5.9e-12 2.2e-11 1.2e-10 3.7e-11 0 3.9e-11 1.8e-10 1.9e-10 1.9e-10 0 0 0 0 0 0 0 0 0 0 0 -7.0e-03 0 ]
[ 1.6e-11 2.2e-10 4.9e-10 7.6e-10 1.7e-10 9.7e-10 1.1e-10 1.1e-10 1.3e-09 8.3e-11 6.7e-11 1.1e-09 1.8e-10 1.1e-09 1.2e-10 7.3e-10 4.0e-11 1.5e-10 8.4e-10 2.5e-10 0 2.6e-10 1.2e-09 1.3e-09 1.3e-09 0 0 0 0 0 0 0 0 0 0 0 0 -4.2e-03]]
【问题讨论】：
-
您能分享一下您是如何获得
my_dict的吗？为什么首先使用字典来表示矩阵？ -
你能不能只创建一次数组。然后每次都根据需要复制。 IE。初始化值会改变吗？ IE。这里的时间安排也可能有用：stackoverflow.com/a/50825480
-
@expectedAn my_dict 在程序开始时定义一次。它包含与材料相对应的物理数据，然后以数组形式表示，以便能够使用 DGESV 求解器
-
@chumbaloo 我不知道为什么我以前没有想到它，但我相信你说对了。我的数组确实发生了变化，但我相信我可以提取一个“初始数组”，然后可以在每次迭代时乘以不同的（但已知的）变量，然后我的问题变成（有点复杂但同样的想法）“A * f + B"，其中 A 和 B 是定义一次的初始 numpy 数组，而 f 取决于迭代参数，因此是一个非常有效的矢量化。如果可行，那就太好了，谢谢！
-
不客气。一般来说，仅复制一个数组将比从 dict 重复读取并随后写入数组中的单个位置快得多。很高兴它很有用。
标签： python numpy optimization