如何矢量化/优化依赖于先前行的计算答案

【问题标题】：How to vectorize/optimize calculations that rely on prior rows如何矢量化/优化依赖于先前行的计算
【发布时间】：2020-12-25 04:00:00
【问题描述】：

我正在研究运行时非常重要并且我们正在使用的数据很大的东西，但基本上问题归结为优化求解系列 x，其中 x1 已知且 x = ax+b 来自先前排。比如开始状态：

最终状态如下所示：

因为 3*1+2 = 5、5*3+1 = 16 等等。

我试着计算它的数学，结果是：

b0 = x1
xi = sum(n=0 to i-1)(bn*product(m=n+1 to i-1)(am)

例如，对于您最终会得到的第三行：

x3 = a1*a2*b0 + b1*a2 + b2 = 3*1*3 + 2*3 + 1 = 9 + 6 + 1 = 16

但从计算上看，这似乎比通过循环遍历行来计算每个 x 更糟糕，如下所示：

for i in range(2,len(df)):
    df.x[i] = df.x[i-1]*df.a[i-1]+df.b[i-1]

有没有更简单的方法来解决我遗漏的问题，或者我只是在处理一个计算量很大的操作，而我必须承担迭代的成本？如果 a 项不存在，则可以通过 cumsum 处理 bn 部分，例如：

df['b_cumsum'] = x1+cumsum(df.b)

但在尝试包含 a 项时，我最终碰壁了，尤其是因为即使在每个总和项中，我们最终也需要这么多不同的产品集。

谢谢。

【问题讨论】：

我认为它不能向量化，因为它是滚动计算。所以，你可能要求我们打败循环代码

标签： python pandas numpy optimization vectorization

【解决方案1】：

您可以先计算一个重新缩放的 x：x' = x/cumprod(a) 使用匹配b' = b/cumprod(a)

这可以通过矢量化操作来完成，从 x' 到 x 的反向转换也可以：

ab = np.array([[1, 2],
               [3, 1],
               [2, 2],
               [4, 8],
               [1, 9]])

scale = ab.T[0].cumprod()
xp = 3+(ab.T[1]/scale).cumsum()
x = xp*scale
x
array([  5.,  16.,  34., 144., 153.])

【讨论】：

这显然有效并且看起来是一个非常优雅的解决方案，但是您介意解释一下数学吗？我知道比例只是 cumprod(a) 但 xp 如何正确计算 x/cumprod(a)？谢谢。
@zachvac 可以这样想：如果比例因子（a 列）都是 1，那么这很容易。通过按照我们的方式重新缩放 x，我们可以准确地实现这一点。我们必须使用 a 的 cumprod，因为原始缩放是累积的。一旦清楚了，我们只需要观察 b 必须以与 x 相同的方式缩放以保持一致性。
对不起，我确实得到了总体目标，也许我花了太多时间试图推导总和/乘积来理解它是如何工作的。作为解决 x5 的示例，我得到： [a1-a4]*x1 + b1*[a2-a4] + b2*[a3-a4]+b3*a4+b4 括号表示这些术语的乘积。当有 2-4、3-4 和 a4 的产品时，你怎么能只用 cumprod 从 1 扩展到 4 一次？
哦等等我算出来了，我看看它是如何工作的，它是分母中累积乘积的累积和，分子抵消了第一项中的所有分母，大部分在第 2 次等。我将进一步研究这个，但这非常有帮助，非常感谢。
好的，所以我的解释是这样的：我们总是以 cumprod(a)*x1 + b1*[a2-an] + b2*[a3-an] + ... bn 所以结束x/cumprod(a) = x1 + b1/a1 + b2/a1-a2 + ... + bn/a1-an 所以我绝对理解它为什么起作用，我只是不太了解缩放解释或如何可能无需非常幸运的猜测即可获得该解决方案。我想意识到 [ai-an]/[a1-an] = 1/(cumprod(a) at i) 将是关键，看起来您似乎以更直观的方式到达那里。

【解决方案2】：

当我遇到无法向量化但需要高效的函数时，我使用numba。这是一个即时编译（JIT）模块。大多数情况下，这甚至比原生 pandas 方法更快：

from numba import njit

@njit
def calculation(arr):
    result = np.empty(arr.shape[0])
    for idx, row in enumerate(arr):
        if idx == 0:
            result[idx] = row[2]
        else:
            row = arr[idx-1]
            result[idx] = result[idx-1] * row[0] + row[1]
    
    return result

df['x'] = calculation(df.to_numpy())

print(df)

   a  b      x
0  1  2    3.0
1  3  1    5.0
2  2  2   16.0
3  4  8   34.0
4  1  9  144.0

注意：当你想计时。不要在第一次运行时计时，因为它还没有编译。首先运行一次，然后在第二次运行时计时。

【讨论】：