优化熊猫应用回顾前一行中间计算

Question

我有一个数据框 - pastebin for minimium code to run

df_dict = {
    'A': [1, 2, 3, 4, 5],
    'B': [5, 2, 3, 1, 5],
    'out': np.nan
}
df = pd.DataFrame(df_dict)

我目前正在执行以下逐行计算：

def transform(row):

    length = 2
    weight = 5
    row_num = int(row.name)
    out = row['A'] / length

    if (row_num >= length):
        previous_out = df.at[ row_num-1, 'out' ]
        out = (row['B'] - previous_out) * weight + previous_out

    df.at[row_num, 'out'] = out


df.apply( lambda x: transform(x), axis=1)

这会产生正确的结果：

   A  B    out
0  1  5    0.5
1  2  2    1.0
2  3  3   11.0
3  4  1  -39.0
4  5  5  181.0

正确计算的细分如下：

   A  B    out
0  1  5    0.5   
out = a / b 

1  2  2    1.0
out = a / b 

row_num >= length:

2  3  3   11.0
out = (b - previous_out) * weight + previous_out
out = (3 - 1) * 5 + 1  = 11

3  4  1  -39.0
out = (1 - 11) * 5 + 11 = 39

4  5  5  181.0
out = (5 - (-39)) * 5 + (-39) = 181

在许多列和循环中执行此操作很慢，因此我想尽可能利用某种矢量化进行优化。

我目前的尝试是这样的：

df['out'] = df['A'] / length
df[length:]['out'] = (df[length:]['B'] - df[length:]['out'].shift() ) * weight + df[length:]['out'].shift()

这不起作用，我不太确定从这里去哪里。

Pastebin of the above code to just copy/paste into a file and run

Answer 1

您将无法做得比这更好：

df['out'] = df.A / length
for i in range(len(df)):
    if i >= length:
        df.loc[i, 'out'] = (df.loc[i, 'B'] - 
                df.loc[i - 1, 'out']) * weight + df.loc[i - 1, 'out']

原因是“输入取决于先前步骤的结果的计算的迭代性质使矢量化复杂化”（正如评论者 here 所说）。您不能进行计算，其中每个结果都取决于矩阵中的前一个结果 - 幕后总会发生某种循环。