写入 Pandas 多索引数据帧的切片很慢

Question

我有一个大的 for 循环来计算许多变量，最终我想将这些变量存储在 Pandas 多索引数据框中。循环的每一步，我都需要写入数据帧的一部分。数据帧有两个行索引和许多列。每个操作都需要写入一个切片，定义为：所有顶部索引、一个特定的第二个索引和一个特定的列。下面是一个操作示例。

import numpy as np
import pandas as pd
n_paths = 1000
pathgrid=np.arange(1, n_paths + 1)
dt = 0.25
T = 40
timegrid = np.arange(0, T + dt, dt)
multiindex = pd.MultiIndex.from_product([pathgrid, timegrid], names=['Path', 'Timestep'])
df=pd.DataFrame(index=multiindex,columns=['Values'])

input = np.random.random_sample(n_paths)
i=0
%timeit df.loc[(pathgrid,i),'Values'] = input

868 ms ± 8.09 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

我发现这非常慢，这使得我的总运行时间非常慢，因为该操作需要执行数百次。有没有更快的方法来使用 Pandas 做到这一点？我知道的唯一选择是将值存储在单独的 Numpy 数组中，并在循环后将 Numpy 数组写入数据帧。但这意味着我必须创建大量这些临时数组

Answer 1

df.loc[(pathgrid,i),'Values'] = input

将input 中的各个值分配给Timestep==0.0 在len(input)-通过的行。因此它很慢。

我建议使用函数一次性赋值：

import numpy as np
import pandas as pd


def assignValue(df, timestep, values):
    for path, new_df in df.groupby(level=0):
        new_df.loc[(path, timestep)] = values[path-1]


n_paths = 1000
pathgrid=np.arange(1, n_paths + 1)
dt = 0.25
T = 40

timegrid = np.arange(0, T + dt, dt)

multiindex = pd.MultiIndex.from_product(
    [pathgrid, timegrid], names=['Path', 'Timestep'])

df = pd.DataFrame(index=multiindex, columns=['Values'])

input = np.random.random_sample(n_paths)

i = 0
%timeit assignValue(df, 0.0, input)

在我的电脑上，新代码需要 315 毫秒，但原始代码需要 1.49 秒。

更新：

原始代码不会更新原始数据框对象。我使用 for 循环和 .loc 来修改行，它更快。

import numpy as np
import pandas as pd


n_paths = 1000
dt = 0.25
T = 40

pathgrid=np.arange(1, n_paths + 1)
timegrid = np.arange(0, T + dt, dt)

multiindex = pd.MultiIndex.from_product(
    [pathgrid, timegrid],
    names=['Path', 'Timestep']
)

df = pd.DataFrame(index=multiindex, columns=['Values'])

inputs = np.random.random_sample(n_paths)
%timeit for i in range(1, n_paths+1): df.loc[(i, 0.0)] = inputs[i-1]

新代码现在需要 80.1 毫秒。