对于方括号列选择，fillna 方法比熊猫数据框的 loc 方法慢

Question

我发现对于 pandas 数据框的不同列选择技术，fillna 的处理时间存在显着差异。

数据帧的fillna 花费的时间，其列是使用loc 选择的

df1 = df.copy()
t1 = time.time()
df1.loc[:, col] = df1.loc[:, col].fillna(method="ffill")
t2 = time.time()
print(t2-t1)

3.908552885055542

fillna 的数据帧所用的时间，其列是使用方括号选择的：

df1 = df.copy()
t1 = time.time()
df1[col] = df1[col].fillna(method="ffill")
t2 = time.time()
print(t2-t1)

223.85472440719604

这个post 建议使用 loc 和方括号进行列选择是相似的：-
选择列列表 (df[['A', 'B', 'C']] 是一样的as df.loc[:, ['A', 'B', 'C']] -> 选择列 A、B 和 C）

谁能帮忙解释一下为什么会有时差？谢谢！！

Answer 1

我在 2014 年收集了几个点，而我正在测试超过 200 万行。我从 SO 线程中发现它很有趣，我收集如下。

一般来说，您应该使用 loc 进行基于标签的分配，使用 iloc 进行基于整数/位置的分配，因为规范保证它们始终在原始值上运行。

最好看select a subset of a DataFrame

- loc is faster, because it does not try to create a copy of the data.

- loc is meant to modify your existing dataframe inplace, which is more memory efficient.

- loc is predictable, it has one behavior.

- df.loc's syntax is explicit, with df.loc[indexer] you know automatically that df.loc is selecting rows. In contrast, it is not clear if df[indexer] will select rows or columns (or raise ValueError) without knowing details about indexer and df.

当使用loc

df.loc[:] = 数据框

df.loc[int] = Dataframe 如果您有多个列，Series 如果您在数据框中只有 1 列

df.loc[:, ["col_name"]] = Dataframe 如果您有不止一行，Series 如果您只有 1 行选择

df.loc[:, "col_name"] = 系列

不使用loc

df["col_name"] = 系列

df[["col_name"]] = 数据框

查看here for some interesting details在使用和不使用 .loc 的情况下对多列“链式分配”的性能考虑