为什么 numpy 的 where 操作比 apply 函数快？

Question

在基于某些条件在 pandas 数据框中创建新列时，numpy 的 where 方法在执行时间方面优于 apply 方法，为什么会这样？

例如：

df["log2FC"] = df.apply(lambda x: np.log2(x["C2Mean"]/x["C1Mean"]) if x["C1Mean"]> 0 else np.log2(x["C2Mean"]), axis=1)

df["log2FC"] = np.where(df["C1Mean"]==0,
                        np.log2(df["C2Mean"]), 
                        np.log2(df["C2Mean"]/df["C1Mean"]))

Answer 1

对apply 的调用是逐行迭代：

df["log2FC"] = df.apply(lambda x: np.log2(x["C2Mean"]/x["C1Mean"]) if x["C1Mean"]> 0 else np.log2(x["C2Mean"]), axis=1)

apply 只是循环的语法糖，你传递了axis=1 所以它是按行的。

你的另一个sn-p

df["log2FC"] = np.where(df["C1Mean"]==0,
                        np.log2(df["C2Mean"]), 
                        np.log2(df["C2Mean"]/df["C1Mean"]))

作用于整个列，所以它是矢量化的。

另一件事是pandas 比numpy 执行更多的检查、索引对齐等。

当您传递标量值时，您对 np.log2 的调用在这种情况下毫无意义：

 np.log2(x["C2Mean"]/x["C1Mean"])

就性能而言，它与调用math.log2 相同

解释为什么 numpy 明显更快或什么是矢量化超出了这个问题的范围。你可以看到这个：What is vectorization?。

这里最重要的是，numpy 可以并且将使用用 C 或 Fortran 编写的外部库，它们本质上比 python 快。