熊猫数据框行为

Question

此代码有效 - 它将每列设置为其平均值：

def setSerNanToMean(serAll):
    return serAll.replace(np.NaN, serAll.mean())
def setPdfNanToMean(pdfAll, listCols):
    pdfAll.ix[:,listCols] = pdfAll.ix[:,listCols].apply(setSerNanToMean)
setPdfNanToMean(pdfAll, [1,2,3,4])

此代码不起作用：

def setSerNanToMean(serAll):
    return serAll.replace(np.NaN, serAll.mean())
def setPdfNanToMean(pdfAll, listCols):
    pdfAll.ix[:,listCols].apply(setSerNanToMean) # This line has changed!
setPdfNanToMean(pdfAll, [1,2,3,4])

为什么第二个代码块不起作用？ DataFrame.apply() 不是默认就地吗？ apply 函数没有 inplace 参数。如果它不能正常工作，这不是让 pandas 成为一个糟糕的内存处理程序吗？在这种情况下，所有 pandas 数据框操作都会复制所有内容吗？就地做不是更好吗？即使它没有默认就地，它不应该像 replace() 那样提供就地参数吗？

我寻找的不是具体的答案，而是一般的理解。同样，这些代码块之一有效，所以我可以继续前进，但我真正想做的是了解 pandas 如何处理内存对象的操作。我有 McKinney 的书，因此非常欢迎页面参考，因此您不必输入太多。

Answer 1

不，应用不能就地工作*。

这是另一个给你的：就地标志实际上并不意味着实际发生的任何功能（！）。举个例子：

In [11]: s = pd.Series([1, 2, np.nan, 4])

In [12]: s._data._values
Out[12]: array([  1.,   2.,  nan,   4.])

In [13]: vals = s._data._values

In [14]: s.fillna(s.mean(), inplace=True)

In [15]: vals is s._data._values  # values are the same
Out[15]: True

In [16]: vals
Out[16]: array([ 1.        ,  2.        ,  2.33333333,  4.        ])

In [21]: s = pd.Series([1, 2, np.nan, 4])  # start again

In [22]: vals = s._data._values

In [23]: s.fillna('mean', inplace=True)

In [24]: vals is s._data._values  # values are *not* the same
Out[24]: False

In [25]: s._data._values
Out[25]: array([1.0, 2.0, 'mean', 4.0], dtype=object)

注意：通常如果类型相同，那么 values 数组也相同，但 pandas 不保证这一点。

通常 apply 很慢（因为您基本上是在 python 中遍历每一行），并且“游戏”是根据 pandas/numpy 本机函数和索引重写该函数。如果您想深入了解有关内部的更多详细信息，请查看 core/internals.py 中的 BlockManager，这是包含底层 numpy 数组的对象。但老实说，我认为你最有用的工具是 %timeit 并查看特定功能的源代码（ipython 中的 ??）。

在这个具体示例中，我会考虑在所需列的显式 for 循环中使用 fillna：

In [31]: df = pd.DataFrame([[1, 2, np.nan], [4, np.nan, 6]], columns=['A', 'B', 'C'])

In [32]: for col in ["A", "B"]:
   ....:     df[col].fillna(df[col].mean(), inplace=True)
   ....:

In [33]: df
Out[33]:
   A  B   C
0  1  2 NaN
1  4  2   6

（也许对于这个用例，fillna 有 columns 参数是有意义的？）

所有这些并不是说 pandas 内存效率低……但有时必须考虑高效（和内存效率）的代码。

*apply 通常在原地没有意义（而且 IMO 很少需要这种行为）。