pd.notnull 奇怪的空值检查行为

Question

这实质上是对我的answer here 内容的重新散列。

我在尝试使用pd.notnull 解决this question 时遇到了一些奇怪的行为。

考虑

x = ('A4', nan)

我想检查这些项目中的哪些是空的。直接使用np.isnan 会抛出一个TypeError（但我已经想出了如何解决这个问题）。

使用pd.notnull 不起作用。

>>> pd.notnull(x)
True

它将元组视为单个值（而不是值的可迭代）。此外，将其转换为列表然后进行测试也会给出错误的答案。

>>> pd.notnull(list(x))
array([ True,  True])

由于第二个值是nan，所以我要查找的结果应该是[True, False]。当您预先转换为系列时，它终于可以工作了：

>>> pd.Series(x).notnull() 
0     True
1    False
dtype: bool

因此，解决方案是对其进行系列化，然后测试这些值。

与此类似，另一个（诚然是迂回的）解决方案是预转换为 object dtype numpy 数组，pd.notnull 或 np.isnan 将直接工作：

>>> pd.notnull(np.array(x, dtype=object))
Out[151]: array([True,  False])

我想pd.notnull 直接把x 直接转换成字符串数组，把NaN 渲染成字符串“nan”，所以不再是“null”值了。

pd.notnull 在这里做同样的事情吗？还是我应该注意的其他事情？

备注

In [156]: pd.__version__
Out[156]: '0.22.0'

Answer 1

这是与此行为相关的问题：https://github.com/pandas-dev/pandas/issues/20675。

简而言之，如果传递给notnull 的参数是list 类型，则在内部使用np.asarray 方法将其转换为np.array。出现此错误的原因是，如果未指定 dtype，numpy 会将 np.nan 转换为 string（pd.isnull 无法将其识别为空值）：

a = ['A4', np.nan]
np.asarray(a)
# array(['A4', 'nan'], dtype='<U3')

此问题已在 0.23.0 版中修复，方法是使用 dtype=object 调用 np.asarray。