pandas.Series 中的唯一值 [重复]

Question

考虑以下pandas.Series：

import pandas as pd
import numpy as np
s = pd.Series([np.nan, 1, 1, np.nan])

s
0    NaN
1    1.0
2    1.0
3    NaN
dtype: float64

我想使用内置的set 函数仅查找此特定系列中的唯一值：

unqs = set(s)

unqs
{nan, 1.0, nan}

为什么结果集中有重复的NaNs？使用类似的函数 (pandas.unique) 不会产生这个结果，那么这里有什么区别呢？

pd.unique(s)
array([ nan,   1.])

Answer 1

就像在Java 和JavaScript 中一样，numpy 中的nan 不等于自身。

>>> np.nan == np.nan
False

这意味着当set 构造函数检查“我在这个集合中有nan 的实例吗？”它总是返回 False

那么……为什么？

nan 在这两种情况下都表示“不能用'float'表示的值”。这意味着将其转换为浮点数的尝试必然会失败。它也无法排序，因为无法判断nan 是否应该大于或小于任何数字。

毕竟，“猫”和 7 哪个更大？并且是“goofy”==“pluto”吗？

那么……我该怎么办？

有几种方法可以解决此问题。就我个人而言，我通常会尝试在处理之前填充 nan：DataFrame.fillna 会对此有所帮助，并且我总是会使用 df.unique() 来获取一组唯一值。

no_nas = s.dropna().unique()
with_nas = s.unique()
with_replaced_nas = s.fillna(-1).unique() # using a placeholder

（注意：以上都可以传入set构造函数。

如果我不想使用 Pandas 方式怎么办？

有理由不使用 Pandas，或者依赖原生对象而不是 Pandas。这些应该就足够了。

您的另一个选择是过滤并删除nan。

unqs = set(item for item in s if not np.isnan(item))

你也可以替换内联的东西：

placeholder = '{placeholder}' # There are a variety of placeholder options.
unqs = set(item if not np.isnan(item) else placeholder for item in s)