numpy 数组与 nan 与标量的不等式比较

Question

我正在尝试将低于阈值的数组成员设置为 nan。这是 QA/QC 流程的一部分，传入的数据可能已经有 nan 插槽。

例如，我的阈值可能是 -1000，因此我想在以下数组中将 -3000 设置为 nan

x = np.array([np.nan,1.,2.,-3000.,np.nan,5.])

以下内容：

x[x < -1000.] = np.nan

产生正确的行为，但也是一个 RuntimeWarning，但禁用警告的开销

warnings.filterwarnings("ignore")
...
warnints.resetwarnings()

有点重，可能有点不安全。

尝试使用如下花哨的索引进行两次索引不会产生任何效果：

nonan = np.where(~np.isnan(x))[0]
x[nonan][x[nonan] < -1000.] = np.nan

我认为这是因为整数索引或使用了两次索引而制作了副本。

有没有人有一个相对简单的解决方案？在过程中使用掩码数组会很好，但最终产品必须是 ndarray 并且我不能引入新的依赖项。谢谢。

Answer 1

np.less() 有一个where 参数，用于控制将在何处应用操作。所以你可以这样做：

x[np.less(x, -1000., where=~np.isnan(x))] = np.nan

Answer 2

有点晚了，但我会这样做：

x = np.array([np.nan,1.,2.,-3000.,np.nan,5.]) 

igood=np.where(~np.isnan(x))[0]
x[igood[x[igood]<-1000.]]=np.nan

Answer 3

我个人在已经给出的答案中忽略了使用 np.errstate 上下文管理器的警告，因为代码清晰值得额外的时间，但这里有一个替代方案。

# given
x = np.array([np.nan, 1., 2., -3000., np.nan, 5.])

# apply NaNs as desired
mask = np.zeros(x.shape, dtype=bool)
np.less(x, -1000, out=mask, where=~np.isnan(x))
x[mask] = np.nan

# expected output and comparison
y = np.array([np.nan, 1., 2., np.nan, np.nan, 5.])
assert np.allclose(x, y, rtol=0., atol=1e-14, equal_nan=True)

numpy less ufunc 采用可选参数where，并且只在为真时评估它，这与np.where 函数不同，它评估两个选项然后选择相关的一个。然后，您可以使用 out 参数设置不正确的输出。

Answer 4

一种选择是使用numpy.errstate 禁用相关警告：

with numpy.errstate(invalid='ignore'):
    ...

要全局关闭相关警告，请使用numpy.seterr。

Answer 5

NaN 与非 NaN 值的任何比较（!= 除外）将始终返回 False：

>>> x < -1000
array([False, False, False,  True, False, False], dtype=bool)

因此，您可以简单地忽略数组中已经存在 NaN 的事实并执行以下操作：

>>> x[x < -1000] = np.nan
>>> x
array([ nan,   1.,   2.,  nan,  nan,   5.])

编辑我在运行上述代码时没有看到任何警告，但如果您真的需要远离 NaN，您可以执行以下操作：

mask = ~np.isnan(x)
mask[mask] &= x[mask] < -1000
x[mask] = np.nan