在numpy数组中用NA替换异常值[关闭]

Question

给定一个像这样的 numpy 数组

[[100, 110, 0.01, 110], [120, 100, 112, 100], [4000, 100, 200, 100]]

如何用 NA 替换异常值？

[[100, 110, NA, 110], [120, 100, 112, 100], [NA, 100, 200, 100]]

至于异常值检测，我对平均值的 2 个 SD 感到满意

Answer 1

我假设您在某处编码或导入了 SD 和均值函数。

所以你应该这样编码：

sd = my_sd_function(my_array)
mean = my_mean_function(my_array)
outliers = (my_array > (mean + 2 * sd)) | (my_array < (mean - 2 * sd))
my_array[outliers] = NA

但是考虑一下：

• 说真的，我不知道你所说的 NA 是什么意思。也许None？

• 我不了解您的数组的结构来制作适当的功能。也许这些功能可以满足您的需求？：

  def my_mean_function(arr):
      return arr.sum() / arr.size
  
  def my_sd_function(arr):
      mean = my_mean_function(arr)
      sqrerr = ((arr - mean) ** 2).sum() / arr.size
      return sqrt(sqrerr)
  

这里你应该知道的核心部分是根据你想要的条件实际选择和更新数组元素。

在这里，您将使用 & ~ 和 | 而不是 and not 和 or 关键字。这是因为 numpy 数组以某种方式定义了它们的实现以使用此类运算符（而语言构造函数 and or 和 not 实际上并不是可以重载的运算符）。

这样的构造返回可以像数组一样受到威胁的对象（您可以在控制台/ipython 中打印outliers，看看我在说什么）。

第二部分是您可以将my_array[...] 作为索引传递给，实际上是索引列表或类似的结构（例如切片）并以有效的方式检索/更改此类元素（IIRC 这种方法创建了称为 view 到 numpy 数组中底层原始数据 blob 中的数据）。