Python：查找列表中的异常值

Question

我有一个包含随机数量的整数和/或浮点数的列表。我想要实现的是在我的数字中找到异常（希望用正确的词来解释这一点）。例如：

list = [1, 3, 2, 14, 108, 2, 1, 8, 97, 1, 4, 3, 5]

• 90% 到 99% 的整数值在 1 到 20 之间
• 有时会有更高的值，比如大约 100 或 1.000 甚至更多

我的问题是，这些值可能一直都不同。也许常规范围在 1.000 到 1.200 之间，例外情况在 50 万之间。

有过滤掉这些特殊数字的功能吗？

Answer 1

假设你的列表是l:

• 如果您知道要过滤某个百分位数/分位数，您可以 使用：

  这会删除底部 10% 和顶部 90%。当然，您可以更改任何 它们达到您想要的截止值（例如，您可以移除底部过滤器，仅过滤示例中的前 90%）：

  import numpy as np
  l = np.array(l)
  l = l[(l>np.quantile(l,0.1)) & (l<np.quantile(l,0.9))].tolist()
  

  输出：

  [ 3  2 14  2  8  4  3  5]
  

• 如果您不确定百分位分界点并希望 去除异常值：

  您可以通过调整参数 m 来调整异常值的截止值 函数调用。它越大，去除的异常值越少。与其他异常值去除技术相比，此函数似乎对各种类型的异常值更稳健。

   import numpy as np 
   l = np.array(l) 
   def reject_outliers(data, m=6.):
      d = np.abs(data - np.median(data))
      mdev = np.median(d)
      s = d / (mdev if mdev else 1.)
      return data[s < m].tolist()
   print(reject_outliers(l))
  

  输出：

  [1, 3, 2, 14, 2, 1, 8, 1, 4, 3, 5]
  

Answer 2

可以使用内置的filter()方法：

lst1 = [1, 3, 2, 14, 108, 2, 1, 8, 97, 1, 4, 3, 5]

lst2 = list(filter(lambda x: x > 5,lst1))

print(lst2)

输出：

[14, 108, 8, 97]

Answer 3

所以这里有一个方法来阻止这些偏差

import math
_list = [1, 3, 2, 14, 108, 2, 1, 8, 97, 1, 4, 3, 5]
def consts(_list):
    mu = 0
    for i in _list:
        mu += i
    mu = mu/len(_list)
    sigma = 0
    for i in _list:
        sigma += math.pow(i-mu,2)
    sigma = math.sqrt(sigma/len(_list))
    return sigma, mu

def frequence(x, sigma, mu):
    return (1/(sigma*math.sqrt(2*math.pi)))*math.exp(-(1/2)*math.pow(((x-mu)/sigma),2))

sigma, mu = consts(_list)

new_list = []
for i in range(len(_list)):
    if frequence(_list[i], sigma, mu) > 0.01:
        new_list.append(i)
print(new_list)