如果与之前和之后的差异太大，则丢弃值 - Pandas

Question

当与前一个或下一个数据帧的值相差太大时，我想从数据帧中删除值。

df = pd.DataFrame({'Watt':[554, 557, 51, 480, 601, 458, 19, 492, 503, 22, 399]})

例如，在这里我需要删除 (51, 19, 22)，一种“异常值”。

我不想在< x 之类的条件下删除，而是考虑到与前面和后面的值的百分比变化。

谢谢

Answer 1

以下将导致所需的输出：

df = pd.DataFrame({'Watt':[554, 557, 51, 480, 601, 458, 19, 492, 503, 22, 399]})
df['previous percent'] = df.Watt/df.Watt.shift(1)
df['next percent'] = df.Watt.shift(-1)/df.Watt

threshold_previous = .8
threshold_next = 2

df[(1-df['previous percent'] < threshold_previous) & 
   (df['next percent']-1 < threshold_next)]

稍微优雅一点的解决方案是：

df['average'] = (df.Watt.shift(1) + df.Watt.shift(-1)) / 2
threshold = .8
df[df.Watt/df.average > threshold]

但这取决于您的用例。