滚动 MAD 的 Numpy 版本（平均绝对偏差）答案

【问题标题】：Numpy version of rolling MAD (mean absolute deviation)滚动 MAD 的 Numpy 版本（平均绝对偏差）
【发布时间】：2017-08-09 11:00:33
【问题描述】：

如何制作以下MAD函数的滚动版本

from numpy import mean, absolute

def mad(data, axis=None):
    return mean(absolute(data - mean(data, axis)), axis)

此代码是this question的答案

目前我将 numpy 转换为 pandas 然后应用此函数，然后将结果转换回 numpy

pandasDataFrame.rolling(window=90).apply(mad)

但这在较大的数据帧上效率低下。如何在不循环的情况下在 numpy 中获得相同函数的滚动窗口并给出相同的结果？

【问题讨论】：

不是那么低效吗？
嗯，你知道，在我的脑海里我的意思是别的 :) 谢谢

标签： performance pandas numpy vectorization

【解决方案1】：

这是一个向量化的 NumPy 方法 -

# From this post : http://stackoverflow.com/a/40085052/3293881
def strided_app(a, L, S ):  # Window len = L, Stride len/stepsize = S
    nrows = ((a.size-L)//S)+1
    n = a.strides[0]
    return np.lib.stride_tricks.as_strided(a, shape=(nrows,L), strides=(S*n,n))

# From this post : http://stackoverflow.com/a/14314054/3293881 by @Jaime
def moving_average(a, n=3) :
    ret = np.cumsum(a, dtype=float)
    ret[n:] = ret[n:] - ret[:-n]
    return ret[n - 1:] / n

def mad_numpy(a, W):
    a2D = strided_app(a,W,1)
    return np.absolute(a2D - moving_average(a,W)[:,None]).mean(1)

运行时测试-

In [617]: data = np.random.randint(0,9,(10000))
     ...: df = pd.DataFrame(data)
     ...: 

In [618]: pandas_out = pd.rolling_apply(df,90,mad).values.ravel()
In [619]: numpy_out = mad_numpy(data,90)

In [620]: np.allclose(pandas_out[89:], numpy_out) # Nans part clipped
Out[620]: True

In [621]: %timeit pd.rolling_apply(df,90,mad)
10 loops, best of 3: 111 ms per loop

In [622]: %timeit mad_numpy(data,90)
100 loops, best of 3: 3.4 ms per loop

In [623]: 111/3.4
Out[623]: 32.64705882352941

巨大的 32x+ 加速了 loopy pandas 解决方案！

【讨论】：