DataFrame：在忽略 NaN 的情况下使用滚动、均值和移位移动平均

Question

我有一个数据集，比如说 420x1。现在我要计算过去 30 天的移动平均值，不包括当前日期。

如果我执行以下操作：

df.rolling(window = 30).mean().shift(1)

我的 df 导致一个包含大量 NaN 的窗口，这可能是由原始数据帧中的 NaN 引起的（30 个数据点中的 1 个 NaN 导致 MA 为 NaN）。

是否有忽略 NaN 的方法（避免应用方法，我在大数据上运行它，所以性能是关键）？我不想用 0 替换该值，因为这可能会扭曲结果。

这同样适用于移动标准差。

Answer 1

比如你可以加min_periods，而NaN就没有了

df=pd.DataFrame({'A':[1,2,3,np.nan,2,3,4,np.nan]})
df.A.rolling(window=2,min_periods=1).mean()

Out[7]: 
0    1.0
1    1.5
2    2.5
3    3.0
4    2.0
5    2.5
6    3.5
7    4.0
Name: A, dtype: float64

Answer 2

选项 1

df.dropna().rolling('30D').mean()

选项 2

df.interpolate('index').rolling('30D').mean()

选项 2.5

df.interpolate('index').rolling(30).mean()

选项 3

s.rolling('30D').apply(np.nanmean)

选项 3.5

df.rolling(30).apply(np.nanmean)

Answer 3

您可以尝试dropna() 删除 nan 值或尝试fillna() 将 nan 替换为特定值。

或者你可以在你的操作中通过notnull()或isnull()过滤掉所有的nan值。

df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f', 'h'],columns=['one', 'two', 'three'])
df2 = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df2
        one       two     three
a  0.434024 -0.749472 -1.393307
b       NaN       NaN       NaN
c  0.897861  0.032307 -0.602912
d       NaN       NaN       NaN
e -1.056938 -0.129128  1.328862
f -0.581842 -0.682375 -0.409072
g       NaN       NaN       NaN
h -1.772906 -1.342019 -0.948151

df3 = df2[df2['one'].notnull()]
# use ~isnull() would return the same result
# df3 = df2[~df2['one'].isnull()]
print df3
    one       two     three
a  0.434024 -0.749472 -1.393307
c  0.897861  0.032307 -0.602912
e -1.056938 -0.129128  1.328862
f -0.581842 -0.682375 -0.409072
h -1.772906 -1.342019 -0.948151

为了进一步参考，Pandas 有一个关于处理缺失数据的干净纪录片（阅读this）。