RMSE 每月或每小时按月使用 apply 和 python答案

【问题标题】：RMSE monthly or hourly according to month using apply with pythonRMSE 每月或每小时按月使用 apply 和 python
【发布时间】：2021-01-19 14:42:09
【问题描述】：

我有这个数据框：

dates,AA,BB,CC
2018-01-01 00:00:00,45.73,47.63,3.45625
2018-01-01 01:00:00,44.16,44.42,3.45625
2018-01-01 02:00:00,42.24,42.34,3.45625
2018-01-01 03:00:00,39.29,38.36,3.45625
2018-01-01 04:00:00,36,36.87,3.45625
2018-01-01 05:00:00,41.99,39.79,3.45625
2018-01-01 06:00:00,42.25,42.08,3.45625
2018-01-01 07:00:00,44.97,51.19,3.45625
2018-01-01 08:00:00,45,59.69,3.45625
2018-01-01 09:00:00,44.94,56.67,3.45625
2018-01-01 10:00:00,45.04,53.54,3.45625
2018-01-01 11:00:00,46.67,52.6,3.45625
2018-01-01 12:00:00,46.99,50.77,3.45625
2018-01-01 13:00:00,44.16,50.27,3.45625
2018-01-01 14:00:00,45.26,50.64,3.45625
2018-01-01 15:00:00,47.84,54.79,3.45625
2018-01-01 16:00:00,50.1,60.17,3.45625
2018-01-01 17:00:00,54.3,59.47,3.45625
2018-01-01 18:00:00,51.91,60.16,3.45625
2018-01-01 19:00:00,51.38,70.81,3.45625
2018-01-01 20:00:00,49.2,62.65,3.45625
2018-01-01 21:00:00,45.73,59.71,3.45625
2018-01-01 22:00:00,44.84,50.96,3.45625
2018-01-01 23:00:00,38.11,46.52,3.45625
2018-01-02 00:00:00,19.19,49.62,3.405
2018-01-02 01:00:00,14.99,45.05,3.405
2018-01-02 02:00:00,11,45.18,3.405
2018-01-02 03:00:00,10,37.12,3.405
2018-01-02 04:00:00,11.83,38.03,3.405
2018-01-02 05:00:00,14.99,46.17,3.405
2018-01-02 06:00:00,40.6,51.71,3.405
2018-01-02 07:00:00,46.99,54.37,3.405
2018-01-02 08:00:00,47.95,75.3,3.405
2018-01-02 09:00:00,49.9,68.48,3.405
2018-01-02 10:00:00,50,61.94,3.405
2018-01-02 11:00:00,49.7,63.26,3.405
2018-01-02 12:00:00,48.16,59.41,3.405
2018-01-02 13:00:00,47.24,60,3.405
2018-01-02 14:00:00,46.1,67.44,3.405
2018-01-02 15:00:00,47.6,66.82,3.405
2018-01-02 16:00:00,50.45,72.17,3.405
2018-01-02 17:00:00,54.9,70.28,3.405
2018-01-02 18:00:00,57.18,62.63,3.405

基本上，从 2018-01-01 到 2018-12-31 的每小时日期。

我想通过 apply 方法或等效方法做不同的事情。首先，我想以 AA 作为参考解决方案计算 BB 和 CC 之间的月度均方根误差（均方根误差）。我这样做如下：

dfr = dfr.assign(month=lambda x: x.index.month).groupby('month')
rmseBB = dfr.apply(rmse,   s1='AA',s2='BB')
rmseCC = dfr.apply(rmse,   s1='AA',s2='CC')

这里是 rmse 函数：

def rmse(group,s1,s2):
    if len(group) == 0:
        return np.nan
    s = (group[s1] - group[s2]).pow(2).sum()
    print(len(group))
    rmseO = np.sqrt(s / len(group)) 
    return rmseO

前面的过程似乎与给定的结果一样正常工作。

除此之外，我想做一些更复杂的事情，至少根据我的实际知识。

我想计算属于同一月份的每个小时的 RMSE。我的意思是一月份的每个第一个小时的 RMSE，一月份的每个第二个小时的 RMSE，依此类推。这意味着每个月有 24 个 RMSE 值。之后，我可以计算每个月的平均小时 RMSE。更重要的是，我希望能够在平均每小时 RMSE 中选择要考虑的小时数。

这意味着一种双重分组，每月和每小时。我错了吗？

我希望自己说清楚。

感谢您的任何帮助。

迭戈

【问题讨论】：

标签： python pandas datetime apply

【解决方案1】：

您可以按照以下方式进行

import pandas as pd
df=pd.read_csv("Dates.csv")
year=['01','02','03','04','05','06','07','08','09','10','11','12']
time=list('0'+str(x) for x in range(10))+list(str(x) for x in range(11,24))
for i in year:
    df_mon=df[(df['dates'].apply(lambda x:x.split()[0][5:7])==i)]
    if len(df_mon)==0:
        continue
    for j in time:
        df_time=df_mon[(df_mon['dates'].apply(lambda x:x.split()[1][0:2])==j)]
        RMSE_BB=pow(pow(df_time['AA']-df_time['BB'],2).mean(),0.5)
        RMSE_CC=pow(pow(df_time['AA']-df_time['CC'],2).mean(),0.5)
        print(i,j,RMSE_BB, RMSE_CC)

【讨论】：

亲爱的 Pratik，感谢您的帮助。但是，我不清楚。 1）我想年从 01 开始，以 12 结束。2）不清楚它是什么意思时间。为什么 x 在范围（1,10）中，然后在范围（11,24）中？这是因为小时数吗？结果我的结果介于 01 和 23 之间。最后，由于在我所有的 dfr 中我都有 parse_dates=True，所以使用 pd.index 怎么样。再次感谢
嗨 Dedro，我注意到错误 01 到 12 是一年中的月份，而 00 到 23 是 codẹ 中的小时后，我已经修改了代码。给定的代码为您提供每个月每小时的 RMSE。
parse_dates 的使用怎么样？这可以避免使用 split()[0][5:7]) 吗？再次感谢。很抱歉这个问题，但这些将帮助我理解和学习，再次感谢
split() 将这里的字符串分成两部分。以“2018-01-02 08:00:00”为例，split()[0] 将获取输出的第一部分，然后 [5:7] 将获取第 5 和第 6 个字符。在我们的示例中， split()[0] 将采用“2018-01-02”，然后 split()[0][5:7] 将采用第 5 和第 6 个字符作为字符串，即“01”。此代码仅在日期为 YYYY-MM-DD 格式时才有帮助。
“.groupby”() 怎么样？我想使用它并利用 dateindex。

【解决方案2】：

如果你想使用 group by 你可以像下面这样。

import pandas as pd
def rmse(df_time):
    RMSE_BB=pow(pow(df_time['AA']-df_time['BB'],2).mean(),0.5)
    RMSE_CC=pow(pow(df_time['AA']-df_time['CC'],2).mean(),0.5)
    return RMSE_BB,RMSE_CC

df=pd.read_csv("Dates.csv")
df['month']=df['dates'].apply(lambda x:x.split()[0][5:7])
df['time']=df['dates'].apply(lambda x: x.split()[1][0:2])
df1=df.groupby(['month','time']).apply(rmse)
df1

【讨论】：