Python：将 Pandas 数据框与数据透视表合并

Question

我有以下两个要合并的数据框。

df1:
     id   time                  station
0     a   22.08.2017 12:00:00   A1
1     b   22.08.2017 12:00:00   A3
2     a   22.08.2017 13:00:00   A2
...

pivot:
      station               A1     A2     A3
0     time
1     22.08.2017 12:00:00   10     12     11
2     22.08.2017 13:00:00   9      7      3
3     22.08.2017 14:00:00   2      3      4
4     22.08.2017 15:00:00   3      2      7
...

它应该看起来像：

merge:

     id   time                  station   value
0     a   22.08.2017 12:00:00   A1        10
1     b   22.08.2017 12:00:00   A3        11
2     a   22.08.2017 13:00:00   A2        7
...

现在我想在数据框中添加一列，其中包含数据透视表中的正确值。我未能包括合并的列标签。 我构建了类似的东西，但它不起作用：

merge = pd.merge(df1, pivot, how="left", left_on=["time", "station"], right_on=["station", pivot.columns])

有什么帮助吗？

编辑：

按照建议，我尝试使用以下数据而不是数据透视表：

df2:
time                 station   value
22.08.2017 12:00:00  A1        10
22.08.2017 12:00:00  A2        12
22.08.2017 12:00:00  A3        11
              ...
22.08.2017 13:00:00  A1        9
22.08.2017 13:00:00  A2        7
22.08.2017 13:00:00  A3        3

该表包含每个时间戳的大约 1300 个不同的电台。总而言之，我有超过 115.000.000 行。我的 df1 有 5.000.000 行。

现在我尝试合并 df1.head(100) 和 df2，但结果所有值都是 nan。因此我使用了这个：

merge = pd.merge(df1.head(100), df2, how="left", on=["time", "station"])

另一个问题是合并需要几分钟，所以我预计整个 df1 需要几天时间。

Answer 1

我猜你在 pandas 中使用 pivot 或 pivot_table 获得了数据框 pivot，如果你可以使用在数据透视之前拥有的数据框执行合并，它应该可以正常工作。

否则，您将不得不在合并之前使用melt 反转枢轴：

melt = pd.concat([pivot[['time']],pivot[['A1']].melt()],axis = 1)
melt = pd.concat([melt,pd.concat([pivot[['time']],pivot[['A2']].melt()],axis = 1)])
melt = pd.concat([melt,pd.concat([pivot[['time']],pivot[['A3']].melt()],axis = 1)])
melt.columns = ['time','station','value']

然后按照您的预期执行合并：

my_df.merge(melt,on = ['time','station'])

    id  time    station value
0   a   time1   A1      10
1   b   time1   A3      11
2   a   time2   A2      7

编辑：

如果您的数据框与编辑中的数据框一样大，您确实必须对其中的大块执行合并。您可以尝试将其减少为分块您的两个数据帧。

首先，对您的df1 进行排序，以便只有接近的时间值：

df1.sort_values('time',inplace = True)

然后你分块它，以你确定拥有所有可能需要的行的方式分块第二个数据帧，然后合并这些块：

chunk1 = df1.head(100)
chunk2 = df2.loc[df2.time.between(chunk1.time.min(),chunk1.time.max())]
merge = chunk1.merge(chunk2,on = ['time','station'],how = 'left')