【问题标题】:Python pandas merge dataframes on time column unexpected resultPython pandas 在时间列上合并数据帧意外结果
【发布时间】:2021-03-04 14:33:17
【问题描述】:

我想按相同的时间列合并两个 pandas 数据帧:

                   Time  g41ko_fuell_hires
0  2021-02-25 19:09:637             120.34
1  2021-02-25 19:09:737             120.46
2  2021-02-25 19:09:837             120.44
3  2021-02-25 19:09:937             120.31
4  2021-02-25 19:09:037             120.35
(308329, 2)

                   Time  g42ko_fuell_hires
0  2021-02-25 19:09:637             118.95
1  2021-02-25 19:09:737             118.94
2  2021-02-25 19:09:837             118.95
3  2021-02-25 19:09:937             118.90
4  2021-02-25 19:09:037             118.85
(308329, 2)

我如下调用 pd.merge

df_final = pd.merge(dfs[0],dfs[1],on='Time',how='inner')

我得到的是

        Time  g41ko_fuell_hires  g42ko_fuell_hires
0    2021-02-25 19:09:637             120.34             118.95
1    2021-02-25 19:09:637             120.34             118.71
2    2021-02-25 19:09:637             120.34             119.90
3    2021-02-25 19:09:637             120.34             119.70
4    2021-02-25 19:09:637             120.34             119.25
...                        ...                ...                ...
18318296  2021-02-26 03:43:971             119.42             119.55
18318297  2021-02-26 03:43:971             119.42             119.76
18318298  2021-02-26 03:43:971             119.42             120.15
18318299  2021-02-26 03:43:971             119.42             120.29
18318300  2021-02-26 03:43:971             119.42             120.50

[1000 rows x 3 columns]
(18318301, 3)

显然,第一个数据帧的第一个条目像叉积一样重复。我希望最终有 308329 行,每行有两个数据列。

我做错了什么?

【问题讨论】:

  • 308329**2 大约是 10^11,比您的结果大很多。您可能想检查 Time 的独特性

标签: python pandas merge


【解决方案1】:

发现错误。

时间列看起来像时间,但它是对象(由于从 grafana 导出错误导致格式错误:需要YYYY-MM-DD HH:mm:ss.SSS)。

所以我需要将时间列转换为

df0['Time'] = pd.to_datetime(df0['Time'], format='%Y-%m-%d %H:%M:%S.%f')

一切都还好。

【讨论】:

    猜你喜欢
    • 2016-03-02
    • 2018-11-01
    • 2016-10-17
    • 1970-01-01
    • 1970-01-01
    • 2021-07-07
    • 2017-02-12
    • 2022-01-18
    • 1970-01-01
    相关资源
    最近更新 更多