【问题标题】:append small data frame to a big one and sort it将小数据框附加到大数据框并对其进行排序
【发布时间】:2019-06-29 02:34:15
【问题描述】:

我有一个非常大的数据框,其中包含超过 20 万条记录和 7 列。
我在另一个函数中创建了另一个数据框,并确保新数据框具有完全相同的 7 列名称。
新数据框中的信息是大数据框中某些条目的额外详细信息,因此我需要在大数据框中对其进行排序,而不仅仅是在末尾附加。
所以在附加记录之后,整个数据框应该按“A”列中的值排序,该列中的每个值都会有很多重复,这没关系,但是我希望这些行按列排序'B'。

【问题讨论】:

  • 你有什么问题?
  • 所以你可以pd.merge两个数据框,然后使用sort_values(['A','B'])对它们进行排序
  • @MorZamir - 您可以按照@yatu 指定的内容进行操作,我可以知道您为什么在这里说大小 df 吗?在 pandas 中没有单独的方法来连接大小 df。对于任何 df concat 操作,您可以使用concatappend。如果由于数据量大而无法与 pandas 连接,请使用 dask
  • 您可以使用pd.concat,然后按照@yatu 的建议使用sort_values。
  • @MorZamir - 两个 df 都包含相同的列,对吗?

标签: python pandas sorting dictionary append


【解决方案1】:

concat & sort_values

df = pd.concat([big_df, small_df]).sort_values(['A', 'B'])

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-06-05
    • 2019-10-12
    • 1970-01-01
    • 2018-03-30
    • 1970-01-01
    • 2019-09-17
    相关资源
    最近更新 更多