【问题标题】:Updating large DataFrame objects not on disk.更新不在磁盘上的大型 DataFrame 对象。
【发布时间】:2013-05-23 06:14:40
【问题描述】:

我一直在通过处理在线获得的大型 csv 文件来了解 Pandas 的来龙去脉,这些文件是财务数据的时间序列。到目前为止,我已经弄清楚了如何使用 HDFStore 来存储和操作它们,但是我想知道是否存在一种更简单的方法来更新文件,而无需重新下载整个源文件?

我问是因为我正在处理 12 ~300+MB 的文件,这些文件每 15 分钟更新一次。虽然我不需要持续更新,但如果不下载我已经拥有的内容,那就太好了。

【问题讨论】:

  • 您能更具体地说明您要更新的内容吗?请同时显示一些代码
  • 你只能下载你想要的位然后附加到现有的数据帧吗?这听起来更像是您的数据源的问题,而不是 Pandas 的问题。也许你可以澄清一下。
  • 看起来你所说的是流式传输,它没有内置在 pandas 中(还没有?)...
  • 如果没有提问者的互动,这个问题不会以目前的形式回答

标签: python pandas csv hdf5 large-data


【解决方案1】:

来自ContinuumBlaze 库应该可以帮助您。可以找介绍here

【讨论】:

    猜你喜欢
    • 2010-09-20
    • 2014-12-30
    • 2018-06-13
    • 1970-01-01
    • 1970-01-01
    • 2016-12-25
    • 1970-01-01
    • 1970-01-01
    • 2015-11-14
    相关资源
    最近更新 更多