【问题标题】:how can I save a Pandas dataframe into a compressed csv file? [duplicate]如何将 Pandas 数据框保存到压缩的 csv 文件中? [复制]
【发布时间】:2024-01-09 22:22:01
【问题描述】:

我在 Pandas 0.18 中使用 gz 格式加载了一个非常大的 csv 文件

pd=pd.read_csv('myfile.gz')

毫无疑问,一旦 csv 解压缩并加载到 RAM 中,它会占用大量空间。但是,在执行计算后,我仍然需要保存文件。

to_csv 可以以gz 格式存储我的数据框吗?唯一的related question I found on * 3 岁...

【问题讨论】:

    标签: python pandas gzip


    【解决方案1】:

    你可以使用参数compression='gzip'

    source

    【讨论】:

    • 直接上传到s3时会压缩失败
    • @ShivangiSingh 那么如何处理这个问题呢?你能让它适用于 s3 存储桶吗?
    • 你可以使用临时文件