将 gz 文件直接加载到 pandas 数据框中

Question

我有这个来自 dati.istat.it 的gz file：其中有一个 csv 文件（具有不同的名称），我想直接在 pandas 数据框中加载。

如果我用 7zip 解压缩，我很容易用这段代码加载 pd.read_csv("DCCV_OCCUPATIT_Data+FootnotesLegend_175b2401-3654-4673-9e60-b300989088bb.csv", sep="|", engine = "python")

如果不使用 7zip 前解压缩，我怎么能做到这一点？

非常感谢！

Answer 1

你可以使用库zipfile:

import pandas as pd
import zipfile

z = zipfile.ZipFile('test/file.gz')
print pd.read_csv(z.open("DCCV_OCCUPATIT_Data+FootnotesLegend_175b2401-3654-4673-9e60-b300989088bb.csv"),
                  sep="|",
                  engine = "python")

Pandas 仅支持read_csv 中的gzip 和bz2：

压缩：{‘gzip’, ‘bz2’, ‘infer’, None}，默认‘infer’

用于磁盘数据的即时解压缩。如果是“infer”，则如果 filepath_or_buffer 分别是以“.gz”或“.bz2”结尾的字符串，则使用 gzip 或 bz2，否则不解压缩。设置为 None 表示不解压。