如何将压缩（gz）CSV文件读入dask Dataframe？

Question

有没有办法将通过 gz 压缩的 .csv 文件读取到 dask 数据帧中？

我直接试过了

import dask.dataframe as dd
df = dd.read_csv("Data.gz" )

但得到一个 unicode 错误（可能是因为它正在解释压缩字节）有一个 "compression" 参数，但 compression = "gz" 不起作用，到目前为止我找不到任何文档。

使用 pandas，我可以直接读取文件而不会出现问题，只是结果会破坏我的记忆 ;-) 但如果我限制行数，它就可以正常工作。

import pandas.Dataframe as pd
df = pd.read_csv("Data.gz", ncols=100)

Answer 1

这实际上是dask 的长期限制。用dask.delayedinstead加载文件：

import pandas as pd
import dask.dataframe as dd
from dask.delayed import delayed

filenames = ...
dfs = [delayed(pd.read_csv)(fn) for fn in filenames]

df = dd.from_delayed(dfs) # df is a dask dataframe

Answer 2

熊猫当前的文档说：

压缩：{‘infer’, ‘gzip’, ‘bz2’, ‘zip’, ‘xz’, None}，默认‘infer’

因为 'infer' 是默认设置，这可以解释为什么它与 pandas 一起工作。

Dask 关于 compression 参数的文档：

字符串，如“gzip”或“xz”。必须支持有效的随机访问。具有与已知压缩算法（gz，bz2）对应的扩展名的文件名将被自动压缩

这表明它也应该至少推断出 gz 的压缩。它没有（在 0.15.3 中仍然没有）可能是一个错误。但是，它正在使用 compression='gzip'。

即：

import dask.dataframe as dd
df = dd.read_csv("Data.gz", compression='gzip')

Answer 3

没有文件很难说。如果设置编码like # -*- coding: latin-1 -*-怎么办？或者由于 read_csv 是基于 Pandas 的，你甚至可以 dd.read_csv('Data.gz', encoding='utf-8')。以下是 Python 编码列表：https://docs.python.org/3/library/codecs.html#standard-encodings