将多个文件读入 dask 数据帧

Question

我想将多个 csv 文件读入一个单独的 dask 数据帧。由于某些原因，我的原始数据的某些部分丢失了（不知道为什么？！）。我想知道将它们全部读入dask的最佳方法是什么？我使用了一个 for 循环，但不确定它是否正确。

 for file in os.listdir(dds_glob):
    if file.endswith('issued_processed.txt'):
        ddf = dd.read_fwf(os.path.join(dds_glob,file),
                          colspecs=cols,
                          header=None,
                          dtype=object,
                          names=names)

或者我应该使用这样的东西：

dfs = delayed(pd.read_fwf)('/data/input/*issued_processed.txt',
                           colspecs=cols,
                           header=None,
                           dtype=object,
                           names=names)  
ddf = dd.from_delayed(dfs)

Answer 1

至少有两种方法：

1. 为dask.dataframe 提供文件列表，因此使用您的第一个sn-p 它看起来像：

file_list = [
    os.path.join(dds_glob,file)
    for file os.listdir(dds_glob) if file.endswith('issued_processed.txt')
]

# other options are skipped for convenience
ddf = dd.read_fwf(file_list)

1. 从delayed 对象构造数据帧，使用您的第二个 sn-p 将如下所示：

# other options are skipped, but can be included after the `file`
dfs = [delayed(pd.read_fwf)(file) for file in file_list] 
ddf = dd.from_delayed(dfs)

第一种方法可以解决大约 82% 的用例，但对于其他情况，您可能需要尝试第二种方法或更复杂的方法。