如何从由制表符和换行符分隔的数据字符串创建 dask 数据框

Question

我的数据格式为字符串，由 \ 字符（用于列）和换行符 \n 用于行。

ID\Product\quantity\n1\xx\2

看起来 Dask.array.from_array() 只支持一个数组作为输入。

虽然我可以将上述文本转换为 np.array 使用

np.array([i.split("\t") for i in data[1].split("\n")])

想知道是否有相当于将字符串直接转换为 dask 数组或数据帧的方法。

Answer 1

您可能需要 dask.dataframe.read_csv 函数

import dask.dataframe as dd
df = dd.read_csv('filename.*.csv', sep='\t')