将 dask 数据帧保存到 hdf5答案

【问题标题】：saving a dask dataframe to hdf5将 dask 数据帧保存到 hdf5
【发布时间】：2020-04-14 21:16:09
【问题描述】：

我有包含 cols 的 dask 数据框

[ID,'PERIOD','CURRENCY']

我在哪里创建了 PERIOD

datetime.datetime.strptime(''201901, "%Y%m").date()

当我尝试使用以下方法保存此数据框时：

dd.to_hdf('table.h5', key='df', append=True,complib='zlib', format='table', data_column=True)

我得到一个错误：

TypeError: Cannot serialize the column [PERIOD] because its data contents are [date] object dtype

但是，当我将数据框保存到 CSV/PARQUET 时，我没有看到任何错误。我正在使用 dask 版本 2.5.2

【问题讨论】：

【解决方案1】：

显然转换为 unix 时间戳有效：

time.mktime(datetime.datetime.strptime('201901', "%Y%m").date().timetuple())

【讨论】：