dask 创建组合列以模拟按 2 列排序

Question

目前df.sort_values in dask只接受1列排序。

我有一个具有这种结构的大文件

input data

我不知道如何先按整数列排序数据，然后按日期排序

• 2000-01-01 ; 43000
• 2000-01-02 ; 43000
• 2000-01-01 ; 25000
• 2000-01-02 ; 25000

我认为创建一个组合列并对其进行排序将是最佳选择。问题是我不知道如何创建一个完成此操作的列。也许还有另一种选择可以做到这一点，而无需在 Dask 中创建组合列...

谢谢！

Answer 1

假设d['col1']是datetime-type，而d['col2']是int-type：

import struct
import numpy as np

# create a timedelta with days resolution as int
d['col1_int'] = ((d['col1_dt'] -
                  d['col1_dt'].min())/np.timedelta64(1,'D')
                ).astype(int)

d['sort_col'] = d.apply(lambda r: struct.pack("ll",r.col1_int,r.col2))
d = d.set_index('sort_col')
d = d.map_partitions(lambda x: x.sort_index())

从 this 回答中重新设计