什么比 np.sum 和 numpy 布尔运算符更有效？

Question

我无法让我的代码快速运行。

在我的代码上使用逐行分析器后，我发现以下几行是我大部分效率低下的原因：

import numpy as np
import datetime

timestamps = np.array(timestamps)
mask = (minTime <= timestamps) & (timestamps <= maxTime)
count = np.sum(mask)

timestamps 以日期时间列表开头，minTime 是单个日期时间。

时间戳的示例值：

minTime = datetime.datetime(2020, 5, 21, 2, 27, 26)

timestamps = [datetime.datetime(2020, 5, 21, 2, 27, 26), datetime.datetime(2020, 5, 21, 2, 27, 26), 
 datetime.datetime(2020, 5, 21, 2, 27, 26), datetime.datetime(2020, 5, 21, 2, 30, 55),
 datetime.datetime(2020, 5, 21, 2, 30, 55), datetime.datetime(2020, 5, 21, 2, 30, 55),
 datetime.datetime(2020, 5, 21, 2, 34, 26), datetime.datetime(2020, 5, 21, 2, 34, 26),
 datetime.datetime(2020, 5, 21, 2, 34, 26), datetime.datetime(2020, 5, 21, 2, 39, 26),
 datetime.datetime(2020, 5, 21, 2, 39, 26), datetime.datetime(2020, 5, 21, 2, 39, 26)]

有没有更高效的方法来重写上面的代码？

感谢任何建议。

Answer 1

看起来numpy.datetime64 对象非常快。比标准库datetime 提速大约 2 倍。熊猫种比目鱼在这里。如果您使用 pandas Timestamps 作为 Series 对象的索引并使用 .loc 访问器，它比您在下面看到的要好一点。但也没有那么好。

from datetime import datetime

import numpy
import pandas


py_dts = numpy.array([
    datetime(2020, 5, 21, 2, 27, 26),
    datetime(2020, 5, 21, 2, 27, 26), 
    datetime(2020, 5, 21, 2, 27, 26),
    datetime(2020, 5, 21, 2, 30, 55),
    datetime(2020, 5, 21, 2, 30, 55),
    datetime(2020, 5, 21, 2, 30, 55),
    datetime(2020, 5, 21, 2, 34, 26),
    datetime(2020, 5, 21, 2, 34, 26),
    datetime(2020, 5, 21, 2, 34, 26),
    datetime(2020, 5, 21, 2, 39, 26),
    datetime(2020, 5, 21, 2, 39, 26),
    datetime(2020, 5, 21, 2, 39, 26)
])

min_pydt = datetime(2020, 5, 21, 2, 27, 26)
max_pydt = datetime(2020, 5, 21, 2, 39, 26)

min_npdt = numpy.datetime64(min_pydt)
max_npdt = numpy.datetime64(max_pydt)

min_pddt = pandas.Timestamp(min_pydt)
max_pddt = pandas.Timestamp(max_pydt)

np_64s = numpy.array([numpy.datetime64(d) for d in py_dts])
pd_tss = pandas.Series([pandas.Timestamp(d) for d in py_dts])


def counter(timestamps, mindt, maxdt):    
    return ((mindt <= timestamps) & (timestamps <= maxdt)).sum()

在我做的 Jupyter 笔记本中：

%%timeit
counter(py_dts, min_pydt, max_pydt)

每个循环 17.4 µs ± 1.31 µs（7 次运行的平均值 ± 标准偏差，每次 100000 个循环）

%%timeit
counter(np_64s, min_npdt, max_npdt)

每个循环 7.42 µs ± 102 ns（平均值 ± 标准偏差，7 次运行，每次 100000 次循环）

%%timeit
counter(pd_tss, min_pddt, max_pddt)

每个循环 531 µs ± 2.99 µs（7 次运行的平均值 ± 标准偏差，每次 1000 个循环）