从具有索引的数组中填充一维 numpy 数组

Question

背景

我有一个用零初始化的一维 NumPy 数组。

import numpy as np
section = np.zeros(1000)

然后我有一个 Pandas DataFrame，其中我在两列中有索引：

d= {'start': {0: 7200, 1: 7500, 2: 7560, 3: 8100, 4: 11400},
    'end': {0: 10800, 1: 8100, 2: 8100, 3: 8150, 4: 12000}}

df = pd.DataFrame(data=d, columns=['start', 'end'])

对于每对索引，我想将 numpy 数组中相应索引的值设置为 True。

我目前的解决方案

我可以通过对 DataFrame 应用一个函数来做到这一点：

def fill_array(row):
    section[row.start:row.end] = True

df.apply(fill_array, axis=1)

我想对这个操作进行矢量化

这按我的预期工作，但为了好玩，我想对操作进行矢量化。我对此不是很精通，而且我在网上搜索并没有让我走上正轨。

如果可能的话，我非常感谢有关如何将其转换为向量运算的任何建议。

Answer 1

矢量化

您已经通过使用切片分配完成了最重要的向量化，但是您无法使用切片完全向量化它，因为 python 不支持“多切片”。

如果你真的很想使用矢量化，你可以用 “真”索引，像这样

indices = np.r_[tuple(slice(row.start, row.end) for row in df.itertuples())]
section[indices] = True

但这很可能会更慢，因为它会创建一个带有索引的新临时数组。

删除重复的工作

话虽如此，您可以通过减少重复工作来加快速度。具体来说，您可以使用union of the ranges，为您提供一组不相交的集合。

在您的情况下，第一个间隔与最后一个间隔重叠，因此您的数据框相当于

d= {'start': {0: 7200, 1: 11400},
    'end': {0: 10800, 1: 12000}}

这可将工作量减少多达 60%！但首先我们需要找到这些区间。按照上面引用的答案，我们可以这样做：

slices = [(row.start, row.end) for row in df.itertuples()]
slices_union = []
for start, end in sorted(slices):
    if slices_union and slices_union[-1][1] >= start - 1:
        slices_union[-1][1] = max(slices_union[-1][1], end)
    else:
        slices_union.append([start, end])

然后你可以像这样使用这些（希望是更小的切片）

for start, end in slices_union:
    section[start:end] = True

Answer 2

实现的诀窍是我们将1s 放在每个起点，-1s 放在零初始化的 int 数组的每个终点。接下来是真正的技巧，因为我们将对其进行累积求和，从而为 bin（开始-停止对）边界所覆盖的位置提供非零数字。因此，最后一步是寻找非零值作为布尔数组的最终输出。因此，我们将有两个矢量化解决方案，它们的实现如下所示 -

def filled_array(start, end, length):
    out = np.zeros((length), dtype=int)
    np.add.at(out,start,1)
    np.add.at(out,end,-1)
    return out.cumsum()>0

def filled_array_v2(start, end, length): #Using @Daniel's suggestion
    out =np.bincount(start, minlength=length) - np.bincount(end, minlength=length)
    return out.cumsum().astype(bool)

示例运行 -

In [2]: start
Out[2]: array([ 4,  7,  5, 15])

In [3]: end
Out[3]: array([12, 12,  7, 17])

In [4]: out = filled_array(start, end, length=20)

In [7]: pd.DataFrame(out) # print as dataframe for easy verification
Out[7]: 
        0
0   False
1   False
2   False
3   False
4    True
5    True
6    True
7    True
8    True
9    True
10   True
11   True
12  False
13  False
14  False
15   True
16   True
17  False
18  False
19  False