在 DataFrame 中按行计算非零值的非重叠运行

Question

假设我有以下 Pandas DataFrame：

id | a1 | a2 | a3 | a4 
1  | 3  | 0  | 10 | 25   
2  | 0  | 0  | 31 | 15  
3  | 20 | 11 | 6  | 5  
4  | 0  | 3  | 1  | 7  

对于n 的各种值，我想要计算每行中n 连续非零值的非重叠运行次数。期望的输出是：

id | a1 | a2 | a3 | a4 | 2s | 3s | 4s
1  | 3  | 0  | 10 | 25 | 1  | 0  | 0
2  | 0  | 0  | 31 | 15 | 1  | 0  | 0
3  | 20 | 11 | 6  | 5  | 2  | 1  | 1
4  | 0  | 3  | 1  | 7  | 1  | 1  | 0

例如在哪里2s 列中的每个值显示该行中长度为 2 的非重叠游程数，3s 列中的每个值显示相应的长度为 3 的游程数，依此类推。

我想知道是否有任何 Pandas 或 Numpy 方法来处理这个问题？

Answer 1

一种管理非重叠特征的解决方案。

def count(row,mins):
    runs=(row!=0).astype(uint8).tobytes().decode().split(chr(0))
    lengths=[len(run) for run in runs]
    return np.floor_divide.outer(lengths,mins).sum(0) 

它使用字符串快速操作来查找所有运行，然后使用 // 查找您可以在每个运行中构建多少给定长度的非重叠运行。

df:

    a1  a2  a3  a4
id                
1    3   0  10  25
2    0   0  31  15
3   20  11   6   5
4    0   3   1   7

np.apply_along_axis(count,1,df,[2,3,4]) 返回

array([[1, 0, 0],
       [1, 0, 0],
       [2, 1, 1],
       [1, 1, 0]], dtype=int32)

这是df 的预期结果。

Answer 2

这是使用2D convolution 解决连续任意数量元素的一种方法 -

from scipy.signal import convolve2d as conv2

n = 6
v = np.vstack([(conv2(df.values!=0,[[1]*I])==I).sum(1) for I in range(2,n+1)]).T
df_v = pd.DataFrame(v, columns = [[str(i)+'s' for i in range(2,n+1)]])
df_out = pd.concat([df, df_v],1)

基本思路

基本思想是我们可以使用滑动窗口来对每行中存在的非零值求和。假设我们正在查看有多少三个非零连续出现。因此，我们将使用大小为3 的滑动窗口并获得滑动总和。滑动窗口的所有三个元素都以非零形式出现的所有那些地方将产生3 的总和。因此，我们寻找匹配 3 的总和并计算它们。而已！我们循环遍历所有窗口大小以捕获所有2s、3s 等。

这是一个示例运行，用于计算数组上的 3s -

In [326]: a
Out[326]: 
array([[0, 2, 1, 2, 1, 2],
       [2, 2, 2, 0, 0, 0],
       [2, 2, 1, 1, 1, 1],
       [1, 2, 1, 2, 0, 1]])

In [327]: a!=0
Out[327]: 
array([[False,  True,  True,  True,  True,  True],
       [ True,  True,  True, False, False, False],
       [ True,  True,  True,  True,  True,  True],
       [ True,  True,  True,  True, False,  True]], dtype=bool)

In [329]: conv2(a!=0,[[1]*3])
Out[329]: 
array([[0, 1, 2, 3, 3, 3, 2, 1],
       [1, 2, 3, 2, 1, 0, 0, 0],
       [1, 2, 3, 3, 3, 3, 2, 1],
       [1, 2, 3, 3, 2, 2, 1, 1]])

In [330]: conv2(a!=0,[[1]*3])==3
Out[330]: 
array([[False, False, False,  True,  True,  True, False, False],
       [False, False,  True, False, False, False, False, False],
       [False, False,  True,  True,  True,  True, False, False],
       [False, False,  True,  True, False, False, False, False]], dtype=bool)

In [331]: (conv2(a!=0,[[1]*3])==3).sum(1)
Out[331]: array([3, 1, 4, 2])

示例运行 -

In [158]: df_out
Out[158]: 
   a1  a2  a3  a4  a5  a6  2s  3s  4s  5s  6s
0   1   2   1   0   0   2   2   1   0   0   0
1   1   1   2   1   0   1   3   2   1   0   0
2   1   1   0   0   1   1   2   0   0   0   0
3   2   2   1   0   2   2   3   1   0   0   0

请注意，如果第一列是'id'，那么我们需要跳过它。因此，我们需要在建议的解决方案代码中使用df.values[:,1:] 而不是df.values。