Pandas DataFrame过滤多列上的行组

Question

这是我的数据框的简化版本：

d = {'col1': ['a1', 'a2', 'a3', 'b1', 'b2', 'b3', 'c1', 'c2', 'c3', 'd1', 'd2', 'd3'], 'col2': [1, 1, 1, -1, -1, -1, -1, 1, 1, 1, 1, 1], 'col3': [-1, -1, 1, -1, -1, 1, 1, 1, 1, -1, 1, 1]}
df = pd.DataFrame(d)
df

    col1    col2    col3
0   a1       1      -1
1   a2       1      -1
2   a3       1       1
3   b1      -1      -1
4   b2      -1      -1
5   b3      -1       1
6   c1      -1       1
7   c2       1       1
8   c3       1       1
9   d1      -1      -1
10  d2       1      -1
11  d3       1       1

我希望能够只提取那些在col3 == 1 第一次 n 在col2 == 1 第一次之后的行，每个字母组。

例如，如果我们在 col2 变为 1（对于每个字母组）之后寻找 col3 变为 1 一行的时间，我们将得到

    col1    col2    col3
0   d3      1       1

因为对于组 d，col2 在 d2 时从 -1 变为 1，而 col3 在 d3 时从 -1 变为 1。而这在任何其他群体中都没有发生过。

如果我们想要 col3 变为 1 的行 两行 在 col2 变为 1 之后（对于每个字母组），我们将得到

    col1    col2    col3
0   a3      1       1

因为对于组 a，col2 在 a1 处从 1 开始，而 col3 在 a3 处从 -1 变为 1。

编辑：

这是我尴尬的做法……有人有更优雅的解决方案吗？

df['newCol'] = (
           (((df['col2'].shift(n+1).isnull() | (df['col2'].shift(n+1) == -1)) &
           (df['col2'].shift(n+1).isnull() | (df['col2'].shift(n+1) == -1))) |
           (df['col1'].shift(n+1).str[0] != df['col1'].str[0])) &
           (df['col2'].shift(n) == 1) &
           (df['col3'].shift(n) == -1) &
           (df['col2'].shift(1) == 1) &
           (df['col3'].shift(1) == -1) &
           (df['col2'] == 1) &
           (df['col3'] == 1) &
           (df['col1'].shift(n).str[0] == df['col1'].str[0])) if n > 0 \
            else \
           ((((df['col2'].shift(n+1).isnull() | (df['col2'].shift(n+1) == -1)) &
           (df['col2'].shift(n+1).isnull() | (df['col2'].shift(n+1) == -1))) |
           (df['col1'].shift(n+1).str[0] != df['col1'].str[0])) &
           (df['col2'] == 1) &
           (df['col3'] == 1))
    

Answer 1

将我的最后评论放入答案中。使用n 创建一个滞后的新列，然后只需过滤标准方式并获取col1 的第一个值。

n = 2
df['newCol'] = df['col2'].shift(n)
df.loc[(df['col3'] == 1) & (df['newCol'] == 1), ['col1']].values[0]

你可以把它包装成一个函数，然后把所有东西都变成参数。

Answer 2

试试这个：

n=2
cond = pd.concat([(df['col2'] == 1).groupby(df['col1'].str[0]).cumsum().shift(n),
                  (df['col3'] == 1).groupby(df['col1'].str[0]).cumsum()], 
                 axis=1)\
         .eq(1)\
         .all(axis=1)
df[cond]

输出：

  col1  col2  col3
2   a3     1     1

或者更简单的我认为：

cond1 = (df['col2'] == 1).groupby(df['col1'].str[0]).cumsum().shift(n) == 1
cond2 = (df['col3'] == 1).groupby(df['col1'].str[0]).cumsum() == 1
df[cond1 & cond2]