Pandas：如果连续编号，则按索引查找组答案

【问题标题】：Pandas: find groups by index if consecutively numberedPandas：如果连续编号，则按索引查找组
【发布时间】：2017-11-25 01:12:06
【问题描述】：

我正在尝试从查看索引的 df2 数据帧（第一列或零列 df2[0]）中查找具有开始值和结束值（即行）的元组列表。 df2 示例：

COL0  COL1 COL2
  4    x    y    # start 'tuple x' of COL1
  5    i    j
  6    n    m    # end 'tuple n'
 14    f    a    # start 'tuple f'
 15    e    b    # end 'tuple e'
 ...

所以 COL0 个连续的值将形成一个组。如果下一行不连续（例如 6-14），则开始一个新组。选择可能如下：

Crit_a = df2[0][0] + 1 == df2[0][1]

作为输出，我正在寻找一个新的 df3，每行包含以下内容：

COL0  COL1 COL2 COL3 COL4 ...
  4    x    y    n    m   # start values and end values of COL1 and COL2
 14    f    a    e    b

我正在查看 SO here 和其他位置。谢谢你的建议。

【问题讨论】：

你想要的输出是什么？
@Allen：我已经添加了所需的输出

标签： python pandas

【解决方案1】：

不完全是您想要的输出，但也许更直观？

我创建了一个名为 group_no 的列来标记来自 COL0 的连续值。我对列进行了区分，找到了差异不是一个的值，然后对结果进行了 cumsum。第一个元素是不明确的（差分时是NaN，所以我检查它的值加一是否等于第二个值。如果是，则第一个值是连续的并赋值为1。如果不是，则它不连续并赋值为值为 0。

df = df.assign(group_no = (df.COL0.diff() != 1).cumsum())
df.group_no.iat[0] = 1 if df.COL0.iat[0] + 1 == df.COL0.iat[1] else 0
df_new = df.groupby('group_no').agg(
    {'COL0': ['first'], 
     'COL1': ['first', 'last'], 
     'COL2': ['first', 'last']})
>>> df_new
          COL2       COL0  COL1     
         first last first first last
group_no                            
1            y    m     4     x    n
2            a    b    14     f    e

agg 函数采用字典，因此列的结果顺序可以是任意的。要对结果列进行排序，您可以显式执行此操作，例如：

df_new[[('COL0', 'first'),
        ('COL1', 'first'),
        ('COL1', 'last'),
        ('COL2', 'first'),
        ('COL2', 'last')]]

这也可能有效：

n = 3  # First three columns of original dataframe.
df_new.loc[:, pd.IndexSlice[df.columns[:n], :]]

【讨论】：

感谢您的解决方案。对 df_new 的列进行排序的最佳方式是什么，因为目前它们没有被排序？
感谢您对订购的更新：但是，在应用 df_new[[('COL0', 'first'), ('COL1', 'first'), etc.]] 之后，agg 函数，列保持无序？
“申请”到底是什么意思？您正在按照您选择的顺序明确选择列。

【解决方案2】：

首先为属于同一组的行创建一个组键。

df['COL0'] = \
    (df.COL0.rolling(2,min_periods=1)
        .apply(lambda x: x[-1] if int(x[-1]-x[0])!=1 else np.nan)
        .ffill()
    )

然后按 key 分组，找到开始行和结束行并将它们展开为列。最后重命名列。

df2 = \
    (df[['COL1','COL2']].groupby(df.COL0)
        .apply(lambda x: np.array([x.iloc[0],x.iloc[-1]]).flatten())
        .apply(pd.Series)
        .rename_axis(lambda x: 'COL'+str(x+1),axis=1)
    )


df2
Out[178]: 
     COL1 COL2 COL3 COL4
COL0                    
4.0     x    y    n    m
14.0    f    a    e    b

【讨论】：