Pandas groupby-apply：无法从重复的轴重新索引

Question

我正在对 DataFrame 执行 groupby 操作。在每个组上，我必须重命名两列并删除一列，以便每个组都具有以下形式：

index(timestamp) | column-x | column-y
...              |  ....    | ..... 

索引是一个时间戳，它对每个组都是通用的。 'column-x' 和 'column-y' 将因每个组而异。然后我的目标是加入索引上的所有组，以便我拥有一个唯一的 DataFrame，例如：

index(timestamp) | column-x1 | column-y1 | column-x2 | column-y2 | ...
...              |  .....    | ......    |  .......  | .......   | ...

我应用于每个组的功能是（我可以在迭代时对组进行就地编辑吗？）：

def process_ssp(df_ssp):
    sensor_name = df_ssp.iloc[0]['subsystem-sensor-parameter'] # to be used as column name
    df_ssp.rename(columns = {
        'value_raw': '%s_raw' % sensor_name,
        'value_hrf': '%s_hrf' % sensor_name,
    }, inplace = True)
    df_ssp.drop('subsystem-sensor-parameter', axis='columns', inplace=True) # since this is the column I am grouping on I guess this isn't the right thing to do?
    return df_ssp

然后我打电话：

res = df_node.groupby('subsystem-sensor-parameter', as_index=False).apply(process_ssp)

产生错误的原因：

ValueError: cannot reindex from a duplicate axis

编辑： 数据集样本https://drive.google.com/file/d/1RvPE1t3BmjeaqCNkVqGwmokCFQQp77n8/view?usp=sharing

Answer 1

您可以先为 MultiIndex 添加列 subsystem-sensor-parameter，通过 unstack 重塑，按第二级对列中的 MultiIndex 进行排序并更改它们的位置。最后通过 map 和 join 展平转换 MultiIndex：

res = (df_node.set_index('subsystem-sensor-parameter', append=True)
                          .unstack()
                          .sort_index(axis=1, level=1)
                          .swaplevel(0,1, axis=1)) 
res.columns = res.columns.map('_'.join)

Answer 2

我能够通过迭代组而不是使用apply 来成功应用您的代码并生成您想要的输出：

import pandas as pd
df = pd.read_csv('/Users/jeffmayse/Downloads/sample.csv')
df.set_index('timestamp', inplace=True)

def process_ssp(df_ssp):
    sensor_name = df_ssp.iloc[0]['subsystem-sensor-parameter'] # to be used as column name
    df_ssp.rename(columns = {
        'value_raw': '%s_raw' % sensor_name,
        'value_hrf': '%s_hrf' % sensor_name,
    }, inplace = True)
    df_ssp.drop('subsystem-sensor-parameter', axis='columns', inplace=True) # since this is the column I am grouping on I guess this isn't the right thing to do?
    return df_ssp

groups = df.groupby('subsystem-sensor-parameter')
out = []
for name, group in groups:
    try:
        out.append(process_ssp(group))
    except:
        print(name)
pd.concat(out).shape

Out[7]: (16131, 114)

事实上，问题在于apply 方法，因为您的函数不需要产生错误：

df.groupby('subsystem-sensor-parameter', as_index=False).apply(lambda x: x)

也评估为ValueError: cannot reindex from a duplicate axis。

但是，此语句的计算结果符合我们的预期：

df.reset_index(inplace=True)
df.groupby('subsystem-sensor-parameter', as_index=False).apply(process_ssp)

Out[22]: 
      nc-devices-alphasense_hrf  ... wagman-uptime-uptime_raw
0                             0  ...                      NaN
1                           NaN  ...                      NaN
2                           NaN  ...                      NaN
3                           NaN  ...                      NaN
...

问题是您有一个带有重复值的DatetimeIndex。 .apply 正在尝试将结果集重新组合在一起，但不确定如何将索引与重复值组合在一起。至少，我相信就是这样。重置您的索引，然后重试。

编辑：展开，您在尝试重新索引 DatetimeIndex 时通常会看到此错误，即您有一个每小时索引并希望将其转换为第二个分辨率索引，或者通常填写缺失的小时数。您使用重新索引，但如果您的索引具有重复值，它将失败。我猜这就是这里发生的事情：正在应用的函数生成的数据帧具有重复的索引值，并且错误来自尝试通过在具有重复项的 DatetimeIndex 上调用 reindex 来生成输出。重置索引有效，因为您的索引现在都是唯一的，而 timestamp 列对于此操作并不重要。