df.groupby() - 如何聚合分组数据顺序很重要的数据？

Question

当分组数据的顺序很重要时，我如何聚合数据？（如果可以以优雅的矢量化方式完成，则可以加分）。如果这很清楚，让我用一个例子来解释。

---

假设我在df 中有数据：

id    month              value
------------------------------
001   2019-01-01 (Jan)     111
001   2019-02-01 (Feb)     222
001   2019-03-01 (Mar)     333

002   2019-01-01 (Jan)       0
002   2019-02-01 (Feb)       0
002   2019-03-01 (Mar)      25

...   ...                  ...

999   2019-01-01 (Jan)     800
999   2019-02-01 (Feb)     600
999   2019-03-01 (Mar)     400

我可以使用groupby 聚合每个id 上的数据：

df.groupby('id')['value'].agg([numpy.sum, numpy.mean])

无论我使用numpy.sum、numpy.mean、numpy.max等作为聚合函数，分组的孤立数组的顺序都没有关系（例如[111, 222, 333]代表id=001）-结果总是一样的。

---

但是，有些聚合的顺序确实很重要 - 例如，我可能想要计算：

• 加权平均值（例如，如果较新的值具有更大的权重）
• 从头到尾的更改（例如，Mar - Jan）
• 等

目前，我遍历每个id，然后：

1. 通过df[df['id']==id]过滤数据
2. 获取月份值元组的列表，例如[(Jan,111), (Feb,222), (Mar,333)]
3. 根据每个元组的第一个元素对列表进行排序，即'month'
4. 执行聚合

例如，如果我只想找到 该排序数组的第一个元素和最后一个元素之间的差异，那么我会得到以下结果：

id    finish_minus_start
------------------------
001                  222
002                   25
...                  ...
999                 -400

---

当分组数据的顺序很重要时，如何聚合数据？

我可以通过使用矢量化而不是循环遍历每个id 来更有效地做到这一点吗？

Answer 1

我希望这就是您想要的。 您可以使用聚合并设置自己的功能。我从两个链接中举了一个例子 Summarizing and Grouping data 和 First and Last Functions 玩了一会儿。

df= df.set_index('date')
aggregations = {
    'value': lambda x: x.loc[x.index.max()] - x.loc[x.index.min()]
}
print(df.groupby('id').agg(aggregations))