group_by 与 Impala Ibis

Question

我有一个 Impala 表，我想使用 Ibis 进行查询。该表如下所示：

   id  | timestamp
-------------------
 A     | 5
 A     | 7
 A     | 3
 B     | 9
 B     | 5

我想根据id 和timestamp range 的独特组合来group_by 这个表。分组操作最终应该生成一个 grouped 对象，然后我可以对其应用聚合。例如：

group1 条件：id == A; 4 < timestamp < 11
group2 条件：id == A; 1 < timestamp < 6
group3 条件：id == B; 4 < timestamp < 7

产生具有以下组的grouped 对象：

组1：

   id  | timestamp
-------------------
 A     | 5
 A     | 7

组2：

   id  | timestamp
-------------------
 A     | 5
 A     | 3

组3：

   id  | timestamp
-------------------
 B     | 5

拥有组后，我将执行各种聚合以获得最终结果。如果有人能帮我弄清楚这个 group_by 将不胜感激，即使是普通的 pandas 表达式也会有所帮助！

Answer 1

下面是groupby 的示例（无下划线）：

df = pd.DataFrame({"id":["a","b","a","b","c","c"], "timestamp":[1,2,3,4,5,6]})

为您的timestamp 创建一个分组列。

df["my interval"] = (df["timestamp"] > 3 )&  (df["timestamp"] <5)
"you need some _data_ columns, i.e. those which you do not use for grouping"
df["dummy"] = 1 
df.groupby(["id", "my interval"]).agg("count")["dummy"]

或者你可以同时使用：

df["something that I need"] = df["my interval"] & (df["id"] == "b")
df.groupby(["something that I need"]).agg("count")["dummy"]

您可能还想应用整数除法来生成时间间隔：

df = pd.DataFrame({"id":["a","b","a","b","c","c"], "timestamp":[1,2,13,14,25,26], "sales": [0,4,2,3,6,7]})
epoch = 10
df["my interval"] = epoch* (df["timestamp"] // epoch)
df.groupby(["my interval"]).agg(sum)["sales"]

编辑：

你的例子：

import pandas as pd
A = "A"
B = "B"
df = pd.DataFrame({"id":[A,A,A,B,B], "timestamp":[5,7,3,9,5]})
df["dummy"] = 1

解决方案：

grouper = (df["id"] == A) & (4 < df["timestamp"] ) & ( df["timestamp"] < 11)
df.groupby( grouper ).agg(sum)["dummy"]

或更好：

df[grouper]["dummy"].sum()