Python：压缩任意大的数据帧查询

Question

我正在使用 pandas 数据框，并且正在迭代几列中所有可能的值组合。我使用itertools.combinations 和pandas.Series.unique() 来做到这一点：

query_fields = ['direction','subj_id','speed']
query_items = [df_reps[k].unique() for k in query_fields]

for a in itertools.product(*query_items):
    df = df_reps[(df_reps['subj_id']==a[0]) & (df_reps['direction']==a[1]) & (df_reps['speed']==a[2])]
    #Do something with df

我想知道是否有更 Pythonic 的方式来压缩我的数据框查询。如果我有更多可能的查询字段，那么这种方法将变得越来越不可用。一种可能的方法是遍历所有字段并单独应用每个查询（如漏斗） - 这可以通过列表理解来完成，例如：

df = df_reps[(df_reps[qf]==a[i]) for qf,i in enumerate(query_fields)] #Doesn't work

pandas 中是否已经存在此功能？

编辑

输入：一个DataFrame 和一个包含标题的列表。

输出：循环或类似循环，选择标题列表指定的列中的每个唯一值组合。

Answer 1

使用 pandas groupby 可以轻松解决“遍历几列中所有可能的值组合”的问题。 本质上，您根据所有列的值创建组，然后检索每个序列出现的数据部分。不涉及循环，它是单行的。

import pandas as pd
import numpy as np
import itertools

df = pd.DataFrame(np.random.randint(1,4, (100, 5)),
                  columns = ['direction','subj_id','speed','other1', 'other2'])

fields = ['direction','subj_id','speed']  

grouped_by_values = df.groupby(fields)
queries_results = {key: group for key, group in grouped_by_values }

这是一个结果示例：

for key, group in queries_results.iteritems():
#for key, group in grouped_by_values:  #Equivalent, probably better

    print key, group


(1, 1, 1)     direction  subj_id  speed  other1  other2
3           1        1      1       3       3
37          1        1      1       2       3
48          1        1      1       2       1
52          1        1      1       1       3
81          1        1      1       1       1
97          1        1      1       1       1
(1, 1, 2)     direction  subj_id  speed  other1  other2
25          1        1      2       2       3
62          1        1      2       3       1

如果您想知道如何“压缩数据帧查询”，这里有一种方法：生成 boolean masks 列表（每个条件一个），然后使用 @987654323 生成交集@。

这是一个例子：

import pandas as pd
import numpy as np

# Reproducible Example
df = pd.DataFrame(np.random.randint(1,4, (100, 3)), columns = ['A', 'B', 'C'])
query_fields = ['A','B','C']
query_items = [1,2,3]

# Individual masks
ind_masks = [df[key].eq(val) for key, val in zip(query_fields, query_items)]
# Combined Query
mask = reduce(lambda x, y: x & y, ind_masks)

query_result = df[mask]

Answer 2

使用 pandas.DataFrame.drop_duplicates；

unique_df = df_reps.drop_duplicates(['direction','subj_id','speed'])

您现在有了一个新的数据框，您可以继续按其他条件进行切片，例如；

unique_df[unique_df['direction'] == 'left']