根据条件汇总字典列表并删除几个键

Question

我有一个带有动态键的字典列表（键是从代码生成的）如下：

l=[{"key1":1,"author":"test","year":"2011"},{"key2":5,"author":"test","year":"2012"},
{"key1":3,"author":"test1","year":"2012"},
{"key1":1,"author":"test","year":"2012"}]

现在，如果键相同，我想将第一个键值相加并最终将它们分组。所以，我的最终列表应该如下所示：

l=[{"key1":2,"author":"test","year":["2011","2012"]},{"key2":5,"author":"test","year":"2012"},{"key1":3,"author":"test1","year":"2012"}]

我尝试过pandas groupby，但无法使用，因为密钥是自动生成的。但是，代码如下：

(pd.DataFrame(l)
   .groupby(['author', 'year'], as_index=False)
   .key1.sum()
   .to_dict('r'))

还有什么更好的方法？ 规则：

1. 如果字典中的第一个键相同并且其他键作者和年份保持相同，则将两个值相加
2. 如果作者不同，则不要加起来
3. 如果作者相同但年份不同，则将年份分组 和 添加密钥

Answer 1

您最好使用更简洁的数据结构，其中 dicts 的第一个映射没有什么特别之处，并且第一个映射被拆分为例如'key':first_mapping_key 和 'count':first_mapping_value。

从您的 dicts 结构列表（其中“第一个键是特殊的”）中做到这一点的一种方法是：

def transform(d):
    (k, v), *t = d.items()
    return dict(key=k, count=v, **dict(t))

lmod = [transform(d) for d in l]
lmod
# out:
[{'key': 'key1', 'count': 0, 'author': 'test', 'year': '2010'},
 {'key': 'key1', 'count': 1, 'author': 'test', 'year': '2011'},
 {'key': 'key2', 'count': 5, 'author': 'test', 'year': '2012'},
 {'key': 'key1', 'count': 3, 'author': 'test1', 'year': '2012'},
 {'key': 'key1', 'count': 1, 'author': 'test', 'year': '2012'}]

现在您可以轻松地进行分组并汇总到您心中的内容。例如：

(pd.DataFrame(lmod)
 .query('count != 0')
 .groupby(['key', 'author'])
 .agg({'count': sum, 'year': set})
)

第二个主题是如何在不使用 pandas 的情况下进行分组和聚合。这是一种使用第一原则（仅使用核心库函数）的方法：

def grp_key(d):
    return d['key'], d['author']

def expect_single(a):
    values = set(a)
    assert len(values) == 1
    return next(iter(values))

_funcdict = {
    'key': expect_single,
    'author': expect_single,
    'count': sum,
}
def agg(lod):
    keys = {k: 1 for d in lod for k in d}  # insertion-order union of all keys
    d = {k: _funcdict.get(k, set)(d.get(k) for d in lod) for k in keys}
    return d

应用：

out = [
    agg(list(g))
    for k, g in groupby(sorted([
        d for d in lmod if d['count'] != 0
    ], key=grp_key), key=grp_key)
]
out
# output:
[{'key': 'key1', 'count': 2, 'author': 'test', 'year': {'2011', '2012'}},
 {'key': 'key1', 'count': 3, 'author': 'test1', 'year': {'2012'}},
 {'key': 'key2', 'count': 5, 'author': 'test', 'year': {'2012'}}]

Answer 2

在.groupby(['author', 'year'] 的结果上尝试groupby-agg。除author 和year 之外的每个键都在单独的步骤中应用聚合。

df = pd.DataFrame(l)
df_gp = df.groupby(['author', 'year'], as_index=False).sum()

def agg_key(df, key):
    return df[df[key] != 0].groupby("author", as_index=False).agg({
        # collect the years
        "year": lambda sr: [str(el) for el in sr],
        # sum the key
        key: "sum",
    }).to_dict(orient="records")

# keys except group and author
keys = df.columns[~df.columns.isin(["author", "year"])]

# apply aggregation and flatten list of lists
ans = [el for key in keys for el in agg_key(df_gp, key)]

输出

print(ans)

[{'author': 'test', 'year': ['2011', '2012'], 'key1': 2.0},
 {'author': 'test1', 'year': ['2012'], 'key1': 3.0},
 {'author': 'test', 'year': ['2012'], 'key2': 5.0}]

为了类型一致性（推荐），单个“年份”作为单元素 list 而不是 str 返回。