删除字典列表中重复值的最佳方法？

Question

我有一个字典列表，这些字典还有另一个嵌套字典。这是一个例子：

reports = [
            {'00T2A00003mDvq9': {'subject': 'dupe1', 'due_date': '4/5/2017'}}
            {'00T2A00003mDvq8': {'subject': 'dupe2', 'due_date': '4/7/2017'}}
            {'00T2A00003mDvq7': {'subject': 'dupe1', 'due_date': '4/3/2017'}}
          ]

所以列表中的每个 dict 都有一个唯一的 id 和与之关联的值。

我需要一种方法来遍历这些字典，如果它们中的任何一个在 'subject' 字段中完全匹配，那么我想删除/删除具有 latest 日期的整个字典。

因此，使用上面的示例，在遍历列表和重复数据删除之后，我需要结果看起来像这样。

reports = [
            {'00T2A00003mDvq8': {'subject': 'dupe2', 'due_date': '4/7/2017'}}
            {'00T2A00003mDvq9': {'subject': 'dupe1', 'due_date': '4/3/2017'}}
          ]

它会删除'dupe1' 的第一个实例，因为它是较晚的日期。

Answer 1

既然你完全被困住了，那就从这里开始吧。一个问题是，对于每个dict，密钥都是不同且未知的。看起来每个字典中只有一对，所以您可以获取items() 并获取第一个：

reports = [ 
    {'00T2A00003mDvq9': {'subject': 'dupe1', 'due_date': '4/5/2017'}},
    {'00T2A00003mDvq8': {'subject': 'dupe2', 'due_date': '4/7/2017'}},
    {'00T2A00003mDvq7': {'subject': 'dupe1', 'due_date': '4/3/2017'}}
]

def get_subject(some_dict):
    return list(some_dict.items())[0][1]['subject']

reports.sort(key=get_subject)
print(reports)
# [{'00T2A00003mDvq9': {'due_date': '4/5/2017', 'subject': 'dupe1'}}, {'00T2A00003mDvq7': {'due_date': '4/3/2017', 'subject': 'dupe1'}}, {'00T2A00003mDvq8': {'due_date': '4/7/2017', 'subject': 'dupe2'}}]

reports 现在按主题排序。然后您可以使用groupby 获取按主题分组的报告。

对于每个组，您可以再次使用sort，这次使用due_date。不过您必须小心，您不能按字母顺序对日期进行排序，您需要按此顺序提取 year,month,day 或使用 strptime 将字符串转换为 datetime 对象。

将结果按subject 分组并按due_date 排序后，只需获取每个组的第一个元素。完成！

Answer 2

问题变得更加困难，因为您不知道reports 中字典的键值（唯一ID）。由于每一项仅包含一项，因此您可以在 Python 3 中使用 next(iter(dict.values())) 来获取与其关联的单个嵌套字典——我在下面的代码中将其称为 checkout 以为其命名。

鉴于此，我将使用的方法是首先创建一个字典，按主题对 reports 中的元素进行分组，然后为您提供类似的内容（注意：我更改了样本reports 数据，因此第一个有多个重复的'subject'）：

{
    'dupe1': [
        {'00T2A00003mDvq9': {'due_date': '4/5/2017', 'subject': 'dupe1'}},
        {'00T2A00003mDvq7': {'due_date': '4/3/2017', 'subject': 'dupe1'}},
        {'00T2A00003mDvq6': {'due_date': '4/6/2017', 'subject': 'dupe1'}}
    ],
    'dupe2': [
        {'00T2A00003mDvq8': {'due_date': '4/7/2017', 'subject': 'dupe2'}}
    ]
}

然后可以按日期对与每个主题相关联的报告列表进行排序（使用基于相同 next(iter(dict.values())) 技巧的 lambda），并且鉴于现在排序的内容，很容易更新列表并删除根据您的需要进行任何重复。

from time import strptime
from pprint import pprint

DATE_FMT = '%m/%d/%Y'
reports = [
    {'00T2A00003mDvq9': {'subject': 'dupe1', 'due_date': '4/5/2017'}},
    {'00T2A00003mDvq8': {'subject': 'dupe2', 'due_date': '4/7/2017'}},
    {'00T2A00003mDvq7': {'subject': 'dupe1', 'due_date': '4/3/2017'}},
    {'00T2A00003mDvq6': {'subject': 'dupe1', 'due_date': '4/6/2017'}},  # + a third duplicate
]

by_subject = {}
for report in reports:
    checkout = next(iter(report.values()))  # get single subdictionary in each dictionary
    by_subject.setdefault(checkout['subject'], []).append(report)

for records in by_subject.values():
    records.sort(key=lambda rpt: strptime(next(iter(rpt.values()))['due_date'], DATE_FMT))

# Update reports list in-place.
del reports[:]
for subject, records in by_subject.items():
    reports.append(records[0])  # only keep oldest (deletes all newer than first)

print('Deduped reports:')
pprint(reports)

输出：

Deduped reports:
[{'00T2A00003mDvq7': {'due_date': '4/3/2017', 'subject': 'dupe1'}},
 {'00T2A00003mDvq8': {'due_date': '4/7/2017', 'subject': 'dupe2'}}]

Answer 3

这是我采用的最终解决方案。基于@martineau 的回答，但我猜这只是因为我使用的是 Python3。

from time import strptime

DATE_FMT = '%m/%d/%Y'
reports = [
    {'00T2A00003mDvq9': {'subject': 'dupe1', 'due_date': '4/5/2017'}},
    {'00T2A00003mDvq8': {'subject': 'dupe2', 'due_date': '4/7/2017'}},
    {'00T2A00003mDvq7': {'subject': 'dupe1', 'due_date': '4/3/2017'}},
    {'00T2A00003mDvq6': {'subject': 'dupe1', 'due_date': '4/6/2017'}},  # + third duplicate
]

DATE_FMT = '%m/%d/%Y'

    by_subject = {}
    for report in reports:
        topic = list(report.values())[0]
        # assuming only one element in each dictionary
        by_subject.setdefault(topic['subject'], []).append(report)

    for records in by_subject.values():
        records.sort(key=lambda rec: strptime(list(rec.values())[0]['due_date'], DATE_FMT))

    reports = []

    for subject, records in by_subject.items():

        if len(records) > 1:
            while len(records) != 1:
                del records[-1]
        reports.extend(records)