如何按键进行迭代器的完全外连接/合并？

Question

我有多个产生键控数据的排序迭代器，可以用列表表示：

a = iter([(1, 'a'), (2, 't'), (4, 'c')])
b = iter([(1, 'a'), (3, 'g'), (4, 'g')])

我想合并它们，使用键并跟踪哪个迭代器具有键值。这应该相当于 SQL 中的完全外连接：

>>> list(full_outer_join(a, b, key=lambda x: x[0]))
[(1, 'a', 'a'), (2, 't', None), (3, None, 'g'), (4, 'c', 'g')]

我尝试使用 heapq.merge 和 itertools.groupby，但使用 merge 我已经丢失了有关迭代器的信息：

>>> list(heapq.merge(a, b, key=lambda x: x[0]))
[(1, 'a'), (1, 'a'), (2, 't'), (3, 'g'), (4, 'c'), (4, 'g')]

所以我可以使用标签生成器

def tagged(it, tag):
    for item in it:
        yield (tag, *x)

并合并标记的迭代器，按键分组并使用标记创建字典：

merged = merge(tagged(a, 'a'), tagged(b, 'b'), key=lambda x: x[1])
grouped = groupby(merged, key=lambda x: x[1])
[(key, {g[0]: g[2] for g in group}) for key, group in grouped]

这给了我这个可用的输出：

[(1, {'a': 'a', 'b': 'a'}),
 (2, {'a': 't'}),
 (3, {'b': 'g'}),
 (4, {'a': 'c', 'b': 'g'})]

但是，我认为为每个组创建字典在性能方面非常昂贵，所以也许有更优雅的方法？

编辑：

为了澄清，数据集太大而无法放入内存，所以我肯定需要使用生成器/迭代器。

编辑 2：

为了进一步澄清，a 和 b 应该只迭代一次，因为它们代表读取速度很慢的大文件。

Answer 1

这是通过字典的一种解决方案。我在这里提供它是因为我不清楚在这种情况下字典 效率低下。

我相信dict_of_lists 可以替换为迭代器，但我在下面的解决方案中使用它来进行演示。

a = [(1, 'a'), (2, 't'), (4, 'c')]
b = [(1, 'a'), (3, 'g'), (4, 'g')]

dict_of_lists = {'a': a, 'b': b}

def gen_results(dict_of_lists):
    keys = {num for k, v in dict_of_lists.items() \
                for num, val in v}
    for key in keys:
        d = {k: val for k, v in dict_of_lists.items() \
                    for num, val in v if num == key}
        yield (key, d)

结果

list(gen_results(dict_of_lists))

[(1, {'a': 'a', 'b': 'a'}),
 (2, {'a': 't'}),
 (3, {'b': 'g'}),
 (4, {'a': 'c', 'b': 'g'})]

Answer 2

您可以通过在函数中使用 reduce 和生成器来更改您的 groupby 解决方案：

from itertools import groupby
from functools import reduce
def group_data(a, b):
   sorted_data = sorted(a+b, key=lambda x:x[0])
   data = [reduce(lambda x, y:(*x, y[-1]), list(b)) for _, b in groupby(sorted_data, key=lambda x:x[0])]
   current = iter(range(len(list(filter(lambda x:len(x) == 2, data)))))
   yield from [i if len(i) == 3 else (*i, None) if next(current)%2 == 0 else (i[0], None, i[-1]) for i in data]

print(list(group_data([(1, 'a'), (2, 't'), (4, 'c')], [(1, 'a'), (3, 'g'), (4, 'g')])))

输出：

[(1, 'a', 'a'), (2, 't', None), (3, None, 'g'), (4, 'c', 'g')]