python比较两个大列表并处理一个

Question

我有两个文本文件。在a.txt中有这样的行（一百万行）：

991000000019999998,b10000021,
991000000019703408,b10000021,
991000545455435408,b10000045,
991000000029703408,b10000045,
...

第一部分是条形码（991000000019703408），第二部分是bib_number（b10000021）。 请注意 bib_number 可能在每一行中重复。但条形码是唯一的。所以我认为使用 Set() 是不行的。 在另一个文件b.txt中，只有bib_number（60万条记录）的信息：

b10000021
b10000045
b10000215
...

现在我要比较a.txt中的两个文件，如果每行的bib_number（如b10000045）不在b.txt中，则需要将整行输出到c.txt中，如（991000000029703408，b10000045，）

我这样写代码，但直到 20 分钟才得到结果。

with open("a.txt", "r") as f1,open("b.txt", "r") as f2,open("c.txt","w") as f3: 
    total_bb=f1.readlines() 
    list_match=f2.readlines() 
    for item_bb in total_bb:
        recordList=re.split(",",item_bb)
        item_bb_w=(recordList[1])+'\n'
        if item_bb_w not in list_match:
            f3.write(item_bb)

这两个大列表比较有什么技巧吗？谢谢

Answer 1

使用sets，查找是O(1)：

with open("a.txt", "r") as f1,open("b.txt", "r") as f2,open("c.txt","w") as f3:
    bs = set(b.strip() for b in f2)
    for a in f1:
        x = a.split(',')
        if x[1].strip() not in bs:
            f3.write(a)

我还会查看 csv 模块以读取逗号分隔值。