Python：解析数组中大表第一列的最快方法

Question

所以我有两张非常大的表要比较（9 列和大约 3000 万行）。

#!/usr/bin/python
import sys
import csv


def compare(sam1, sam2, output):
    with open(sam1, "r") as s1, open(sam2, "r") as s2, open(output, "w") as out:
    reader1 = csv.reader(s1, delimiter = "\t")
    reader2 = csv.reader(s2, delimiter = "\t")
    writer  = csv.writer(out, delimiter = "\t")
    list = []
    for line in reader1:
        list.append(line[0])
    list = set(list)

    for line in reader2:
        for field in line:
            if field not in list:
                writer.writerow(line)

if __name__ == '__main__':
    compare(sys.argv[1], sys.argv[2], sys.argv[3])

第一列包含我的行的标识符，我想知道哪些只在 sam1 中。

所以这是我目前正在使用的代码，但它需要很长时间。有什么办法可以加快速度吗？

我已经尝试通过将列表转换为集合来加快速度，但没有太大区别。

编辑：现在它运行得更快了，但现在我必须从输入表中取出整行并将具有独占 ID 的行写入输出文件。我怎样才能快速解决这个问题？

Answer 1

一些建议：

• 与其创建一个列表然后将其变成一个集合，不如直接使用一个集合：

  sam1_identifiers = set()
  for line in reader1:
      sam1_identifiers.add(line[0])
  

  这可能更节省内存，因为您有一个集合而不是一个列表和一个集合。这可能会使其更快一些。

  还请注意，我已经更改了变量名称 - list 是 Python 内置函数的名称，因此您不应将其用于您自己的变量。

• 由于您要查找仅在 sam1 中的标识符，而不是嵌套的 if/for 语句，因此只需比较并丢弃在 sam2 中找到的任何标识符，这些标识符位于 sam1 的 ID 集中。

  sam2_identifiers = set()
  for line in reader2:
      sam2_identifiers.add(line[0])
  
  print sam1 - sam2
  

  甚至

  sam2_identifiers = set()
  for line in reader2:
      sam1_identifiers.discard(line[0])
  
  print sam1_identifiers
  

  我怀疑这比嵌套循环要快。

• 也许我遗漏了一些东西，但是您不查看 sam2 的每一行的每一列吗？仅查看 line[0] 的标识符还不够吗，就像 sam1 一样？