使用另一个文本文件中的 ID 过滤大型文本文件

Question

我有一个两个文本文件，一个文件由大约 60,000 行和 14 列组成，另一个文件有一列包含第一个文件中的一个列（第一列）的子集。我想根据文件 2 中的 ID 名称过滤文件 1。我在网上尝试了一些命令，但没有一个没有用。就是几行两个文本文件（我是linux系统）

文件 1：

Contig100       orange1.1g013919m       75.31   81      12      2       244     14      2       78      4e-29     117   1126    435
Contig1000      orange1.1g045442m       65.50   400     130     2       631     1809    2       400     1e-156    466   2299    425
Contig10005     orange1.1g003445m       83.86   824     110     2       3222    808     1       820     0.0      1322   3583    820
Contig10006     orange1.1g047384m       81.82   22      4       0       396     331     250     271     7e-05   41.6    396     412

文件 2：

Contig1
Contig1000
Contig10005
Contig10017

请告诉我您解决此问题的好建议。

提前致谢。

Answer 1

你可以用 python 做到这一点：

with open('filter.txt', 'r') as f:
    mask = f.read()

with open('data.txt', 'r') as f:
    while True:
        l = f.readline()
        if not l:
            break
        if l.split(' ')[0] in mask:
            print(l[:-1])

Answer 2

如果您使用的是 Linux/Mac，则可以在命令行上执行（$ 表示命令提示符，请勿键入）。

首先，我们通过将.* 附加到每一行，从您的file2 创建一个file2-patterns：

$ while read line; do echo "$line .*"; done < file2 > file2-patterns

看看那个文件：

$ cat file2-patterns 
Contig1 .*
Contig1000 .*
Contig10005 .*
Contig10017 .*

现在我们可以使用这些模式过滤掉来自file1 的行。

$ grep -f file2-patterns file1
Contig1000      orange1.1g045442m       65.50   400     130     2       631     1809    2       400     1e-156    466   2299    425
Contig10005     orange1.1g003445m       83.86   824     110     2       3222    808     1       820     0.0      1322   3583    820