在一个文件中打印与另一个文件中的模式匹配的行

Question

我有一个超过 40.000 行的文件（file1），我想提取与 file2 中的模式匹配的行（大约 6000 行）。我这样用grep，但是很慢：

grep -f file2 file1 > out

使用awk 或sed 是否有更快的方法来执行此操作？

以下是我文件中的一些摘录：

File1:

scitn003869.2| scign003869 CGCATGTGTGCATGTATTATCGTATCCCTTG
scitn007747.1| scign007747  CACGCAGACGCAGTGGAGCATTCCAGGTCACAA
scitn003155.1| scign003155  TAAAAATCGTTAGCACTCGCTTGGTACACTAAC
scitn018252.1| scign018252  CGTGTGTGTGCATATGTGTGCATGCGTG
scitn004671.2| scign004671  TCCTCAGGTTTTGAAAGGCAGGGTAAGTGCT

File2:

scign000003
scign000004
scign000005
scign004671
scign000013

Answer 1

试试grep -Fwf file2 file1 > out

-F 选项指定纯字符串匹配，因此应该更快，而无需使用正则表达式引擎。

Answer 2

这是在 awk 中的操作方法：

awk 'NR==FNR{pats[$0]; next} $2 in pats' File2 File1

使用 60,000 行的 File1（您的 File1 重复 8000 次）和 6,000 行的 File2（您的重复 1200 次）：

$ time grep -Fwf File2 File1 > ou2

real    0m0.094s
user    0m0.031s
sys     0m0.062s

$ time awk 'NR==FNR{pats[$0]; next} $2 in pats' File2 File1 > ou1

real    0m0.094s
user    0m0.015s
sys     0m0.077s

$ diff ou1 ou2

即它和 grep 一样快。不过需要注意的一点是，awk 解决方案允许您选择要匹配的特定字段，因此如果 File2 中的任何内容出现在 File1 中的其他任何位置，您将不会得到错误匹配。它还允许您一次匹配整个字段，因此如果您的目标字符串长度不同，并且您不希望“scign000003”匹配“scign0000031”（尽管 grep 的 -w 对此提供了类似的保护）。

为了完整起见，这里是发布 elsethread 的其他 awk 解决方案的时间：

$ time awk 'BEGIN{i=0}FNR==NR{a[i++]=$1;next}{for(j=0;j<i;j++)if(index($0,a[j]))print $0}' File2 File1 > ou3

real    3m34.110s
user    3m30.850s
sys     0m1.263s

这是我发布的 perl 脚本 Mark 发布的时间：

$ time ./go.pl > out2

real    0m0.203s
user    0m0.124s
sys     0m0.062s

Answer 3

你可以试试这个 awk：

awk 'BEGIN{i=0}
FNR==NR { a[i++]=$1; next }
{ for(j=0;j<i;j++)
    if(index($0,a[j]))
        {print $0;break}
}' file2 file1

FNR==NR 部分指定花括号中的内容仅在处理第一个输入文件 (file2) 时应用。它说将您要查找的所有单词保存在数组a[] 中。第二组花括号中的位适用于第二个文件的处理...在读入每一行时，将其与a[] 的所有元素进行比较，如果找到，则打印该行。就是这样！

Answer 4

只是为了好玩，这里有一个 Perl 版本：

#!/usr/bin/perl
use strict;
use warnings;
my %patterns;
my $srch;

# Open file and get patterns to search for
open(my $fh2,"<","file2")|| die "ERROR: Could not open file2";
while (<$fh2>)
{
   chop;
   $patterns{$_}=1;
}

# Now read data file
open(my $fh1,"<","file1")|| die "ERROR: Could not open file1";
while (<$fh1>)
{
   (undef,$srch,undef)=split;
   print $_ if defined $patterns{$srch};
}

这里是一些时序，每个 Ed 的文件创建方法使用 60,000 行文件 1 和 6,000 行文件 2：

time awk 'NR==FNR{pats[$0]; next} $2 in pats' file2 file1 > out
real    0m0.202s
user    0m0.197s
sys     0m0.005s

time ./go.pl > out2
real    0m0.083s
user    0m0.079s
sys     0m0.004s

Answer 5

只是为了学习：我正在解决同样的问题，我想出了各种解决方案（包括read $line 循环等）。当我到达上面找到的grep one-liner 时，我仍然得到了错误的输出。然后我意识到我的 PATTERN 文件有 2 行尾随...所以grep 从我的数据库中提取了我所有的行。道德：检查尾随空格/行。此外，在具有数百种模式的更大数据集上运行该命令，time 甚至无法计数。