有效地从文件中删除包含文件中字符串的行

Question

FileA 包含行 FileB 包含单词

我如何有效地从 FileB 中删除包含在 FileA 中找到的单词的行？

我尝试了以下方法，但我什至不确定它们是否有效，因为它需要很长时间才能运行。

试过grep:

grep -v -f <(awk '{print $1}' FileB.txt) FileA.txt > out

也试过python:

f = open(sys.argv[1],'r')
out = open(sys.argv[2], 'w')
bad_words = f.read().splitlines()

with open('FileA') as master_lines:
  for line in master_lines:
    if not any(bad_word in line for bad_word in bad_words):
      out.write(line)

文件A：

abadan refinery is one of the largest in the world.
a bad apple spoils the barrel.
abaiara is a city in the south region of brazil.
a ban has been imposed on the use of faxes

文件B：

abadan
abaiara

期望的输出：

a bad apple spoils the barrel.
a ban has been imposed on the use of faxes

Answer 1

我拒绝相信 Python 在这方面的性能至少无法与 Perl 相提并论。这是我对在 Python 中解决此问题的更有效版本的快速尝试。我正在使用sets 来优化这个问题的搜索部分。 & 运算符返回一个新集合，其中包含两个集合共有的元素。

这个解决方案需要 12 秒才能在我的机器上运行一个 3M 行的 fileA 和一个 200k 字的 fileB，而 perl 需要 9 秒。最大的减速似乎是 re.split，它似乎比字符串快。在这种情况下分裂。

如果您有任何提高速度的建议，请评论此答案。

import re

filea = open('Downloads/fileA.txt')
fileb = open('Downloads/fileB.txt')

output = open('output.txt', 'w')
bad_words = set(line.strip() for line in fileb)

splitter = re.compile("\s")
for line in filea:
    line_words = set(splitter.split(line))
    if bad_words.isdisjoint(line_words):
        output.write(line)

output.close()

Answer 2

您的命令看起来不错，因此可能是时候尝试一种好的脚本语言了。尝试运行以下perl 脚本，看看它是否更快地报告回来。

#!/usr/bin/perl

#use strict;
#use warnings;

open my $LOOKUP, "<", "fileA" or die "Cannot open lookup file: $!";
open my $MASTER, "<", "fileB" or die "Cannot open Master file: $!";
open my $OUTPUT, ">", "out" or die "Cannot create Output file: $!";

my %words;
my @l;

while (my $word = <$LOOKUP>) {
    chomp($word);
    ++$words{$word};
}

LOOP_FILE_B: while (my $line = <$MASTER>) {
    @l = split /\s+/, $line;
        for my $i (0 .. $#l) {
            if (defined $words{$l[$i]}) {
                next LOOP_FILE_B;
            }
        }
    print $OUTPUT "$line"
}

Answer 3

使用 grep

grep -v -Fwf fileB fileA