去除停用词并保存新文件

Question

我有需要从中删除停用词的文本文件。我将停用词存储在文本文件中。我将“停用词”文本文件加载到我的 Perl 脚本中，并将停用词存储在一个名为“stops”的数组中。

目前我正在加载一组不同的文本文件，并将它们存储在一个单独的数组中，然后进行模式匹配以查看是否有任何单词确实是停用词。 我可以打印停用词并知道文件中出现了哪些停用词，但是如何将它们从文本文件中删除并存储一个新的文本文件以使其没有停用词？

即停用词： 这 一种 到 的 和 进入

文本文件： “女孩开车撞到男人”

结果文件： 女孩开着撞车的男人

我将文件加载到：

$dirtoget = "/Users/j/temp/";
opendir( IMD, $dirtoget ) || die("Cannot open directory");`
@thefiles = readdir(IMD);`

foreach $f (@thefiles) {
if ( $f =~ m/\.txt$/ ) {

    open( FILE, "/Users/j/temp/$f" ) or die "Cannot open FILE";

    while (<FILE>) {
        @file = <FILE>;

这是模式匹配循环：

  foreach $word(split) {
                foreach $x (@stop) {
                   if  ($x =~ m/\b\Q$word\E\b/) {
                 $word='';
                        print $word,"\n";

将$word 设置为空。

或者我可以这样做：

    $word = '' if exists $stops{$word};

我只是不确定如何将输出文件设置为不再包含匹配的单词。 将不匹配的单词存储在数组中并将它们输出到文件中是愚蠢的吗？

Answer 1

就地覆盖文件是可能的，但很麻烦。 Unix 这样做的方法是将非停用词输出到标准输出（默认情况下 print 会这样做），然后将其重定向

./remove_stopwords.pl textfile.txt > withoutstopwords.txt

然后继续处理文件withoutstopwords.txt。这也允许在管道中使用程序。

Answer 2

更短：

use strict;
use warnings;
use English qw<$LIST_SEPARATOR $NR>;

my $stop_regex 
    = do { 
        local $LIST_SEPARATOR = '\\E|\\Q';
        eval "qr/\\b(\\Q@{stop}\\E)\\b/";
    };
@ARGV = glob( '/Users/j/temp/*.txt' );
while ( <> ) { 
    next unless m/$stop_regex/;
    print "Stop word '$1' found at $ARGV line $NR\n";
}

你想用这些词做什么？如果你想替换它们，那么你可以这样做：

use English qw<$INPLACE_EDIT $LIST_SEPARATOR $NR>;
local $INPLACE_EDIT = 'bak';

...
while ( <> ) { 
    if ( m/$stop_regex/ )
        s/$stop_regex/$something_else/g;
    }
    print;
}

当$INPLACE_EDIT 处于活动状态时，perl 会将打印转储到一个“.bak”文件中，当它移动到下一个文件时，它会将.bak 写入原始文件。 如果这就是你想要做的。

Answer 3

您可以使用substitution operator 从文件中删除单词：

use warnings;
use strict;

my @stop = qw(foo bar);
while (<DATA>) {
    my $line = $_;
    $line =~ s/\b$_\b//g for @stop;
    print $line;
}

__DATA__
here i am
with a foo
and a bar too
lots of foo foo food

打印：

here i am
with a
and a  too
lots of   food