Perl-不允许同一行显示两次

Question

我有一个 perl 脚本，我想阻止输入，例如

Referer: http://www.apple.com/.
Referer: http://www.apple.com/diversity/.
Referer: http://www.apple.com/diversity/.
Referer: http://www.apple.com/diversity/.
Referer: http://www.apple.com/.
Referer: http://www.apple.com/apple-events/september-2015/.

从显示同一行两次，期望的输出

Referer: http://www.apple.com/
Referer: http://www.apple.com/diversity/
Referer: http://www.apple.com/
Referer: http://www.apple.com/apple-events/september-2015/

另外，我怎样才能摆脱“。”在每行的末尾？ 提前致谢！

Answer 1

首先问问自己，你将如何用铅笔和纸解决这个问题，你在源页面上一次发现一行，然后将它们写到另一个页面上。你可能有一块白板来临时记录事情。

1. 从源页面读取一行。
2. 如果之前没有看到过这条线（即，它没有写在您的白板上），请将它写在您的新纸上。 （当然，您阅读的第一行内容以前从未见过）。
3. 通过在白板上写下您刚刚阅读的行来保存它。
4. 从源页面读取下一行。
5. 看看白板上有没有写。
6. 如果没有写在白板上，请写在目标页面上。
7. 擦掉你的白板，在上面写下你刚刚读到的那一行，以便以后再检查。
8. 只要源页面上还有待读取的行，就重复。

所以这是该算法的 Perl 实现。但是，相同的算法可以用多种语言实现。

open my $infile, '<', shift or die $!;
my $whiteboard = q{};
while( <$infile> ) {
    print unless $_ eq $whiteboard;
    $whiteboard = $_;
}

这可以写成这样的 Perl 单行：

perl -ne 'print unless defined $tmp && $tmp eq $_; $tmp = $_;' filename.txt

您问题的第二部分是如何消除尾随点。所以对于第一个例子，你可以这样做：

open my $infile, '<', shift or die $!;
my $whiteboard = q{};
while( <$infile> ) {
    s/\.$//;
    print unless $_ eq $whiteboard;
    $whiteboard = $_;
}

或者作为单行：

perl -ne 's/\.$//; print unless defined $tmp && $tmp eq $_; $tmp = $_;' filename.txt

Answer 2

如果你不在乎顺序，你可以试试这个：

perl -nale 's/\.$//; $h{$_}++; END{foreach(keys %h){print}}' /path/to/file

使用s/\.$//; 删除行尾的.。并使用哈希删除重复的行。