即时解析和绘制从日志文件接收到的数据

Question

我想创建一个 Perl（或 Bash）脚本来即时创建和绘制数据。这意味着我想从日志文件 file.log 中提取数据，理想情况下不要编写 tmp 文件（如果只能使用 tmp 文件，这也可以）和用 Gnuplot 绘图。随着日志文件的增长，我想在图中看到更多信息。

类似话题请见this question。

对于 Perl，我目前拥有的是这个脚本：

#!/usr/bin/perl
use strict;
use warnings;

my $path = "file.log";   
my @grepped;
my $switch = "off";

open(INFILE,"< $path") or die $! \n";
while (my $line = <INFILE>) {

       if ($line =~ m{^Time = (\d+)}){
               push(@grepped,"$1\t");
       };

       if ($line =~ m{^Errors: local = (\d+), global = (\d+)}){
               push(@grepped,"$1\t");
               push(@grepped,"$2\n");
               $switch = "refresh";
       };


if ($switch eq "refresh"){

open(GP, "| gnuplot -persist") or die: $! \n";
print GP << "GNU_EOF";

plot "@grepped" u 2:1
pause 1; refresh; reread;

GNU_EOF

close(GP);
}


}
close(INFILE)};

我的第一个问题是 Gnuplot 的即时功能不起作用。当 file.log 发生变化时，Gnuplot-graph 的刷新不起作用。我不知道-persist 在这里是否正确，或者我是否必须使用replot 选项而不是refresh。我试过了，但它不适合我。

第二个问题是将数据读入数组 @grepped 并在 Gnuplot 的一个脚本中使用它来更改输入文件。另一个限制是（从代码中可以看出）gnuplot 只有在 @grepped 中写入了一个完整的新行时才应该刷新绘图。否则肯定会因为数据分配错误而发生错误。

当我尝试一个简单的脚本时：

#!/usr/bin/gnuplot -persist
plot "data.dat" u 2:1
pause 1; replot; reread;

或

#!/usr/bin/gnuplot
plot "data.dat" u 2:1
pause 1; refresh; reread;

如果我手动更改 data.dat 并保存它，即时部分将起作用。

Answer 1

这里有两种即时绘制数据的方法。

使用 gnuplot 循环

您必须一遍又一遍地调用plot，数据由外部脚本进行预处理。最小的 gnuplot 脚本filter.gp 是：

while (1) {
    plot '< ./myscript.pl' using 2:1
    pause 1
}

要阻止这种情况，请点击Ctrl+C。

用于预处理的 Perl 脚本可能如下所示 myscript.pl:

#!/usr/bin/perl
use strict;
use warnings;

my $path = "file.log";   
my @grepped;
my $t = 0;
open(INFILE,"< $path") or die "$! \n";

while (my $line = <INFILE>) {
    if ($line =~ m{^Time = (\d+)}){
        $t = $1;
    };

    if ($line =~ m{^Errors: local = (\d+), global = (\d+)}){
        print "$t\t$1\t$2\n";
    };
};
close(INFILE);

只需使用gnuplot filter.gp 运行它。

为了使其更具可配置性，可以更改脚本以使用通过命令行传递给 gnuplot 的变量：

while (1) {
    plot '< ./myscript.pl -f '.path using 2:1
    pause 1
}

或为此使用reread：

plot '< ./myscript.pl -f '.path using 2:1
pause 1
reread

使用gnuplot -e "path='file.log';" filtermod.gp 调用此脚本。

这可行，但会一遍又一遍地过滤整个文件。

从 Perl 到 gnuplot 的管道

这是一个 Perl 脚本，它基本上适合我，但它是我的第一个真正的 Perl 脚本，所以可能有一些不理想的部分。欢迎对此发表评论。

#!/usr/bin/perl
use strict;
use warnings;

my $path = "file.log";   
my @grepped;
my $switch = "off";

open(my $gp, "| gnuplot -persist") or die "$! \n";
$gp->autoflush(0);

use File::Tail;
my $file = File::Tail->new(name=>$path, maxinterval=>1, tail=>-1);

while (defined(my $line= $file->read)) {
    if ($line =~ m{^Time = (\d+)}){
        push(@grepped,"$1\t");
    };

    if ($line =~ m{^Errors: local = (\d+), global = (\d+)}){
        push(@grepped,"$1\t");
        push(@grepped,"$2\n");
        $switch = "refresh";
    };

    if ($switch eq "refresh") {
        print $gp <<"GNU_EOF";
plot '-' using 2:1
@grepped
e
GNU_EOF
        $gp->flush;
        $switch = "off"; 
    };
    Time::HiRes::sleep(0.1);
};

我发现这里很重要的是

1. 循环更改文件。
2. autoflush和flush的排列方式。
3. sleep 允许 gnuplot 正确处理数据。

这适用于非常小的测试数据文件。不知道它是否也适用于更大的，但应该可以帮助您进一步。