类似看门狗的支持（bash perl 或 python）

Question

我有一个 bash 脚本（我正在转换为 perl），它在无限循环 (while true; do) 中运行，以轮询我们网络上的设备并将它们的响应记录到文本文件中。在 (while) 循环的每次迭代中，该设备的文本文件都会附加其最新信息。

我想让这个脚本始终运行——如果它挂起、崩溃或不再写入适当的文本文件——应该重新启动它。

按照this StackOverflow 问题中发布的建议，我可以编写以下 bash 脚本：

until myserver; do
  echo "Server 'myserver' crashed with exit code $?.  Respawning.." >&2
  sleep 1
done

其中myserver 是轮询程序。这将解释脚本意外崩溃或挂起的问题，假设在这些情况下发出了非零退出代码。但是，如果脚本没有完全失败/退出，但失败的方式只是阻止它写入文本文件——在这种情况下，我也想重新启动脚本。这就是类似看门狗的脚本的用武之地。我可以使用 Python 的 watchdog 并编写一个脚本，该脚本使用 Observer 库来监视正在生成的文本文件 like in this example。我会触发停滞的文本文件来为 python 脚本发出非零退出，然后按如下方式扩充上述 bash 脚本：

until [myserver -o pythonMon]; do
  echo "Server 'myserver' crashed with exit code $?.  Respawning.." >&2
  sleep 1
done

其中pythonMon 是监控文本文件是否正确更新的python 脚本。不幸的是，这种方法需要三个脚本（主轮询脚本和两个监控脚本）；这有点杂乱无章。我正在寻找优化/简化这种方法。有什么建议吗？理想情况下，我有一个脚本（至少一个监控脚本）来保持轮询脚本运行而不是两个。有没有办法将文件监控直接添加到 bash 或 perl 代码中？ 这是在 64 位 CentOS 6.5 上运行的

Answer 1

我正在做一些类似的事情来监控一堆设备。不过，这在一定程度上取决于轮询频率 - 我通过 cron 以 3m 间隔产卵。

请记住，10 秒的样本可能非常密集，并且可能并不总是必要的 - 这确实取决于您的目标。

不管怎样，这项工作的工具是 Parallel::ForkManager。

#!/usr/bin/perl

use strict;
use warnings;

use Parallel::ForkManager;

my @targets = qw( server1 server2 );

my %test_list = { 'fetch_cpu' => \&fetch_cpu_stats, };


sub fetch_cpu_stats {
    my ($target) = @_;
    ## do something to $target;
    open( my $ssh_results, "-|", "ssh -n $target uptime" )
        or die $!;
    while (<$ssh_results>) {
        print;
    }
}

my $manager = Parallel::ForkManager->new(10);

while (1) {
    foreach my $test ( keys %test_list ) {
        foreach my $target (@targets) {
            $manager->start and next;
            print "$$ starting $test\n";
            &{$test_list{$test}}($target);
            $manager -> finish;
        }
    }
    sleep 10;
}

这将产生多达 10 个并发“测试”，并每 10 秒重新运行一次。可能值得某种“锁定”过程（使用flock）以方便使用 cron 检查您的“守护程序”脚本是否仍在运行。

应该是这样的：

open ( my $self, "<", $0 ) or die $!;
flock ( $self, 2 | 4 ) or die "$0 already running"; 

然后您可以每隔一段时间在 cron 中触发它，如果它因某种原因死亡，它会自行重新启动。

但无论如何 - 您可以让多个子例程（例如您的测试脚本）全部自主生成（并且为了奖励积分 - 它们将并行运行）。