在awk中预填充关联数组键？

Question

我编写了一个 munin 插件，它使用 slurm 的 sacct 来监控 HPC 集群上的作业状态。我用 sh + awk 编写了它（而不是我通常选择的工具 perl）。

脚本有效，但我花了很长时间才弄清楚如何预填充可能状态的关联数组（一些/大多数可能不存在于 sacct 输出中，我希望它们默认为零）。 Google 帮不上什么忙，我能想到的最好办法是在字符串上使用 split 来生成一个临时数组，然后我对其进行迭代。

我想出了这个：

BEGIN {
    num = split("cancelled completed completing failed nodefail pending running suspended timeout",statenames," ");
    for (i=1;i<=num;i++) {
        states[statenames[i]] = 0
    }
  }

这可行，但与我在 perl 中的做法相比显得笨拙，如下所示：

foreach (qw(cancelled completed completing failed nodefail pending running suspended timeout)) {
    $states{$_} = 0;
}

或者这个

%states = map {$_ => 0} qw(cancelled completed completing failed nodefail pending running suspended timeout);

我的问题是：在 awk 中有没有一种类似于 perl 版本的方法？

[编辑]

澄清一下，这是我通过管道传输到 awk 的 sacct 输出示例。请注意，此输出中的唯一状态是 RUNNING、COMPLETED 和 CANCELED - 其他状态不存在（因为它们今天没有发生），但无论如何我都希望它们出现在我的脚本输出中（以 munin 可用的形式为“ statename.value 0")。

# sacct -X -P -o 'state' -n
RUNNING
RUNNING
RUNNING
RUNNING
COMPLETED
RUNNING
COMPLETED
RUNNING
COMPLETED
COMPLETED
CANCELLED by 1000
COMPLETED

[再次编辑]

这是我的 munin 插件的示例输出：

# ./slurm-sacct
suspended.value 0
pending.value 0
nodefail.value 0
failed.value 0
running.value 6
completing.value 0
completed.value 5
timeout.value 0
cancelled.value 1

脚本运行并执行我想要的操作，我只是想知道是否有更好的方法来初始化关联数组。

Answer 1

您可能根本不需要这样做。 awk 中的变量是动态的，这意味着它们在第一次使用时会自动初始化（分配给或访问），这也适用于数组元素。

如果在数字上下文中访问变量，则将其初始化为 0，否则将初始化为空字符串。 （至少 gawk 会这样做，虽然我不确定它是否依赖于实现）所以如果你正在做一些事情，比如计算每个状态下的工作数量，整个程序就像这样简单

{ states[$1]++ }
END {
     for (state in states) print state, states[state]
}

每次执行表达式states[$1]++时，都会检查states[$1]是否存在，如果不存在则将其初始化为0。

---

编辑：根据您的评论，我猜您想为每个可能的状态打印一行，无论该状态是否有任何工作。在这种情况下，您需要包含所有可能的状态名称，并且没有像 Perl 中那样的快捷表示法。据我所知，您已经找到的东西几乎是干净的。 （Awk 在设计时并没有考虑到这种用法）

我建议如下：

{ states[$1]++ }
END {
     split("cancelled completed completing failed nodefail pending running suspended timeout",statenames," ");
     for (state in statenames) print state, states[state]+0
}

Answer 2

也许 Craig 可以使用：

print "Timeout states ",states[timeout],".";

这个：

print "Timeout states ",int(states[timeout]),".";

在我的情况下，如果 awk 输入中没有超时状态，第一次打印会给出：

超时状态。

虽然第二个会给出：

超时状态为 0。

Answer 3

我认为 awk 中更自然的方法是拥有一个单独的密钥文件。考虑一个文件keys.txt，每行一个键。然后你可以这样做：

printf "key1\nkey2\nkey2\nkey5" | 
  awk '
    FILENAME == "keys.txt" {
      counts[$0] = 0
      next
    }

    {
      counts[$0]++
    }

    END {
      for (key in counts) {
        print key, counts[key]
      }
    }' keys.txt -

在keys.txt 中有五个键，这会产生：

key1 1
key2 2
key3 0
key4 0
key5 1

虽然这里的键是按顺序显示的，但这只是偶然的，不应依赖。

对于特定示例，您也可以完全跳过关联数组。相反，您可以使用 awk 最低限度地处理这些行并使用 sort | uniq -c 将计数制成表格。可以对密钥文件使用join 来确保所有密钥的存在。

Answer 4

awk 比 Perl 有点笨拙（我会说“不那么简洁”）。

您可以这样写（类似于@Michael 的回答）：

pipeline of data |
awk '
  NR == FNR {statenames[$1]=0; next}
  { usual processing }
  END { usual output }
' <(printf "%s\n" cancelled completed completing failed nodefail pending running suspended timeout) -

Answer 5

@DavidZaslavsky 的答案的一个调整可能是按照您在 split() 行上指定的顺序打印状态。那将是：

{ states[tolower($1)]++ }
END {
     n = split("cancelled completed completing failed nodefail pending running suspended timeout",statenames)
     for (i=1; i<=n; i++) {
         state = statenames[i]
         print state, states[state]+0
     }
}

我还将输入转换为小写，使其与您的硬编码值匹配，去掉了 split() 的不必要的第三个参数和随后的空语句（尾随分号）。

如果您想在输入中找到不在硬编码集中的状态名称，您可以将其调整为：

{ states[tolower($1)]++ }
END {
     n = split("cancelled completed completing failed nodefail pending running suspended timeout",statenames)
     for (i=1; i<=n; i++) {
         state = statenames[i]
         print state, states[state]+0
         delete states[state]
     }
     for (state in states) {
         print "WARNING: found new state name %s\n",state | "cat>&2"
         print state, states[state]+0
     }
}