仅使用 awk 或其他文件处理实用程序来处理文件的 UNIX(AIX) 脚本

Question

我的任务是编写一个脚本，该脚本将过滤来自 MQ runmqsc 命令的输入并将输出重定向到另一个文件。我一直在使用许多其他通过管道传输的 Linux 命令，它似乎在 Linux 中工作得很好，但是我的经理需要在 AIX 系统上运行脚本，所以是 UNIX 操作系统。 我意识到许多在 Linux 上运行良好或在 Linux 中完成工作的命令将在 UNIX 或基于 UNIX 的系统上产生完全不同的输出。 runmqsc 命令的输出如下所示：

5724-H72 (C) Copyright IBM Corp. 1994, 2009.  ALL RIGHTS RESERVED.
Starting MQSC for queue manager CNUMQ02B.


     1 : DISPLAY QLOCAL(*) CURDEPTH
AMQ8409: Display Queue details.
   QUEUE(ADEXA.AOM.REPLY.MR.QL)            TYPE(QLOCAL)
   CURDEPTH(0)                          
AMQ8409: Display Queue details.
   QUEUE(ADEXA.AOM.REPLY.QL)               TYPE(QLOCAL)
   CURDEPTH(0)                          
AMQ8409: Display Queue details.
   QUEUE(ADEXA.ERROR.QL)                   TYPE(QLOCAL)
   CURDEPTH(0)                          
AMQ8409: Display Queue details.
   QUEUE(ADEXA.FACT.OUT.QL)                TYPE(QLOCAL)
   CURDEPTH(0)
AMQ8409: Display Queue details.
   QUEUE(ADW.REMAN.XREF.ERR.QL)            TYPE(QLOCAL)
   CURDEPTH(14)
AMQ8409: Display Queue details.
   QUEUE(SAPNA.MESS.CRITICAL.CLASS.RESUME.QL)
   TYPE(QLOCAL)                            CURDEPTH(123)
One MQSC command read.
No commands have a syntax error.
All valid MQSC commands were processed.

我基本上只需要在同一行显示队列名称、空格和队列深度，文件开头或结尾没有尾随空格和换行符，这样它将类似于以空格作为分隔符的 csv 文件。我还需要过滤掉队列深度等于 0 的队列，所以输出将如下所示：

ADW.REMAN.XREF.ERR.QL 14

正如我所说，我在 Linux 上尝试了许多命令，但我不知道哪些命令和标志实际上在 UNIX 和 Linux 上的工作方式或多或少相同，我的经理今天想要这个，所以如果你有任何机会阅读此内容，我要求您至少指导我使用什么来尝试解决问题:) 谢谢。

这是我在 Linux 中写的：

head -n -3 "$1" | 
tail -n +6 | 
sed '/AMQ8409: Display Queue details./d' | 
sed 's/TYPE(QLOCAL)//g' | 
tr -d ' \t\r\f' | 
awk 'NR%2{printf "%s ",$0;next;}1' | 
sed '/CURDEPTH(0)/d' | 
awk '{gsub(/QUEUE(/, ""); gsub(/CURDEPTH(/, ""); gsub(/)/, ""); print}' |
sort -nk2 

Answer 1

试试这个更简单的命令..

sed -n -e 's/.*QUEUE(\([^)]*\)).*/\1/p' -e 's/.*CURDEPTH(\([0-9]*\)).*/\1/p' \
   | paste -d ' ' - - \
   | grep -v ' 0$'

Answer 2

这里没有使用gsub：

awk -F "[()]" '/QUEUE/ {quename=$2} /CURDEPTH\(/ {print quename, $2} '

Answer 3

不要使用“head”、“tail”和“sed”来删除不需要的行，而是使用 grep 来获取您想要的行。我不确定这些选项中的哪一个适用于 AIX，但我都应该相信它们。

grep -B 1 CURDEPTH $1
grep -A 1 QUEUE $1
grep -e QUEUE -e CURDEPTH $1

接下来，加入并格式化行：

sed 's#.*QUEUE(\([^)]*\)).*\n.*CURDEPTH(\([0-9]*\)).*#\1 \2#'

如果这不能正常工作，请尝试使用 '\r' 而不是 '\n'。

最后，删除所有深度为 0 的行（2 个选项）：

grep -v " 0$"
sed '# 0$#d'

我对这种形式的 sed 不是很熟悉——我从你的代码示例中摘录了它——但它看起来很简单，所以应该可以工作。

所有这些命令都是您可以获得的最基本的形式，因此在任何 *nix 系统上都应该同样有效。希望。最初的 grep 和 sed 是最高风险点。

Answer 4

$ awk '/QUEUE|CURDEPTH\(/ {                            # on matching records
           gsub(/^[^(]+\(|).*$/,"");                   # remove unwanted parts
           printf "%s%s", $0, ($0~/^[0-9]+$/?ORS:OFS)  # print ORS after depth
       }' file
ADEXA.AOM.REPLY.MR.QL 0
ADEXA.AOM.REPLY.QL 0
ADEXA.ERROR.QL 0
ADEXA.FACT.OUT.QL 0
ADW.REMAN.XREF.ERR.QL 14

Answer 5

这适用于我在 AIX 上获得所需的输出，它使用 IBM MQ 的 WHERE 子句将输出限制为 CURDEPTH 大于 0 的队列：

echo "DIS QL(*) WHERE(CURDEPTH GT 0)" | runmqsc <qmgr> | sed -e 's/\((.*)\)  *\(.*\)/\1\
\2/g' -e 's/^ *\([A-Z][A-Z]*[(][^)][^)]*[)]\)/\1/g' -e 's/^\(AMQ[0-9][0-9]*:\).*$/\1/g' | awk -F '[()]' -v OFS=" " 'function printValues() { if ("QUEUE" in p) { print p["QUEUE"], p["CURDEPTH"] } } /AMQ8409:/ { printValues(); for (i in p) { delete p[i] }; next } { p[$1] = $2 } END { printValues() }'

请注意，上面是两行，第一行末尾的 \ 允许 sed 命令替换为嵌入的新行。 awk printValues 语法来自@mike.dld 对这篇文章“Print part of an array or a file and sort in shell”的回答。我不得不用for (i in p) { delete p[i] } 替换他的delete p，因为AIX awk 不支持其他语法。

如果您想以文件作为输入运行，请使用以下命令：

cat file | sed -e 's/\((.*)\)  *\(.*\)/\1\
\2/g' -e 's/^ *\([A-Z][A-Z]*[(][^)][^)]*[)]\)/\1/g' -e 's/^\(AMQ[0-9][0-9]*:\).*$/\1/g' | awk -F '[()]' -v OFS=" " 'function printValues() { if ("QUEUE" in p) { print p["QUEUE"], p["CURDEPTH"] } } /AMQ8409:/ { printValues(); for (i in p) { delete p[i] }; next } { p[$1] = $2 } END { printValues() }' | grep -v ' 0$'

向输出添加任意数量的属性很容易。如果您想在将来扩展它，您只需为每个所需的属性在 awk 命令中添加更多条目，如下所示：, p["ATTR1"], p["ATTR2"]

以MAXDEPTH为例：

echo "DIS QL(*) WHERE(CURDEPTH GT 0)" | runmqsc <qmgr> | sed -e 's/\((.*)\)  *\(.*\)/\1\
\2/g' -e 's/^ *\([A-Z][A-Z]*[(][^)][^)]*[)]\)/\1/g' -e 's/^\(AMQ[0-9][0-9]*:\).*$/\1/g' | awk -F '[()]' -v OFS=" " 'function printValues() { if ("QUEUE" in p) { print p["QUEUE"], p["CURDEPTH"], p["MAXDEPTH"] } } /AMQ8409:/ { printValues(); for (i in p) { delete p[i] }; next } { p[$1] = $2 } END { printValues() }'

请注意，如果属性本身已嵌入括号，则此答案和其他答案可能会出现问题，这在队列的 DESCR 字段中是可能的，并且对于其他对象上的各种其他字段也是如此类型。一个常见的例子是CHANNEL 的CONNAME 属性。 CONNAME 使用hostname(port) 格式，因此显示为CONNAME(hostname(port))。

Answer 6

使用awk，这可以相对容易地完成：

runmqsc "display qlocal(*) curdepth" | awk '
    /QUEUE\(/ {
        gsub(/^[^\(]*\(/, "", $0);
        gsub(/\).*$/, "", $0);
        qname = $0;
    }
    /CURDEPTH\(/ {
        gsub(/^[^\(]*\(/, "", $0);
        gsub(/\).*$/, "", $0);
        print qname" "$0;
    }'

这基本上只是从包含QUEUE( 的行中提取队列名称并存储它们以供以后使用。

当它找到包含CURDEPTH( 的行时，它会以相同的方式提取深度，然后将其与存储的队列名称一起输出。

每个部分中的两个gsub 调用看起来像“黑魔法”，但一旦您知道它们的含义，它们就很容易理解。第一个在行首找到一个模式，该模式由最大数量的非( 字符后跟( 字符组成，然后将其替换为空。

第二个类似，但它删除了“) 后跟任何字符到行尾”的最大序列。