查找最后一次出现的字符串并打印 sed awk grep In BASH 下的所有内容

Question

您好，我有一个不断快速更新的大文件。它存储了大量的 FIX-ORDER 消息。每个订单都包含在以单词“FIXES”开头并以单词“Committed”结尾的部分中。在每个订单部分中，修复消息位于第一部分，其他消息位于第二部分。 请参阅下面的输入示例和输出示例。

简而言之，我喜欢 grep 文件并逐行打印最后一个订单部分 并确保修复消息也打印在单独的行上。请参阅下面的第二部分，这是我需要的最终输出。

如果你能帮忙，请告诉我

订单部分的起始文本（我们称之为 orderA）

FIXES LIMIT CHECK ON:

修复消息部分

FIXES LIMIT CHECK ON: 8=FIX.4.2;9=0;35=D;10=100; (Client.123.600)

修复消息部分 + 其余日志消息，直到我们到达单词 Commit 请注意每一行都以右括号结束

FIXES LIMIT CHECK ON: 8=FIX.4.2;9=0;35=D;10=100; (Client.123.600)
1234  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
1235  cdghhhh ggg/HIT [19889] INFO JUN 20 17:25:34 Matched  (Found.c.t)
1236  abwwwfg EFG/HIT [12885] debug JUN 20 17:25:34 Matched  (Match.c.t)
Committed 

如果可能的话，我喜欢只使用一个命令行来做些什么；输出有两部分。请在回答之前阅读这两部分：

第一部分）我喜欢使用一个命令来从以“FIXES LIMIT CHECK ON:”开头的行到“提交”一词的每个订单部分，所以基本上

FIXES LIMIT CHECK ON: 8=FIX.4.2;9=0;35=D;10=100; (Client.123.600)
1234  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
1235  cdghhhh ggg/HIT [19889] INFO JUN 20 17:25:34 Matched  (Found.c.t)
1234  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
Committed 

第二部分）

 I like to print each Fix message that is divided by ";" in a new line 
 please note that the last entry of the fix message is (Client.123.600)
 so my final out put should look like this

FIXES LIMIT CHECK ON: 
8=FIX.4.2;
9=0;35=D;
10=100; 
(Client.123.600)
1234  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
1235  cdghhhh ggg/HIT [19889] INFO JUN 20 17:25:34 Matched  (Found.c.t)
1234  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
Committed 

Answer 1

修改如下：

tac <data_file> | sed -n -e '/Committed/,/FIXES LIMIT CHECK ON/p ; /FIXES LIMIT CHECK ON/q' | tac | sed -e '/Client/ { s/:\s?/:\n/g ; s/;\s*/;\n/g }'

Answer 2

$ last_entry_line=$(grep -n '^FIXES ' test.txt | tail -1 | cut -d: -f1 )
$ cat test.txt | sed -n "${last_entry_line},/Committ/p" | sed '/^FIXES/s/\([:;]\)\s*/\1;\n/g'

为了让批评者高兴，我会解释一下。

在第一个命令中，grep -n '^FIXES ' 查找所有以 'FIXES' 开头的行并给我们行号，tail -1 部分只给我们最后一个，cut -d: -f1 解析出行号.

在第二个命令中，sed -n 不打印任何内容，除非我们向其发送“打印”命令。我们的“打印”命令告诉sed 从我们找到的行号打印到“已提交”的下一个实例。我们将这些行发送到另一个 sed，它将冒号和分号（后跟任意数量的空格）替换为冒号或分号（无论我们找到哪个）和一个换行符。

Answer 3

使用 GNU awk 进行 gensub()：

$ cat tst.awk
inMsgs {
    # Previous line must have been a FIXES.. line and we are
    # now in the messages lines so just append each of them
    # to the msgs variable as they are read.
    msgs = msgs $0 ORS
}
/Committed/ {
    # Found a "Committed" line so this is the end of a complete
    # block of input so save the contents of the current "fix"
    # and "msgs" variables to the "last read block" equivalents
    # and clear the "in messages block" flag.
    lastFix  = fix
    lastMsgs = msgs
    inMsgs   = 0
}
/^FIXES LIMIT CHECK ON:/ {
    # Found a FIXES... line so save that "fix" line, empty
    # the buffer of "msgs" and set the "in messages block flag"
    # so it is set when the next line is read.
    fix      = $0
    msgs     = ""
    inMsgs   = 1
}
END {
    # We have reached the end of the input file so insert newlines
    # where appropriate in the "lastFix" line then print it and
    # then print the lines stored in the "lastMsgs" variable.
    print gensub(/([^:]+:) ([^;]+;)([^;]+;)([^;]+;)([^;]+;) (.*)/,"\\1\n\\2\n\\3\n\\4\n\\5\n\\6",1,lastFix)
    printf "%s", lastMsgs
}

.

$ awk -f tst.awk file
FIXES LIMIT CHECK ON:
8=FIX.4.2;
9=0;
35=D;
10=100;
(Client.123.600)
1234  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
1235  cdghhhh ggg/HIT [19889] INFO JUN 20 17:25:34 Matched  (Found.c.t)
1236  abwwwfg EFG/HIT [12885] debug JUN 20 17:25:34 Matched  (Match.c.t)
Committed

大部分复杂性是确保它只打印最后一个完整记录（即以“已提交”结尾的记录）。

这里有一个更好的示例输入文件来说明为什么上述逻辑是必要的：

$ cat file
stuff
FIXES LIMIT CHECK ON: 8=FIX.4.2;9=0;35=D;10=100; (Client.123.600)
1231  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
1232  cdghhhh ggg/HIT [19889] INFO JUN 20 17:25:34 Matched  (Found.c.t)
1233  abwwwfg EFG/HIT [12885] debug JUN 20 17:25:34 Matched  (Match.c.t)
Committed
foo
FIXES LIMIT CHECK ON: 8=FIX.4.2;9=0;35=D;10=100; (Client.123.600)
1234  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
1235  cdghhhh ggg/HIT [19889] INFO JUN 20 17:25:34 Matched  (Found.c.t)
1236  abwwwfg EFG/HIT [12885] debug JUN 20 17:25:34 Matched  (Match.c.t)
Committed
bar
FIXES LIMIT CHECK ON: 8=FIX.4.2;9=0;35=D;10=100; (Client.123.600)
1237  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
1238  cdghhhh ggg/HIT [19889] INFO JUN 20 17:25:34 Matched  (Found.c.t)
1239  abwwwfg EFG/HIT [12885] debug JUN 20 17:25:34 Matched  (Match.c.t)

在上述情况下，预期输出将是中间块（消息行从 1234、1235 和 1236 开始的那个），而不是最后一个块，因为最后一个块不以 Committed 结尾，所以仍然是在通过生成它的任何命令写入输入文件的过程中。因此，文件中的最后一个 complete 块是中间的块，因此预期的输出与上述 awk 命令产生的一样：

$ awk -f tst.awk file
FIXES LIMIT CHECK ON:
8=FIX.4.2;
9=0;
35=D;
10=100;
(Client.123.600)
1234  abcdefg EFG/HIT [12355] debug JUN 20 17:25:34 Matched  (Match.c.t)
1235  cdghhhh ggg/HIT [19889] INFO JUN 20 17:25:34 Matched  (Found.c.t)
1236  abwwwfg EFG/HIT [12885] debug JUN 20 17:25:34 Matched  (Match.c.t)
Committed