如何使用 unix 实用程序 (sed/tr/awk) 用非转义等效项替换所有转义序列

Question

我正在为显示过滤器处理一个 Wireshark 配置文件 (dfilter_buttons)，并希望打印出给定名称的过滤器。文件内容如下：

示例输入

"TRUE","test","sip contains \x22Hello, world\x5cx22\x22",""

结果输出应该替换掉转义序列，所以我可以稍后在我的脚本中使用它们：

期望的输出

sip contains "Hello, world\x22"

我的第一关是这样的：

当前解析器

filter_name=test
awk -v filter_name="$filter_name" 'BEGIN {FS="\",\""} ($2 == filter_name) {print $3}' "$config_file"

我的输出是这样的：

电流输出

sip contains \x22Hello, world\x5cx22\x22

我知道我可以通过管道传输到 sed 并匹配这两个确切的序列来处理这两个确切的转义序列，但是有没有一种通用的方法来替换所有的转义序列？我构建的未来过滤器可能会使用更多的转义序列，而不仅仅是 " 和 ，并且我想处理未来的场景。

Answer 1

使用gnu-awk，您可以使用split、gensub 和strtonum 函数来做到这一点：

awk -F '","' -v filt='test' '$2 == filt {n = split($3, subj, /\\x[0-9a-fA-F]{2}/, seps); for (i=1; i<n; ++i) printf "%s%c", subj[i], strtonum("0" substr(seps[i], 2)); print subj[i]}' file

sip contains "Hello, world\x22"

更易读的形式：

awk -F '","' -v filt='test' '
$2 == filt {
   n = split($3, subj, /\\x[0-9a-fA-F]{2}/, seps)
   for (i=1; i<n; ++i)
      printf "%s%c", subj[i], strtonum("0" substr(seps[i], 2))
   print subj[i]
}' file

说明：

• 使用-F '","'，我们使用分隔符","分割输入
• $2 == filt 我们为$2 == "test" 条件过滤输入
• 使用 /\\x[0-9a-fA-F]{2}/ 作为正则表达式（匹配 2 位十六进制字符串）我们拆分 $3 并将拆分标记保存到数组 subj 并将匹配的分隔符保存到数组 seps
• 使用substr，我们删除第一个字符，即\\，并在前面加上0
• 使用strtonum我们将十六进制字符串转换为等效的ascii数字
• 在printf 中使用%c 打印对应的ascii 字符
• 最后一个for 循环使用subj 和seps 数组元素返回$3

Answer 2

将 GNU awk 用于 FPAT、gensub()、strtonum() 和 match() 的第三个参数：

$ cat tst.awk
BEGIN { FPAT="([^,]*)|(\"[^\"]*\")"; OFS="," }
$2 == ("\"" filter_name "\"") {
    gsub(/^"|"$/,"",$3)
    while ( match($3,/(\\x[0-9a-fA-F]{2})(.*)/,a) ) {
        printf "%s%c", substr($3,1,RSTART-1), strtonum(gensub(/./,0,1,a[1]))
        $3 = a[2]
    }
    print $3
}

$ awk -v filter_name='test' -f tst.awk file
sip contains "Hello, world\x22"

以上假设您的转义序列始终是\x，后跟正好 2 个十六进制数字。它隔离输入中的每个\xHH 字符串，将\ 替换为该字符串中的0，以便strtonum() 可以将字符串转换为数字，然后在printf 格式化字符串中使用%c 进行转换该数字转换为一个字符。

请注意，GNU awk 有一个调试器（请参阅https://www.gnu.org/software/gawk/manual/gawk.html#Debugger），因此如果您不确定程序的任何部分是做什么的，您可以在调试器（-D）中运行它并跟踪它，例如在下面我设置一个断点来告诉 awk 在脚本的第 1 行 (b 1) 停止，然后开始运行 (r) 和步骤 (s) 通过脚本打印 $3 的值 (@ 987654335@) 在每一行，所以我可以看到它在gsub() 之后的变化：

$ awk -D -v filter_name='test' -f tst.awk file
gawk> b 1
Breakpoint 1 set at file `tst.awk', line 1
gawk> r
Starting program:
Stopping in BEGIN ...
Breakpoint 1, main() at `tst.awk':1
1       BEGIN { FPAT="([^,]*)|(\"[^\"]*\")"; OFS="," }
gawk> p $3
$3 = uninitialized field
gawk> s
Stopping in Rule ...
2       $2 == "\"" filter_name "\"" {
gawk> p $3
$3 = "\"sip contains \\x22Hello, world\\x5cx22\\x22\""
gawk> s
3           gsub(/^"|"$/,"",$3)
gawk> p $3
$3 = "\"sip contains \\x22Hello, world\\x5cx22\\x22\""
gawk> s
4           while ( match($3,/(\\x[0-9a-fA-F]{2})(.*)/,a) ) {
gawk> p $3
$3 = "sip contains \\x22Hello, world\\x5cx22\\x22"