根据匹配模式将一行行grep到shell变量中

Question

我正在寻找一种方法来根据给定的模式 grep {} 之间的行块。我尝试了在谷歌中找到的各种模式，但没有一个对我的情况有帮助。我不是 regex.looking 专家寻求一些帮助来解决这个问题。 这是示例源文件：

Data {
        status 400;
        server_name test.dummy.com;

        location /test {
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_read_timeout 5m;
proxy_send_timeout 5m;
proxy_pass http://xyz.9201.com;

               proxy_http_version 1.1;
               proxy_set_header Upgrade $http_upgrade;
               proxy_set_header Connection "upgrade";
        }

        location /dev {
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_read_timeout 5m;
proxy_send_timeout 5m;
proxy_pass http://xyz.9202.com;

               proxy_http_version 1.1;
               proxy_set_header Upgrade $http_upgrade;
               proxy_set_header Connection "upgrade";
        }

        location /prd {
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_read_timeout 5m;
proxy_send_timeout 5m;
proxy_pass http://xyz.9203.com;

               proxy_http_version 1.1;
               proxy_set_header Upgrade $http_upgrade;
               proxy_set_header Connection "upgrade";
        }
}

如果传递给脚本的参数是 "dev" ，那么它应该匹配模式 location /dev 并将下面的块提取到 shell 变量中：

位置 /dev {

proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_read_timeout 5m;
proxy_send_timeout 5m;
proxy_pass http://xyz.9202.com;
               proxy_http_version 1.1;
               proxy_set_header Upgrade $http_upgrade;
               proxy_set_header Connection "upgrade";

我尝试了各种 sed/awk 命令模式，但下面的这个给出了一些最接近的结果。

awk '/dev/{print}' RS={ FS=} test.conf

结果：

$ awk '/dev/{print}' RS={ FS=} test.txt

proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_read_timeout 5m;
proxy_send_timeout 5m;
proxy_pass http://xyz.9201.com;

               proxy_http_version 1.1;
               proxy_set_header Upgrade $http_upgrade;
               proxy_set_header Connection "upgrade";
        }

        location /dev

Answer 1

我们可以在单个awk 中完成，请您尝试关注。

awk '/}/ && found{exit} /location \/dev/{found=1;next} found && NF' Input_file

由于 OP 提到应该只打印第一组，所以我在这里使用exit，一旦打印出第一组就立即退出。

说明：为上述代码添加说明。

awk '                   ##Starting awk program from here.
/}/ && found{           ##Checking condition if a line contains } AND variable found is SET then do following.
  exit                  ##Exiting from program here.
}                       ##Closing BLOCK for above condition here.
/location \/dev/{       ##Checking condition here if a line contains location /dev then do following.
  found=1               ##Setting variable found to 1 here.   
  next                  ##next will skip all further statements from here.
}                       ##Closing BLOCK for above condition here.
found && NF             ##Checking condition is  found is SET and NF is NOT NULL then print current line.
' Input_file            ##Mentioning Input_file name here.

输出如下。

proxy_set_header X-Forwarded-Host ;
proxy_set_header X-Forwarded-Server ;
proxy_set_header X-Forwarded-For ;
proxy_set_header Host ;
proxy_read_timeout 5m;
proxy_send_timeout 5m;
proxy_pass http://xyz.9202.com;
               proxy_http_version 1.1;
               proxy_set_header Upgrade ;
               proxy_set_header Connection "upgrade";

Answer 2

尝试使用基于行的工具解析基于块的文件是一个冒险的提议，没有任何保证。如果在外部 location 块中嵌套了另一个 {...} 块（通过在第一个 } 之后停止而不是匹配的块），大多数解决方案都会失败。这可能不是您的特定文件的问题，但此解决方案可以正确处理它：

awk '(inside && /{/)  { inside++ };
     (inside && /}/)  { --inside; if (!inside) { exit } };
     (inside) {print};
     /location \/dev[ \/{]/ { inside=1; }' src_file

不过，仍有很多方法可以打破这一点。如果这不仅仅是一次性的工作，那么为相关语法设计（或可配置）的实际解析器库将为您提供更可靠的结果。

解释：这个程序的设计使用了一个名为inside 的状态变量，如果它非零，则表示当前正在处理的行在节内。每个新的左大括号 { 都会导致值增加，而每个右大括号 } 都会导致值减小。因此，一旦它在非零之后达到零，我们就知道我们已经完成了目标节并且可以退出。

这些节是按顺序处理的，因此顺序非常重要。最后一节查找开始的location 行并将我们的状态变量设置为1；如果该节是第一个，那么开始的location 行本身将由随后的节打印。但事实上，打印直到文件的下一行才会生效。

所以：如果我们在节内并看到另一个{，请增加inside。 如果我们在节内并看到}，则减少inside。如果它现在为零，那意味着我们已经完成了，所以退出。 如果我们在里面（无论我们是否只是看到了 { 或 }，只要我们没有退出），然后打印当前行。 如果我们看到 location /dev ... 后跟空格、斜杠或花括号，那么以 /dev 开头的不同位置将不匹配 ... 将 inside 设置为 1 表示我们应该从下一行开始打印。

请注意，正如所写，程序假定整个节的开头{ 与location 指令本身在同一行。如果大括号位于下一行，则嵌套逻辑将意味着它将从该点打印整个文件。这只是这种方法脆弱性的一个例子。

Answer 3

我不确定你是否可以单独使用 grep 来完成你想要的，但你可以同时使用 sed 和 grep 命令来获得你想要的输出。

sed -n '/dev {/,/}/p' src_file

会给你以下输出：

location /dev {
  proxy_set_header X-Forwarded-Host $host;
  proxy_set_header X-Forwarded-Server $host;
  proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  proxy_set_header Host $http_host;
  proxy_read_timeout 5m;
  proxy_send_timeout 5m;
  proxy_pass http://xyz.9202.com;

           proxy_http_version 1.1;
           proxy_set_header Upgrade $http_upgrade;
           proxy_set_header Connection "upgrade";
  }

如果你想删除 dev { 和 } 行，你可以像这样将 sed 命令与 grep -v 结合起来：

sed -n '/dev {/,/}/p' src_file | grep -v "}" | grep -v "{"

这将为您提供所需的输出：

proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_read_timeout 5m;
proxy_send_timeout 5m;
proxy_pass http://xyz.9202.com;
           proxy_http_version 1.1;
           proxy_set_header Upgrade $http_upgrade;
           proxy_set_header Connection "upgrade";

Answer 4

这可能对你有用（GNU sed）：

sed -n '/^\s*location .*{$/h;/^\s*$\|[{}]/b;G;/location \/dev/P' file

复制以location 开头并以{ 结尾的每一行。将当前副本附加到每一行，如果双行包含location /dev，则仅打印其中的第一个。

注意空行和包含{和}的行可以预先删除。