我应该使用什么命令行工具来使用复杂的正则表达式从文件中提取字符串

Question

问题

在一个 linux 脚本中，我想用文件中的数据分配几个变量。

该命令应该能够：

• 使用复杂的正则表达式：表示普通的 java/javascript/php/perl 正则表达式， 我可以适应一些变化
• 在标准输出返回第一个捕获组（或参数指定的捕获组）。如果它支持命名捕获组可以接收名称作为参数：`regextractor ""
• 理想情况下应该已经存在于标准 linux 发行版中，也许在 osx 上也是如此

示例

我正在寻找类似的命令

mydate=`regextractor "^date:\s*(\S{10}).*$" myfile.md`
mytitle=`regextractor "^title:\s*(.*)\s*$" myfile.md`
echo $mydate - $mytitle

我的文件：

---
slug: article1
date: 2012-01-29 15:34:01
title: What is the best monetary system invented til now?
author: raisercostin<raisercostin@gmail.com>
tags: currency,monetary,system
type: question
toslug: article

这里测试了正则表达式：https://regex101.com/r/y311eP/1

我试过了

• 更新：grep - 默认 grep 使用简化的正则表达式 grep -o "toslug:\(.*\)" myfile.md => toslug: article
• 更新：grep 扩展 - 它支持复杂的正则表达式但不捕获组 grep --color=no -oE "toslug:(.*)" myfile.md => toslug: article
• sed - 它不支持捕获组，因此返回一行。 sed -nE "s/^date:\s*(\S*)//p" myfile.md 更新：它实际上支持捕获组，但您需要使用 -E 参数启用 --regexp-extended
• awk - 它不支持捕获组，因此返回一行 awk '/^date:\s*(.*)$/' myfile.md

更新

• 在我的Linux vagrant-ubuntu-trusty-64 3.13.0-101-generic #148-Ubuntu SMP Thu Oct 20 22:08:32 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux 上：
  • sed 没有记录 -E 选项，但适用于某些情况
  • 工作 sed -nE 's/^date:\s*(\S*)/\1/p' myfile.md => 2012-01-29 15:34:01
  • 不起作用 sed -nE 's/^date:\s*(\S{10})/\1/p' myfile.md => 2012-01-29 15:34:01
  • 不起作用 sed -nE 's/^date:\s*(\S*)$/\1/p' myfile.md => 没有行
  • 工作 awk '{ match($0, /^date:\s*(\S{10}).*$/, a); if(a[1])print a[1]}' myfile.md => 2012-01-29
• 在我的Darwin costins-MBP.router1 16.3.0 Darwin Kernel Version 16.3.0: Thu Nov 17 20:23:58 PST 2016; root:xnu-3789.31.2~1/RELEASE_X86_64 x86_64 上：
  • 部分工作 sed -nE 's/^date:\s*(\S*)/\1/p' myfile.md => 2012-01-29 15:34:01 - 初始空间未被占用
  • 不起作用 sed -nE 's/^date:\s*(\S{10})/\1/p' myfile.md => 没有行
  • 不起作用 sed -nE 's/^date:\s*(\S*)$/\1/p' myfile.md => 没有行
  • 不起作用 awk '{ match($0, /^date:\s*(\S{10}).*$/, a); if(a[1])print a[1]}' myfile.md => awk: syntax error at source line 1{ match($0, >>> /^date:\s*(\S{10}).*$/, <<<

Answer 1

这是一个 perl oneliner：

perl -E 'undef$/;$_=<>;($d,$t)= $_ =~  /\ndate:\s*(\S{10}).+\ntitle:\s*(.+?)\R/s;say "$d - $t";' <file.txt 

输出：

2012-01-29 - What is the best monetary system invented til now?

文件.txt

---
slug: article1
date: 2012-01-29 15:34:01
title: What is the best monetary system invented til now?
author: raisercostin<raisercostin@gmail.com>
tags: currency,monetary,system
type: question
toslug: article

Answer 2

(gnu) awk 支持捕获：

awk '/^date/ { match($0, /^date:[[:blank:]]*([^[:blank:]]{10}).*$/, a); print a[1]}' myfile.md

给：2012-01-29

awk '/title/ { match($0, /^title:[[:blank:]]*([^[:blank:]]*.*$)/, a); print a[1]}' myfile.md

给：What is the best monetary system invented til now?

Answer 3

基于 Jan Smydke 的回复。这匹配两个组。

输入：

regextractor () {
    perl -E 'undef$/;$_=<>;($v1,$v2)= $_ =~ /'$1'/m;say "$v1$v2";' <$2
}
regextractor "^date:\s*(\S{10}).*$" myfile.md
regextractor "^title:\s*(.*)\s*$" myfile.md

输出：

2012-01-29
What is the best monetary system invented til now?