根据模式找到一行，将另一个文件中的新列添加到该行[关闭]

Question

我有 2 个需要根据给定模式（在本例中为电子邮件地址）合并的文件。
如果可能的话，我想用 grep/sed 来做这件事。请解释答案，以便我弱小的大脑可以处理它。

新信息：没有字段映射。这些文件来自 2 个不同的数据源，并且行数并不总是相同。这是现实世界：当 Bob 停止更新他的博物馆会员资格时，他将不再列在文件 2 中。这是大型非营利组织会员状态每周报告的一部分。文件 1 会一直增长到年底，文件 2 可能会缩小或增长。

我已将第二个文件设置为始终以逗号分隔的位置，并且第一个字段将始终是电子邮件地址，就像文件 1 中一样。

在文件 1 中有这样一行：

007@some.org,007,/Members/Inactive/Delete,2013-06-07T04:41:56.000Z,Never

在文件2中，有这样一行：

User 007@some.org:  Forward To:None  Enabled:false  Action:KEEP

我希望将文件 2 中的内容添加到文件 1 以创建格式如下的文件 3：

007@some.org,007,/Members/Inactive/Delete,2013-06-07T04:41:56.000Z,Never,Forward to:None,Enabled:false,Action:KEEP

3 个新列应始终添加到行尾。

Answer 1

首先使用搜索和替换将file2 修改为所需格式（逗号分隔）。在这里，我使用perl 来实现这一点。 sed也可以用

perl -pe 's/User\s+(\S+):\s+(.*?:\S+)\s+(.*?:\S+)\s+(.*?\S+)/\1,\2,\3,\4/g' file2 > file2_new

这将导致：

$ cat file2_new
007@some.org,Forward To:None,Enabled:false,Action:KEEP

然后只需使用join 和分隔符, 来连接两个文件

join -t , file1 file2_new

输出：

007@some.org,007,/Members/Inactive/Delete,2013-06-07T04:41:56.000Z,Never,Forward To:None,Enabled:false,Action:KEEP

Answer 2

使用较新版本的 GNU awk（适用于 \s 和 \S，而不是 [[:space:]] 和 [^[:space:]]）（适用于 gensub()）：

$ cat tst2.awk
BEGIN {re="\\S+\\s+([^:]+):\\s+([^:]+:\\S+)\\s+(\\S+)\\s+(\\S+).*"; FS=OFS=","}
NR==FNR {map[gensub(re,"\\1","")] = gensub(re,"\\2,\\3,\\4",""); next}
{print $0, map[$1]}
$
$ cat file1
007@some.org,007,/Members/Inactive/Delete,2013-06-07T04:41:56.000Z,Never
$
$ cat file2
User 007@some.org:  Forward To:None  Enabled:false  Action:KEEP
$
$ awk -f tst2.awk file2 file1
007@some.org,007,/Members/Inactive/Delete,2013-06-07T04:41:56.000Z,Never,Forward To:None,Enabled:false,Action:KEEP

或使用任何现代 awk：

$ cat tst.awk
BEGIN{ FS=OFS="," }
NR==FNR {
    email = $0
    gsub(/^[^[:space:]]+[[:space:]]+|:.*/,"",email)

    sub(/^[^:]+:[[:space:]]*/,"")

    rec = ""
    while ( match($0,/[^:]+:[^:[:space:]]+/) > 0 ) {
        rec = rec (rec ? OFS : "") substr($0,RSTART,RLENGTH)
        $0 = substr($0,RSTART+RLENGTH+1)
        sub(/^[[:space:]]+/,"",$0)
    }

    map[email] = rec
    next
}

{ print $0, map[$1] }
$
$ cat file1
007@some.org,007,/Members/Inactive/Delete,2013-06-07T04:41:56.000Z,Never
$
$ cat file2
User 007@some.org:  Forward To:None  Enabled:false  Action:KEEP
$
$ awk -f tst.awk file2 file1
007@some.org,007,/Members/Inactive/Delete,2013-06-07T04:41:56.000Z,Never,Forward To:None,Enabled:false,Action:KEEP

Answer 3

我之前建议加入评论而不注意输入和输出格式。正如 EdMorton 指出的那样，即使对输入文件进行了排序，这也不能仅在 join 中完成。因此，在与 EdMorton 讨论之后，我实际上详细讨论了这个问题，这是我目前的解决方案，假设第二个文件是 TAB 分隔的：

sed -re 's/^User\s//' -e 's/:/,/' file2 | join -t , file1 - | sed -re 's/\t/,/g' -e 's/,,/,/'

上面的命令在我的cygwin/win7环境下工作，如果你的shell或file2分隔符不同，你可能需要稍微玩一下。

一些解释：

sed -re 's/^User\s//' -e 's/:/,/' file2

删除前导“用户”并将第一次出现的冒号更改为逗号，这使得 file2 可以与带有逗号分隔符的 file2 连接。

sed -re 's/\t/,/g' -e 's/,,/,/'

根据最终格式的要求，用逗号替换分隔符。因为join会在file1和file2之间的输出中添加一个分隔符，所以我们会看到一对没有最后替换的逗号。

这是输出：