根据数据中的匹配过滤数据

Question

逗号分隔的文件包含两列和两个字符串。

A, abc*
A, abc.def.ghi
A, abc.def.ghi.jkhl
B, abc.def.gh
B, cde.def.abc
B, cde.def.*

char * 是匹配零个或多个的通配符。

删除冗余行（即匹配任何通配符行）的最简单方法是什么？ 最好使用 Unix 过滤器或 SQL，但任何非 gui 解决方案都是有帮助的。

预期输出：

A, abc*
B, abc.def.gh
B, cde.def.*

Answer 1

您可以在 SQL 中这样做：

select t.*
from table t
where not exists (select 1
                  from table t2
                  where t.col1 = t2.col1 and
                        t.col2 like replace(t2.col2, '*', '%') and
                        t.col2 <> t2.col2
                 );

Answer 2

sort YourFile | sed '#n
H
$ {s/.*//;H;x
: again
   s/\(\n\)\([^*[:cntrl:]]\{1,\}\)[*][^[:cntrl:]]*\(.*\)\n\2[^[:cntrl:]]*\n/\1\2*\3\1/
   t again
   s/^\n\(.*\)\n[[:blank:]]*$/\1/
   p
   }'

使用sort 是因为它比在 sed 中更快，并简化了测试内容的顺序（带 * 的字符串总是在其他开始相同的模式之前）。

原理： 找到任何以\n 开头并以 * 结尾的模式，如果是这种情况，请将找到的行替换为空并重试 (t again)。 [:cntrl:] 用于捕捉 posix sed 中不能插入的 \n。

要与 GNU sed 一起使用，请添加 --posix 选项（可能是 1 个 -）

Answer 3

使用 awk

awk -F \* 'NR==FNR{if (/\*/)a[$1]}
NR>FNR{  if (/\*/)
       {print;next}
   s=0
   for (i in a)
       {if ($0~i){s++;break}}
   if (s==0) print
}' file file

说明

• -F \* 使用 * 作为字段分割
• if (/\*/)a[$1] 将带有 * 的行的 $1 保存到数组 a 中，所以得到两个：A, abc 和 B, cde.def.
• NR>FNR中的下一部分，再次读取文件，如果该行有*，直接打印。如果不是，则计算当前行是否匹配A, abc 或B, cde.def.。如果 finally s 仍然为 0，则表示不匹配，打印，否则，跳过。