删除找到的每一行答案

【问题标题】：Delete every line if occurence found删除找到的每一行
【发布时间】：2019-02-05 03:56:03
【问题描述】：

我有一个具有这种格式内容的文件：

如果在下一行中找到数字（来自第 2 列或第 3 列但不是来自第 1 列），无论它是在第 2 列还是第 3 列，包括找到初始数字的行，我想删除所有行。

我应该将其作为输出：

2 35

我尝试过使用：

awk '{for(i=2;i<=NF;i++){if($i in a){next};a[$i]}} 1'

但它似乎不起作用。

怎么了？

【问题讨论】：

OP 应该解释“在 next 行中找到”。是“跟随”的意思吗？如果为真，则仅应删除示例中的前 3 行。
什么是你的例子不起作用，你得到什么输出。
例如：第一行包含 6 和 8，这些数字也出现在第 2 行、第 4 和第 5 行。因此，应删除第 1、2、4 和 5 行等。在这种情况下，应仅保留最后一行，即 (2,35)

标签： awk sed cat

【解决方案1】：

一次性 awk 将所有记录散列到 r[NR] 并为字段 $2,...NF 中看到的值保留另一个数组 a[$i]。

awk ' {
    for(i=2;i<=NF;i++)       # iterate fields starting from the second
        if($i in a) {        # if field value was seen before
            delete r[a[$i]]  # delete related record
            a[$i]=""         # clear a
            f=1              # flag up
        } else {             # if it was not seen before
            a[$i]=NR         # add record number to a
            r[NR]=$0
        }
    if(f!=1)                 # if flag was not raised
        r[NR]=$0             # store record on record number
    else                     # if it was raised
        f=""                 # flag down
}
END {
    for(i=1;i<=NR;++i)
        if(i in r)
            print r[i]       # output remaining
}' file

输出：

2  35

【讨论】：

出于好奇，如果您的数据足够大，并且您测试了所有这些解决方案，请让我知道一通或两通解决方案是否更快。
非常好的解决方案。我喜欢清除缓冲区以减少内存。但是，请考虑到 for(i in r) 将以未指定的顺序进行迭代，因此您可能无法保持顺序不变。你可能想写for(i=1;i<=NR;++i) if(i in r) print r[i]
我对这个标志有点疑惑。它有什么用？看起来if($i in a) 的else 语句已经完成了所有工作。还是我错过了什么？

【解决方案2】：

最简单的方法是双通道算法，您可以读取两次文件。

这个想法是将所有值存储在数组a 中并计算它们出现的次数。如果该值出现 2 次或更多次，则表示您找到的条目不止一个，您不应打印该行。

awk '(NR==FNR){a[$2]++; if(NF>2) a[$3]++; next} 
     (NF==2) && (a[$2]==1);
     (NF==3) && (a[$2]==1 && a[$3]==1)' <file> <file>

在实践中，如果您不确定var 是否在数组中，则应避免使用诸如a[var]==1 之类的内容，因为它将创建该数组元素。但是，由于我们不再增加它，所以可以继续。

如果您想通过三个以上的字段实现相同的目标，您可以这样做：

awk '(NR==FNR){for(i=2;i<=NF;++i) a[$i]++; next }
     {for(i=2;i<=NF;++i) if(a[$i]>1) next }
     {print}' <file> <file>

虽然这两种解决方案都会读取文件两次，但您也可以将整个文件存储在内存中并仅读取一次文件。然而，这是完全相同的算法：

awk '{for(i=2;i<=NF;++i) a[$i]++; b[NR]=$0}
     END{ for(j=1;j<=NR;++j) {
            $0=b[j];
            for(i=2;i<=NF;++i) if(a[$i]>1) continue
            print $0
          }
         }' <file>

评论：这种单通道解决方案非常简单，并将整个文件存储在内存中。詹姆斯布朗的解决方案非常聪明。当不再需要它们时，它会从内存中删除它们。稍微短一点的版本是：

awk '{ for(i=2;i<=NF;++i) if ($i in a) delete b[a[$i]]; else { a[$i]=NR; b[NR]=$0 }}
     END { for(n=1;n<=NR;++n) if(n in b) print b[n] }' <file>

注意：您永远不应该追求最短的解决方案，而是最易读的解决方案！

【讨论】：

【解决方案3】：

请您尝试关注一下。

awk '
FNR==NR{
  for(i=2;i<=NF;i++){
    a[$i]++
  }
  next
}
(NF==2 && a[$2]==1) || (NF==3 && a[$2]==1 && a[$3]==1)
'  Input_file  Input_file

输出如下。

2  35

【讨论】：

也许我做错了什么，但它没有给我任何输出。
@inours，首先我正在阅读 Input_file 2 次，因此请确保您正确复制代码，然后如果您的 Input_file 与显示的示例相同 + 35 不会多次出现在您的 Input_file 中这应该可行，如果不是这种情况，那么通过执行cat -v Input_file 检查您的 Input_file 中是否包含控制 M 字符，然后让我知道？？
@RavinderSingh13 它对我有用。我忘了把 input_file 放两次。
如果a[$2]==1 它将打印该行并且永远不会测试a[$3]==1。从理论上讲，您应该使用&& 而不是||，但事实上字段数量不同，这将失败。
@kvantour，当然，现在更改了代码，感谢您告诉我。

【解决方案4】：

$ cat tst.awk
NR==FNR {
    cnt[$2]++
    cnt[$3]++
    next
}
cnt[$2]<2 && cnt[$NF]<2

$ awk -f tst.awk file file
2  35

【讨论】：

这非常聪明，因为它使用了两个漂亮的想法！ 1. 无论如何都要添加第三个字段。所以如果只有2个字段，增加空字段的计数器！ 2. 使用cnt[$NF] 而不是cnt[$3] 这确保如果您只有2 个字段，您只需测试字段$2 两次！（如果可以，我会投票 10 次）
谢谢。恕我直言NF 是一个未充分利用的资源。使用NF 或$NF 可以轻松解决很多问题，而不是使用其他方法，例如stackoverflow.com/a/52089084/1745001.

【解决方案5】：

这可能对你有用（GNU sed）：

sed -r 'H;s/^[0-9]+ +//;G;s/\n(.*\n)/\1/;h;$!d;s/^([^\n]*)\n(.*)/\2\n  \1/;:a;/^[0-9]+ +([0-9]+)\n(.*\n)*[^\n]*\1[^\n]*\1[^\n]*$/bb;/^[0-9]+ +[0-9]+ +([0-9]+)\n(.*\n)*[^\n]*\1[^\n]*\1[^\n]*$/bb;/\n/P;:b;s/^[^\n]*\n//;ta;d' file

这不是一个严肃的解决方案，但它展示了仅使用匹配和替换可以实现的目标。

该解决方案制作原始文件的副本，同时将每个记录的第二个和可能的第三个字段中的所有数字累积在单独的行中，并保留在副本的开头。

在文件末尾，副本的第一行包含所有相关键，如果有重复键，则删除文件中包含此类键的任何行。这是通过将键（第一行）移动到文件末尾并匹配这些键上每条记录的第二个（也可能是第三个）字段来实现的。

【讨论】：