从两组文本文件中提取唯一行

Question

在 A: 和 B: 这两个目录中各有 1 个或多个 文本文件。目的是打印一个单个文本文件，其中包含所有行仅出现在A:中。

（每个文本文件最多可包含 200 万行。如果 A: 有 2 个或多个唯一行 [即，仅在 A:，不在 B:] 中彼此相同，则只有其中之一行需要在 unique.txt 输出中列出。顺序列表 [sort] 不重要。）

感谢Lieven Keersmaekers 下面的脚本（干净且快速）。然而，我似乎陷入了在 unique.txt 文件中被截断的行（在字符 120 处；或包装），而不是像它们一样打印 整个 唯一行 exactly存在于 A: 中。

compare -r $(gc C:\a\*.txt | sort -u) -d $(gc C:\b\*.txt | sort -u) | ? {$_.SideIndicator -eq '<='} | select inputobject | Out-File unique.txt

我试图用这些来获得完整的、展开的行，但没有成功：

Format-Table -Wrap -AutoSize |

我做错了什么？ Windows cmd line 或 PowerShell 都可以。

Answer 1

使用sort -u、bash 和combine：

combine <(sort -u a/* ) not <(sort -u b/*)

以上假设不需要重复的行，并且 Windows 文件系统安装在 Linux 机器上或可从 Linux 机器访问。

注意combine 不需要排序数据，它可以以任何给定顺序显示来自A:\* 的行，并返回未排序 输出，例如：

combine <(cat a/*) not <(cat b/*)

...但是如果A:\* 包含的给定行的重复项比B:\* 多，这将失去不显示重复行的属性。

Answer 2

以下内容可能会让您入门。

短版（使用别名）

compare -r $(gc C:\a\*.txt | sort -u) -d $(gc C:\b\*.txt | sort -u) | 
    ? {$_.SideIndicator -eq '<='} | 
    select -expand inputobject | 
    Out-File unique.txt

加长版

Compare-Object -ReferenceObject $(Get-Content C:\a\*.txt | Sort-Object -Unique) -DifferenceObject $(Get-Content C:\b\*.txt | Sort-Object -Unique) | 
    Where-Object {$PSItem.SideIndicator -eq '<='} | 
    Select-Object -ExpandProperty inputobject | 
    Out-File unique.txt

请注意，我无法摆脱与<=的比较可以并且应该更好地处理但我无法轻易找到方法的感觉。

Answer 3

应该有点性能的最天真的解决方案应该是

$inB = [system.collections.generic.HashSet[string]]::new([string[]](Get-Content B\* | select -unique))

Get-Content A\* |
  Where-Object { ! $inB.Contains($_) } |
  Out-File onlyinA.txt

但是，您需要为内存中 B 中所有文件的所有唯一行付费。解决这个问题的唯一方法（没有更复杂的东西）是批量过滤 A 中的行，并依次删除 B 中文件中的更多行。