【问题标题】:Remove strings which partially duplicate [duplicate]删除部分重复的字符串[重复]
【发布时间】:2017-12-26 05:05:07
【问题描述】:

我有一个字符串文件,它们是地址和一些值,如下所示。它按地址重复,我需要删除所有重复项并为所有字符串保留唯一地址。

在文本中:

A0:E6:F8:48:F0:3F BB A0:E6:F8:48:87:D7 B6 A0:E6:F8:48:F1:AF B9 A0:E6:F8:48:36:EB B5 A0:E6:F8:48:32:94 B5 A0:E6:F8:48:38:6F AF A0:E6:F8:48:6C:FC B7 A0:E6:F8:48:31:6E B6 A0:E6:F8:48:87:DA B0 A0:E6:F8:48:F0:3F B1 A0:E6:F8:48:F1:AF B1 A0:E6:F8:48:6C:FC BA A0:E6:F8:48:31:6E B5

外文:

A0:E6:F8:48:F0:3F BB A0:E6:F8:48:87:D7 B6 A0:E6:F8:48:F1:AF B9 A0:E6:F8:48:36:EB B5 A0:E6:F8:48:32:94 B5 A0:E6:F8:48:38:6F AF A0:E6:F8:48:6C:FC B7 A0:E6:F8:48:31:6E B6 A0:E6:F8:48:87:DA B0 这应该适用于所有类型的地址 XX:XX:XX:XX:XX:XX

【问题讨论】:

  • sort 也可以正常工作:sort -k1,1 -u 在第一个字段(空格分隔)上定义排序键,然后要求在此键上提供唯一输出

标签: bash text awk sed filter


【解决方案1】:

如果您想根据第一个字段获取唯一记录,请尝试以下操作。

awk '!a[$1]++'   Input_file

我在这里创建一个名为 a 的数组,我正在检查条件,如果任何行的第一个字段不存在于数组 a 中,然后打印该行并将其递增 1(该特定的第一个字段),以便下次该条目将是从打印中消除。

【讨论】:

猜你喜欢
  • 2017-03-01
  • 1970-01-01
  • 2020-11-16
  • 2014-07-24
  • 1970-01-01
  • 1970-01-01
  • 2013-08-30
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多