如何为列表项生成唯一编号

Question

我在名为list.txt 的文件中有一个长长的值列表，我想为文件文本文件中的每个项目生成一个随机唯一编号。如果该项目多次出现，它将具有相同的唯一 ID

例如，list.txt 将是：

may-111
may-111
rob-222
kim-456
may-111

我希望能够为每个项目分配一个随机数。如果该项目多次出现，那么它将具有相同的唯一 ID 号，因此预期的输出应该是：-

may-111 - 789
may-111 - 789
rob-222 - 365
kim-456 - 641
may-111 - 789

我尝试生成一个随机数列表并保存到一个新的文本文件，然后将paste 或join 新的文本文件保存到list.txt：

paste -d list.txt random.txt

目前，输出不保留唯一 ID，如果同名出现多次，则它具有不同的 ID。

Answer 1

你可以使用这个 awk：

awk '!seen[$1]{seen[$1] = rand() * 1000000} {print $0 " - " seen[$1]}' file
may-111 - 840188
may-111 - 840188
rob-222 - 394383
kim-456 - 783099
may-111 - 840188

• rand() 是生成随机数的函数，例如 0.840188
• seen 是一个关联数组，键为$1，值为随机数
• !seen[$1] - 对不在数组中的键执行此块seen
• seen[$1] = rand() * 1000000 - 使用 key=$1 和 value=rand() 填充数组
• {print $0 " - " seen[$1]} - 打印当前行并为数组中的键 $1 存储随机值。

---

编辑：（感谢 JID）可以使用这个 awk 命令来避免数字重复：

awk '!seen[$0]{do{x=int(rand()*1000);seen[$0]=x}while(nums[x])} 
     {print $0, "-", seen[$0]}' ile
may-111 - 840
may-111 - 840
rob-222 - 394
kim-456 - 783
may-111 - 840

Answer 2

您可以创建一个标识符，作为它第一次出现的行号：

$ awk '{if ($1 in a) {c=a[$1]} else {c=NR; a[$1]=c}} {print $1, c}' file
may-111 1
may-111 1
rob-222 3
kim-456 4
may-111 1

这样，您不会得到任何重复的值。

更惯用的（thanks to JID's suggestion）：

awk '{!a[$0]&&a[$0]=NR}{print $0,a[$0]}' file

说明

这会将 id 存储在数组 a[] 中，这样每次我们读取一行时，我们都会交叉检查它是否已经定义了关联值。

• {if (...) {action if true} else {action if false}
• {if ($1 in a) {c=a[$1]} else {c=NR; a[$1]=c}} 从我们第一次读取该行时获取关联值。如果不是这种情况，请获取存储的值。
• print $1, c 将内容连同标识符一起打印出来。

你当然可以调整它：

• 例如，对于不同的输出分隔符，请使用 -v OFS=" - "。
• 对于更大的关联值，求和或乘以或其他任何常量。