检查bash中逗号分隔字符串中的重复单词

Question

我需要检查一个变量不包含逗号分隔字符串中的重复条目。

例如，在$animals 内部，如果我有：

,dog,cat,bird,goat,fish,

这将被认为是有效的，因为每个单词都是唯一的。

字符串：

,dog,cat,dog,bird,fish,

将无效，因为dog 输入了两次。

,dog,cat,dogs,bird,fish,

有效，因为只有一个 dog 实例（dogs 存在但允许，因为它不是同一个确切的词）

字符串：

,dog,cat,DOG,bird,fish

同样无效，因为 dog 与 DOG 相同，只是大写。

有什么办法可以做到吗？我会放一些我试过的代码，但我什至不知道用什么来做实验。

在 10.11.6 El Capitan 上使用 bash 3.2.57(1)-release

Answer 1

区分大小写：

echo ",dog,cat,dog,bird,fish," | tr ',' '\n' | grep -v '^$' | sort | uniq -c | sort -k 1,1nr

不区分大小写：

echo ",dog,DOG,cat,dog,bird,fish," | tr ',' '\n' | grep -v '^$' | sort -rf | uniq -ci | sort -k 1,1nr

执行反向排序 (-r) 并不区分大小写以在大写字母之后获取小写字母。然后uniq 他们和-i。 （您可能必须确保定义的排序规则 LC_COLLATE 以及 LANG 和 LC_ALL 等语言环境不会影响 sort 的行为。

然后检查第一行的数字是否> 1

Answer 2

简单的基于脚本的解决方案

用法

$ .\script.sh ,dog,dog,cat,

实际脚本

#!/bin/sh

num_duplicated() {
    echo $1 |
    tr ',' '\n' | # Split each items into its own line
    tr '[:upper:]' '[:lower:]' | # Convert everything to lowercase
    sort | # Sorts the lines (required for the call to `uniq`
    uniq -d | # Passing the `-d` flag to show only duplicated lines
    grep -v '^$' | # Passing `-v` on the pattern `^$` to remove empty lines
    wc -l # Count the number of duplicate lines
}

main() {
    num_duplicates=$(num_duplicated "$1") 
    if [[ $num_duplicates -eq '0' ]]
    then
        echo "No duplicates"
    else
        echo "Contains duplicate(s)"
    fi
}

main $1