Bash中两个数组的比较/差异

Question

是否可以在 Bash 中取两个数组的差异。有什么好的方法吗？

代码：

Array1=( "key1" "key2" "key3" "key4" "key5" "key6" "key7" "key8" "key9" "key10" )
Array2=( "key1" "key2" "key3" "key4" "key5" "key6" ) 

Array3 =diff(Array1, Array2)

Array3 ideally should be :
Array3=( "key7" "key8" "key9" "key10" )

Answer 1

@ilya-bystrov 最受好评的答案计算了Array1 和Array2 的差异。请注意，这不与从Array1 中删除 项目相同，这些项目也在Array2 中。 @ilya-bystrov 的解决方案是连接两个列表并删除非唯一值。当Array2 包含不在Array1 中的项目时，这是一个巨大的差异：Array3 将包含在Array2 中的值，但不在Array1 中。

这是一个纯 Bash 解决方案，用于删除来自 Array1 中的项目，这些项目也在 Array2 中（注意 Array2 中的附加 "key11"）：

Array1=( "key1" "key2" "key3" "key4" "key5" "key6" "key7" "key8" "key9" "key10" )
Array2=( "key1" "key2" "key3" "key4" "key5" "key6" "key11" )
Array3=( $(printf "%s\n" "${Array1[@]}" "${Array2[@]}" "${Array2[@]}" | sort | uniq -u) )

Array3 将由"key7" "key8" "key9" "key10" 组成，并在尝试从Array1 中删除项目时排除意外的"key11"。

请注意：这假定Array1 中的所有值都是唯一的。否则他们不会出现在Array3。如果Array1 包含重复值，则必须先删除重复值（注意Array1 中重复的"key10"）：

Array1=( "key1" "key2" "key3" "key4" "key5" "key6" "key7" "key8" "key9" "key10" "key10" )
Array2=( "key1" "key2" "key3" "key4" "key5" "key6" "key11" )
Array3=( $({ printf "%s\n" "${Array1[@]} | sort -u; printf "%s\n" "${Array2[@]}" "${Array2[@]}"; } | sort | uniq -u) )

如果您想将Array1 中的重复项复制到Array2，请使用@ephemient 接受的答案。如果Array1 和Array2 很大，情况也是如此：这对于很多项目来说是一个非常低效的解决方案，即使它对于少数项目（

Answer 2

如果你严格要求Array1 - Array2，那么

Array1=( "key1" "key2" "key3" "key4" "key5" "key6" "key7" "key8" "key9" "key10" )
Array2=( "key1" "key2" "key3" "key4" "key5" "key6" )

Array3=()
for i in "${Array1[@]}"; do
    skip=
    for j in "${Array2[@]}"; do
        [[ $i == $j ]] && { skip=1; break; }
    done
    [[ -n $skip ]] || Array3+=("$i")
done
declare -p Array3

使用关联数组可能会改善运行时，但我个人不会打扰。如果您要处理足够多的数据，那么 shell 是错误的工具。

---

对于像 Dennis 的回答这样的对称差异，只要我们稍微调整输入和输出（因为它们适用于基于行的文件，而不是 shell 变量），现有的工具（如 comm）就可以工作。

在这里，我们告诉 shell 使用换行符将数组连接成单个字符串，并在将 comm 中的行读回数组时丢弃制表符。

$旧IFS=$IFS IFS=$'\n\t' $ Array3=($(comm -3

它之所以抱怨，是因为按照字典排序，key1 < … < key9 > key10。但是由于两个输入数组的排序相似，因此可以忽略该警告。如果不能保证输入数组的顺序和唯一性，可以使用--nocheck-order 消除警告，或者在<(…) 进程替换中添加| sort -u。

Answer 3

将ARR1 和ARR2 作为参数，使用comm 完成这项工作，并使用mapfile 将其放回RESULT 数组中：

ARR1=("key1" "key2" "key3" "key4" "key5" "key6" "key7" "key8" "key9" "key10")
ARR2=("key1" "key2" "key3" "key4" "key5" "key6")

mapfile -t RESULT < \
    <(comm -23 \
        <(IFS=$'\n'; echo "${ARR1[*]}" | sort) \
        <(IFS=$'\n'; echo "${ARR2[*]}" | sort) \
    )

echo "${RESULT[@]}" # outputs "key10 key7 key8 key9"

请注意，结果可能不符合源顺序。

奖金又名“这就是你在这里的目的”：

function array_diff {
    eval local ARR1=\(\"\${$2[@]}\"\)
    eval local ARR2=\(\"\${$3[@]}\"\)
    local IFS=$'\n'
    mapfile -t $1 < <(comm -23 <(echo "${ARR1[*]}" | sort) <(echo "${ARR2[*]}" | sort))
}

# usage:
array_diff RESULT ARR1 ARR2
echo "${RESULT[@]}" # outputs "key10 key7 key8 key9"

在处理 bash 中传递的数组参数的其他方法中，使用那些棘手的 eval 是最糟糕的选择。

另外，看看comm manpage；基于此代码，它很容易实现，例如array_intersect：只需使用 -12 作为通讯选项即可。

Answer 4

也可以使用正则表达式（基于另一个答案：Array intersection in bash）：

list1=( 1 2 3 4   6 7 8 9 10 11 12)
list2=( 1 2 3   5 6   8 9    11 )

l2=" ${list2[*]} "                    # add framing blanks
for item in ${list1[@]}; do
  if ! [[ $l2 =~ " $item " ]] ; then    # use $item as regexp
    result+=($item)
  fi
done
echo  ${result[@]}:

结果：

$ bash diff-arrays.sh 
4 7 10 12

Answer 5

echo ${Array1[@]} ${Array2[@]} | tr ' ' '\n' | sort | uniq -u

输出

key10
key7
key8
key9

如果需要，可以添加排序

Answer 6

在 Bash 4 中：

declare -A temp    # associative array
for element in "${Array1[@]}" "${Array2[@]}"
do
    ((temp[$element]++))
done
for element in "${!temp[@]}"
do
    if (( ${temp[$element]} > 1 ))
    then
        unset "temp[$element]"
    fi
done
Array3=(${!temp[@]})    # retrieve the keys as values

编辑：

ehemient 指出了一个潜在的严重错误。如果一个元素存在于一个具有一个或多个重复项的数组中，并且在另一个数组中根本不存在，它将被错误地从唯一值列表中删除。下面的版本试图处理这种情况。

declare -A temp1 temp2    # associative arrays
for element in "${Array1[@]}"
do
    ((temp1[$element]++))
done

for element in "${Array2[@]}"
do
    ((temp2[$element]++))
done

for element in "${!temp1[@]}"
do
    if (( ${temp1[$element]} >= 1 && ${temp2[$element]-0} >= 1 ))
    then
        unset "temp1[$element]" "temp2[$element]"
    fi
done
Array3=(${!temp1[@]} ${!temp2[@]})

Answer 7

每当出现处理可能无法排序的唯一值的问题时，我都会立即想到 awk。这是我的看法。

代码

#!/bin/bash

diff(){
  awk 'BEGIN{RS=ORS=" "}
       {NR==FNR?a[$0]++:a[$0]--}
       END{for(k in a)if(a[k])print k}' <(echo -n "${!1}") <(echo -n "${!2}")
}

Array1=( "key1" "key2" "key3" "key4" "key5" "key6" "key7" "key8" "key9" "key10" )
Array2=( "key1" "key2" "key3" "key4" "key5" "key6" )
Array3=($(diff Array1[@] Array2[@]))
echo ${Array3[@]}

输出

$ ./diffArray.sh
key10 key7 key8 key9

*注意**：与给出的其他答案一样，如果数组中有重复的键，它们只会被报告一次；这可能是也可能不是您正在寻找的行为。处理这个问题的 awk 代码比较混乱，而且不够干净。

Answer 8

Array1=( "key1" "key2" "key3" "key4" "key5" "key6" "key7" "key8" "key9" "key10" )
Array2=( "key1" "key2" "key3" "key4" "key5" "key6" )
Array3=( "key1" "key2" "key3" "key4" "key5" "key6" "key11" )
a1=${Array1[@]};a2=${Array2[@]}; a3=${Array3[@]}
diff(){
    a1="$1"
    a2="$2"
    awk -va1="$a1" -va2="$a2" '
     BEGIN{
       m= split(a1, A1," ")
       n= split(a2, t," ")
       for(i=1;i<=n;i++) { A2[t[i]] }
       for (i=1;i<=m;i++){
            if( ! (A1[i] in A2)  ){
                printf A1[i]" "
            }
        }
    }'
}
Array4=( $(diff "$a1" "$a2") )  #compare a1 against a2
echo "Array4: ${Array4[@]}"
Array4=( $(diff "$a3" "$a1") )  #compare a3 against a1
echo "Array4: ${Array4[@]}"

输出

$ ./shell.sh
Array4: key7 key8 key9 key10
Array4: key11