有没有办法在 bash 中计算排列？

Question

我有多个文件（其中近 1000 个）用空格分隔，我需要仅使用第二列在每个文件之间使用连接函数计算排列。重要的是不能重复比较，这就是排列的原因。

例如，一个有 3 个文件 A.txt B.txt 和 C.txt

的小例子

总体思路是得到A B比较，A C和B C。 既不是 B A 也不是 C A 也不是 C B

101 代码是

join -1 2 -2 2 A.txt B.txt | cut -d ' ' -f1 > AB.txt
join -1 2 -2 2 A.txt C.txt | cut -d ' ' -f1 > AC.txt
join -1 2 -2 2 B.txt C.txt | cut -d ' ' -f1 > BC.txt

有没有办法为数千个文件完成此操作？我尝试使用 for 循环，但我的大脑已经烤焦了，现在我正在尝试使用 while 循环。但我最好先了解一下方向。

Answer 1

由于迭代次数非常大，性能成为一个问题。这是 Matty 答案的优化版本，使用数组将迭代次数除以 2（半百万而不是一百万）并避免测试：

declare -a files=( *.txt )
declare -i len=${#files[@]}
declare -i lenm1=$(( len - 1 ))
for (( i = 0; i < lenm1; i++ )); do
  a="${files[i]}"
  ab="${a%.txt}"
  for (( j = i + 1; j < len; j++ )); do
    b="${files[j]}"
    join -1 2 -2 2 "$a" "$b" | cut -d ' ' -f1 > "$ab$b"
  done
done

但请考虑一下，bash 并不是为这种具有 50 万次迭代的密集任务而设计的。可能有更好（更有效）的方式来完成您想要的。

Answer 2

看起来你所追求的可以通过两个嵌套的 for 循环和一个字典比较来保持字母顺序？

# prints pairs of filenames
for f in dir/*; do
    for g in dir/*; do
        if [[ "$f" < "$g" ]]; then  # ensure alphabetical order
            echo $f $g
        fi
    done
done

Answer 3

这就是您不想为此使用 bash 的原因：

先创建1000个文件

seq 1000 | xargs touch

现在，与 bash 不同的对

time {
    files=(*)
    len=${#files[@]}
    for ((i=0; i<len-1; i++)); do
        a=${files[i]}
        for ((j=i+1; j<len; j++)); do
            b=${files[j]}
            echo "$a $b"
        done
    done >/dev/null
}

real    0m5.091s
user    0m4.818s
sys     0m0.262s

例如，与 perl 中的相同：

time {
    perl -e '
        opendir my $dh, ".";
        my @files = sort grep {$_ != "." && $_ != ".."} readdir $dh;
        closedir $dh;
        for (my $i = 0; $i < @files - 1; $i++) {
            my $a = $files[$i];
            for (my $j = $i + 1; $j < @files; $j++) {
                my $b = $files[$j];
                print "$a $b\n";
            }
        }
    ' > /dev/null 
}

real    0m0.131s
user    0m0.120s
sys     0m0.006s