从 shell 脚本中的目录中选择随机文件的最佳方法

Question

在 shell 脚本中从目录中选择随机文件的最佳方法是什么？

这是我在 Bash 中的解决方案，但我非常有兴趣在 Unix 上使用更便携（非 GNU）的版本。

dir='some/directory'
file=`/bin/ls -1 "$dir" | sort --random-sort | head -1`
path=`readlink --canonicalize "$dir/$file"` # Converts to full path
echo "The randomly-selected file is: $path"

有人有其他想法吗？

编辑： lhunath 对解析 ls 提出了一个很好的观点。我想这取决于你是否想要便携。如果你有 GNU findutils 和 coreutils 那么你可以这样做：

find "$dir" -maxdepth 1 -mindepth 1 -type f -print0 \
  | sort --zero-terminated --random-sort \
  | sed 's/\d000.*//g/'

哇，太有趣了！由于我说的是“随机文件”，它也更符合我的问题。老实说，现在很难想象一个 Unix 系统部署在那里安装了 GNU 但没有安装 Perl 5。

Answer 1

files=(/my/dir/*)
printf "%s\n" "${files[RANDOM % ${#files[@]}]}"

并且不要解析 ls。阅读http://mywiki.wooledge.org/ParsingLs

编辑：祝你好运找到可靠的非bash 解决方案。大多数文件名会因某些类型的文件名而中断，例如带有空格或换行符或破折号的文件名（这在纯 sh 中几乎是不可能的）。要在没有 bash 的情况下正确执行此操作，您需要完全迁移到 awk/perl/python/... 而不使用管道输出以进行进一步处理等。

Answer 2

“shuf”不是可移植的吗？

shuf -n1 -e /path/to/files/*

或查找文件是否比一个目录更深：

find /path/to/files/ -type f | shuf -n1

它是 coreutils 的一部分，但您需要 6.4 或更高版本才能获得它...所以 RH/CentOS 不包含它。

Answer 3

# ******************************************************************
# ******************************************************************
function randomFile {
  tmpFile=$(mktemp)

  files=$(find . -type f > $tmpFile)
  total=$(cat "$tmpFile"|wc -l)
  randomNumber=$(($RANDOM%$total))

  i=0
  while read line;  do
    if [ "$i" -eq "$randomNumber" ];then
      # Do stuff with file
      amarok $line
      break
    fi
    i=$[$i+1]
  done < $tmpFile
  rm $tmpFile
}

Answer 4

类似：

let x="$RANDOM % ${#file}"
echo "The randomly-selected file is ${path[$x]}"

$RANDOM在bash中是一个特殊的变量，它返回一个随机数，然后我用模除法得到一个有效的索引，然后在数组中引用那个索引。

Answer 5

这归结为：如何以可移植的方式在 Unix 脚本中创建随机数？

因为如果你有一个介于 1 和 N 之间的随机数，你可以使用head -$N | tail 在中间的某个位置进行剪切。不幸的是，我不知道仅使用外壳就可以做到这一点的便携式方法。如果你有 Python 或 Perl，你可以很容易地使用它们的随机支持，但是 AFAIK，没有标准的 rand(1) 命令。

Answer 6

我认为 Awk 是一个很好的获取随机数的工具。根据Advanced Bash Guide，Awk 是$RANDOM 的一个很好的随机数替换。

这是您的脚本版本，它避免了 Bash 主义和 GNU 工具。

#! /bin/sh

dir='some/directory'
n_files=`/bin/ls -1 "$dir" | wc -l | cut -f1`
rand_num=`awk "BEGIN{srand();print int($n_files * rand()) + 1;}"`
file=`/bin/ls -1 "$dir" | sed -ne "${rand_num}p"`
path=`cd $dir && echo "$PWD/$file"` # Converts to full path.  
echo "The randomly-selected file is: $path"

如果文件包含换行符，它会继承其他答案提到的问题。

Answer 7

可以通过在 Bash 中执行以下操作来避免文件名中的换行：

#!/bin/sh

OLDIFS=$IFS
IFS=$(echo -en "\n\b")

DIR="/home/user"

for file in $(ls -1 $DIR)
do
    echo $file
done

IFS=$OLDIFS

Answer 8

这是一个 shell sn-p，它仅依赖于 POSIX 功能并处理任意文件名（但从选择中省略了点文件）。随机选择使用 awk，因为这就是您在 POSIX 中获得的全部内容。这是一个非常糟糕的随机数生成器，因为 awk 的 RNG 是以秒为单位的当前时间播种的（所以它很容易预测，如果你每秒调用多次，它会返回相同的选择）。

set -- *
n=$(echo $# | awk '{srand(); print int(rand()*$0) + 1}')
eval "file=\$$n"
echo "Processing $file"

如果您不想忽略点文件，则需要将文件名生成代码 (set -- *) 替换为更复杂的内容。

set -- *; [ -e "$1" ] || shift
set .[!.]* "$@"; [ -e "$1" ] || shift
set ..?* "$@"; [ -e "$1" ] || shift
if [ $# -eq 0]; then echo 1>&2 "empty directory"; exit 1; fi

如果您有可用的 OpenSSL，则可以使用它来生成随机字节。如果您没有，但您的系统有/dev/urandom，请将对openssl 的调用替换为dd if=/dev/urandom bs=3 count=1 2>/dev/null。这是一个将n 设置为1 到$# 之间的随机值的sn-p，注意不要引入偏差。这个 sn-p 假设 $# 最多为 2^23-1。

while
  n=$(($(openssl rand 3 | od -An -t u4) + 1))
  [ $n -gt $((16777216 / $# * $#)) ]
do :; done
n=$((n % $#))

Answer 9

BusyBox（用于嵌入式设备）通常配置为支持$RANDOM，但它没有 bash 样式的数组或sort --random-sort 或shuf。因此如下：

#!/bin/sh
FILES="/usr/bin/*"
for f in $FILES; do  echo "$RANDOM $f" ; done | sort -n | head -n1 | cut -d' ' -f2-

注意cut -f2- 后面的“-”；这是避免截断包含空格（或您要使用的任何分隔符）的文件所必需的。

它不会正确处理带有嵌入换行符的文件名。

Answer 10

将命令“ls”的每一行输出放入名为 line 的关联数组中，然后选择其中一个...

ls | awk '{ line[NR]=$0 } END { print line[(int(rand()*NR+1))]}'

Answer 11

我的 2 美分，当存在带有特殊字符的文件名时不应该中断的版本：

#!/bin/bash --
dir='some/directory'

let number_of_files=$(find "${dir}" -type f -print0 | grep -zc .)
let rand_index=$((1+(RANDOM % number_of_files)))

printf "the randomly-selected file is: "
find "${dir}" -type f -print0 | head -z -n "${rand_index}" | tail -z -n 1
printf "\n"